SaaS Founder Series: jornada do Dremio para a obtenção do status de unicórnio

Publicação de convidado por Afza Wajid, Bill Tarr e Mark Birch da AWS

Com a proliferação de sistemas de engajamento e inteligência, há uma ênfase crescente na entrega de insights de dados por todas as organizações modernas. No entanto, para que os dados sejam analisados de forma eficaz, habilidades especializadas e códigos personalizados dispendiosos são necessários para centralizar os dados em sistemas de armazenamento diferentes antes que eles possam ser analisados. Com o advento de estruturas de armazenamento de dados distribuídos de código aberto, como o Hadoop, os desenvolvedores puderam consultar diretamente as fontes de dados distribuídas, mas os cientistas e analistas de dados ainda não conseguiam extrair valor dos dados de maneira independente.

O Dremio, uma startup unicórnio financiada pela Série D e fundada em 2015, simplifica a pilha de análises com um mecanismo de consulta de alta performance e alta eficiência que possibilita aos consumidores de dados consultarem diretamente o armazenamento de data lake em nuvem em escala de petabytes, ao mesmo tempo em que elimina transferências massivas de dados e dependência de fornecedores, e mitiga os riscos de segurança. Além disso, uma camada semântica independente que conecta fontes de dados a ferramentas de inteligência diminui o tempo de geração de valor para cientistas e analistas de dados. No momento, o Dremio está ampliando o alcance de sua solução com o lançamento do Dremio Cloud, um data lake como serviço nativo de nuvem que simplifica a experiência do cliente.

A equipe do AWS SaaS Factory convidou o fundador e diretor de produtos do Dremio, Tomer Shiran, para debater sobre a jornada do Dremio rumo ao software como serviço e compartilhar os principais aprendizados para empresas que desenvolvem ofertas de SaaS e plataforma como serviço (PaaS) na AWS. Shiran, um empreendedor com mais de 15 anos de experiência em softwares empresariais, ocupou cargos de gerenciamento e de engenharia de produtos na Hewlett Packard, na Microsoft e na IBM Research. Antes do Dremio, ele foi vice-presidente de produtos da MapR e ajudou a empresa a crescer de cinco para quase 400 funcionários e conquistar centenas de clientes empresariais. Continue lendo para saber mais sobre a jornada do Dremio para a obtenção do status de unicórnio.

SaaS Factory: Tomer, agradecemos por reservar um tempo para conversar conosco hoje. Para começar, conte-nos um pouco sobre a proposta de valor na qual o Dremio foi fundado.

Tomer Shiran: todas as pessoas desejam obter mais dados. Porém, quanto mais dados houver, mais difícil será extrair insights significativos deles com eficiência. O armazenamento de data lake em nuvem, como o Amazon S3, tornou-se o destino preferencial para o armazenamento de grandes volumes de dados porque é barato, escalável e simples de gerenciar. No entanto, para analisar esses dados, as empresas sempre precisaram mover e copiar os dados para data warehouses proprietários, que é um processo custoso, complexo, arriscado e inflexível.

O mecanismo de data lake do Dremio se situa entre o armazenamento de data lake em nuvem e os consumidores de dados, possibilitando que consultem dados diretamente em painéis de alta performance e análises interativas sem a necessidade de copiar os dados em data warehouses proprietários e, posteriormente, criar tabelas de agregação, extrações, cubos ou outros derivados. O Dremio também fornece uma camada semântica compartilhada que capacita os analistas de dados a descobrir, selecionar, analisar e compartilhar conjuntos de dados de maneira independente, além de centralizar a segurança e a governança dos dados para as equipes de dados. O resultado é uma arquitetura de dados mais simples e otimizada que reduz o tempo de geração de valor enquanto aprimora a segurança dos dados e elimina a dependência de fornecedores.

De forma mais ampla, a inovação de código aberto e a liderança de pensamento do setor são essenciais para a proposta de valor do Dremio. Por exemplo, o Apache Arrow era originalmente nosso próprio formato de memória interna, mas decidimos abrir o código. Agora, ele é o padrão para computação em memória, com mais de 20 milhões de downloads por mês. Recentemente, criamos o Project Nessie, que traz um controle de versão semelhante ao Git para o data lake, acelerando a agilidade da engenharia de dados, da ciência de dados e das análises.

SaaS Factory: esta semana, o Dremio Cloud foi lançado. Conte-nos a razão pela qual você escolheu a abordagem arquitetônica exclusiva adotada.

Tomer Shiran: o Dremio Cloud é um mecanismo de consulta de data lake nativo de nuvem fornecido como um serviço que escala de acordo com as workloads do cliente. Cada vez mais, as empresas desejam serviços totalmente gerenciados que possibilitam que se concentrem na extração de valor dos dados, em vez de se preocuparem com a configuração e administração do sistema. Portanto, desenvolver uma oferta de SaaS do Dremio foi uma progressão natural em nossa história.

O Dremio Cloud fornece consultas com alta simultaneidade e baixa latência diretamente no Amazon S3 e uma camada semântica que torna os dados consumíveis, consistentes e seguros para analistas e cientistas de dados. Ele consiste em um ambiente de gerenciamento sempre ativo que recebe consultas de clientes e é responsável pelo planejamento de consulta e pelo gerenciamento do mecanismo, e em um plano de dados composto por mecanismos de computação responsáveis pela execução da consulta.

O ambiente de gerenciamento multilocatário é fundamental para a experiência do cliente do Dremio Cloud por hospedar todas as interações voltadas para o cliente, incluindo a interface do usuário, a API REST e os endpoints de consulta de dados. Quando um usuário empresarial deseja executar uma análise com o Dremio Cloud, ele conecta sua ferramenta de BI preferencial, como Tableau, Power BI, SageMaker, Looker ou um caderno Jupyter, ao ambiente de gerenciamento em app.dremio.cloud. O ambiente de gerenciamento delega com segurança a execução da consulta aos mecanismos de computação provisionados automaticamente na conta da AWS do cliente, para que todo o processamento de dados ocorra na conta do cliente.

A arquitetura do plano de dados é composta por diversos mecanismos de computação com dimensões adequadas para oferecer suporte a diferentes workloads. Desenvolvida com base em uma arquitetura para diversos mecanismos, o Dremio Cloud apresenta a funcionalidade de escalar dinamicamente os mecanismos com base no tamanho da workload, ajudando as empresas a lidar com qualquer nível de simultaneidade enquanto mantém uma performance consistente. Todos os dados são armazenados e processados na conta do cliente e criptografados em trânsito e em repouso, garantindo que os clientes tenham controle total sobre seus dados. Também não há conexões de entrada no plano de dados, portanto, os clientes não precisam abrir brechas em seus firewalls ou grupos de segurança. Esses recursos resultam em um histórico de segurança e governança mais avançada para nossos clientes.

A abordagem que adotamos exigiu uma inovação técnica significativa, incluindo o uso do Apache Arrow de ponta a ponta para aumentar de forma significativa a performance da consulta. Sem o Arrow, serializar e desserializar estruturas de dados é ineficiente e resulta em um desperdício de recursos de memória e de CPU. O Arrow permite que o Dremio combine os benefícios das estruturas de dados colunares com a computação na memória, fornecendo benefícios de performance e flexibilidade de dados complexos e esquemas dinâmicos.

SaaS Factory: quem são seus principais clientes e como isso muda com a introdução do Dremio Cloud?

Tomer Shiran: o Dremio sempre foi projetado para ser usado por qualquer empresa que deseja usar seus dados empresariais estrategicamente. Centenas de empresas em todos os setores usam o Dremio para potencializar seus data lakes em nuvem, incluindo instituições financeiras, como o Standard Chartered Bank, empresas farmacêuticas, como a Johnson & Johnson, e fabricantes, como a Honeywell. A própria Amazon usa o Dremio para analisar e potencializar a inteligência de negócios em dados em seu data lake interno, como dados da cadeia de suprimentos.

Mesmo assim, projetamos o Dremio Cloud para ser bidirecionalmente escalável, para que as startups financiadas por capital que têm muitos dados a serem analisados, mas que não necessariamente têm os recursos para operar a própria infraestrutura de dados, ou preferem não investir o capital empreendedor arduamente conquistado em um data warehouse em nuvem, possam usá-lo de forma eficaz.

SaaS Factory: a inclusão de um produto SaaS envolve uma transformação abrangente dos negócios e da organização. Como as diferentes funções da organização evoluíram para se alinharem melhor com o modelo de negócios e entrega de SaaS?

Tomer Shiran: de fato. Na área de engenharia de produto, criamos centenas de milhares de testes automatizados e um processo abrangente de CI/CD. Expandimos nossa organização de desenvolvimento de produtos para incluir equipes de engenharia de confiabilidade de sites (SRE), de DevOps e de segurança, com líderes de empresas como Google e Salesforce. Como resultado, agora podemos lançar atualizações para o Dremio Cloud diariamente.

Além das mudanças na equipe de engenharia de produto, alinhamos nossas equipes de atendimento ao cliente na empresa para oferecer suporte a um modelo de adoção de autoatendimento. Nossas equipes de vendas e de marketing se concentram em gerar clientes em potencial de alta qualidade para a oferta on-line do Dremio Cloud, enquanto nossas equipes de suporte e sucesso do cliente aproveitam os dados operacionais e a automação para fornecer suporte proativo e direcionado com a finalidade de garantir uma sólida satisfação do cliente. A cereja do bolo é que podemos usar o Dremio internamente em nossos próprios dados como base para isso.

SaaS Factory: como você engajou a AWS enquanto desenvolvia o Dremio Cloud?

Tomer Shiran: sempre tivemos uma relação especial com a Amazon, fazendo parceria com várias equipes da empresa. Trabalhamos em estreita colaboração com diversas equipes de serviços da AWS, como o Amazon S3, o AWS Glue e o Amazon Lake Formation, para entregar integração entre nossos serviços e colaborar em novos recursos. Fizemos parceria com a equipe do AWS Marketplace para distribuir o Dremio por meio do Marketplace, possibilitando que as empresas consumam nosso produto enquanto pagam por meio da AWS. Além disso, nossas equipes de vendas e marketing trabalham com a Rede de Parceiros da AWS e as organizações de vendas da AWS para levar o Dremio aos clientes da AWS, possibilitando assim que os clientes da AWS criem data lakes e lakehouses de próxima geração.

Também tivemos o privilégio de trabalhar com a equipe do AWS SaaS Factory nos últimos dois anos. Quando embarcamos em nossa jornada para desenvolver o Dremio Cloud, desejávamos aproveitar a tecnologia de ponta e as práticas recomendadas para criar o melhor serviço de nuvem da categoria. Como vários serviços SaaS e PaaS foram criados na AWS nos últimos dez anos, incluindo os próprios serviços da AWS, desejávamos evitar os desafios e as limitações enfrentados por outros serviços e, ao mesmo tempo, aproveitar o que funcionou bem. Para isso, fizemos uma parceria com a equipe do SaaS Factory para desenvolver uma arquitetura que oferece escalabilidade, segurança e performance incomparáveis e para desenvolver uma estratégia de preços flexível baseada no uso para garantir um modelo de entrega de SaaS otimizado para clientes em todos os segmentos.

SaaS Factory: o Dremio passou a ser oficialmente um “unicórnio” com base na fase de financiamento da série D mais recente, de janeiro de 2021. Se você estivesse falando com aspirantes a fundadores, qual seria seu conselho para eles?

Tomer Shiran: se houver uma necessidade significativa no mercado que o deixe entusiasmado, não hesite em lançar sua própria startup. Porém, reserve um tempo para desenvolver o melhor produto dessa categoria. Por exemplo, na área da infraestrutura de dados, uma quantidade significativa de propriedade intelectual é necessária para entregar um produto sólido. Passamos cerca de cinco anos no Dremio desenvolvendo o que pensávamos que seria realmente um mecanismo de data lake de última geração, com foco na inovação e no sucesso do cliente. Depois de criar uma base sólida, é mais fácil realizar o crescimento exponencial. Hoje, seis anos após sua fundação, o Dremio potencializa os data lakes em nuvem de muitas das maiores empresas do mundo e arrecadou mais de USD 200 milhões em financiamento de risco no ano passado.

O Dremio e a AWS estão entusiasmados com o futuro do gerenciamento de dados e com a inovação que estamos entregando com o Dremio Cloud. Se você tiver interesse em aprender mais, confira a página do Dremio Cloud.

Sobre o AWS SaaS Factory

O AWS SaaS Factory ajuda as organizações em qualquer estágio da jornada de SaaS. Seja para desenvolver novos produtos, migrar aplicações existentes, seja para otimizar soluções de SaaS na AWS, o AWS SaaS Factory Program pode ajudar. Os criadores e operadores de SaaS são incentivados a entrar em contato com os representantes de contas para obter informações sobre modelos de engajamento e trabalhar com a equipe do AWS SaaS Factory.

Acesse o AWS SaaS Factory Insights Hub para descobrir mais conteúdo técnico e comercial e as práticas recomendadas. Inscreva-se para receber as atualizações mais recentes de notícias, recursos e eventos sobre SaaS na AWS.