SaaS Founder Series : le parcours de Dremio vers le statut de licorne

Article d'invité d'Afza Wajid, Bill Tarr et Mark Birch, AWS

Avec la prolifération des systèmes d'engagement et d'intelligence, l'accent est mis de plus en plus sur la fourniture d'informations relatives aux données dans les organisations modernes. Cependant, pour que les données soient analysées efficacement, des compétences spécialisées et un code personnalisé coûteux sont nécessaires pour centraliser les données sur des systèmes de stockage disparates avant de pouvoir les analyser. Avec l'avènement de cadres de stockage de données distribuées open-source comme Hadoop, les développeurs ont pu interroger directement des sources de données distribuées, mais les scientifiques des données et les analystes ne pouvaient toujours pas tirer de valeur des données en libre-service.

Dremio, une start-up licorne financée par la série D et fondée en 2015, simplifie les outils d'analyse grâce à un moteur de requêtes performant et très efficace qui permet aux consommateurs de données d'interroger directement le stockage des lacs de données dans le cloud à l'échelle du pétaoctet, tout en éliminant les transferts de données massifs et la dépendance vis-à-vis des fournisseurs, et en atténuant les risques de sécurité. En outre, une couche sémantique en libre-service qui connecte les sources de données aux outils de renseignement améliore le délai de rentabilisation pour les scientifiques des données et les analystes. Dremio élargit désormais la portée de sa solution avec le lancement de Dremio Cloud, un lac de données natif cloud sous forme de service qui simplifie l'expérience client.

L'équipe d'AWS SaaS Factory a invité le fondateur et directeur des produits de Dremio, Tomer Shiran, à discuter du parcours de Dremio vers le logiciel en tant que service et à partager les principaux enseignements pour les entreprises développant des offres SaaS et de plateforme en tant que service (PaaS) sur AWS. Shiran, un entrepreneur ayant plus de 15 ans d'expérience dans le domaine des logiciels d'entreprise, a occupé des postes dans le domaine de la gestion des produits et de l'ingénierie chez Hewlett Packard, Microsoft et IBM Research. Avant Dremio, il était vice-président des produits chez MapR et a contribué à faire passer l'entreprise de cinq à près de 400 employés et à des centaines de clients professionnels. Lisez la suite pour en savoir plus sur le parcours de Dremio vers le statut de licorne.

SaaS Factory : « Tomer, merci d'avoir pris le temps de discuter avec nous aujourd'hui. Pour commencer, parlez-nous un peu de la proposition de valeur sur laquelle Dremio a été fondée. »

Tomer Shiran : « Tout le monde veut davantage de données. Mais plus il y a de données, plus il est difficile d'en tirer des informations pertinentes de manière efficace. Le stockage de lacs de données dans le cloud tel qu'Amazon S3 est devenu la destination de choix pour le stockage de gros volumes de données, car il est peu coûteux, évolutif et simple à gérer. Cependant, pour analyser ces données, les entreprises ont toujours eu besoin de déplacer et de copier ces données dans des entrepôts de données propriétaires, un processus coûteux, complexe, risqué et peu flexible.

Le moteur de lac de données de Dremio se situe entre le stockage des lacs de données dans le cloud et les consommateurs de données, ce qui leur permet d'interroger directement les données pour des tableaux de bord performants et une analytique interactive sans avoir à copier les données dans des entrepôts de données propriétaires, puis à créer des tables d'agrégation, des extraits, des cubes ou d'autres dérivés. Dremio fournit également une couche sémantique partagée qui permet aux analystes de données de découvrir, de conserver, d'analyser et de partager des jeux de données en libre-service, et qui centralise la sécurité et la gouvernance des données pour les équipes chargées des données. Il en résulte une architecture de données plus simple et rationalisée qui réduit le délai de rentabilisation tout en améliorant la sécurité des données et en éliminant la dépendance vis-à-vis des fournisseurs.

Plus généralement, l'innovation open source et le leadership éclairé du secteur sont essentiels à la proposition de valeur de Dremio. Par exemple, Apache Arrow était à l'origine notre propre format de mémoire interne que nous avons décidé de mettre en open source. C'est désormais la norme en matière d'informatique en mémoire, avec plus de 20 millions de téléchargements par mois. Plus récemment, nous avons créé Project Nessie, qui apporte un contrôle de version similaire à celui de Git dans le lac de données, accélérant ainsi l'agilité de l'ingénierie des données, de la science des données et de l'analytique. »

SaaS Factory : « Cette semaine, vous avez lancé le Dremio Cloud. Dites-nous pourquoi vous avez choisi l'approche architecturale unique que vous avez adoptée. »

Tomer Shiran : « Dremio Cloud est un moteur de requête de lac de données natif cloud fourni sous forme de service qui s'adapte à la charge de travail des clients. Les entreprises recherchent de plus en plus des services entièrement gérés qui leur permettent de se concentrer sur la valorisation des données au lieu de se soucier de la configuration et de l'administration du système. Le développement d'une offre SaaS Dremio s'est donc naturellement inscrit dans notre histoire.

Dremio Cloud fournit des requêtes à haute simultanéité et à faible latence directement sur Amazon S3, ainsi qu'une couche sémantique qui rend les données consommables, cohérentes et sécurisées pour les analystes et les scientifiques des données. Il se compose d'un plan de contrôle permanent qui reçoit les requêtes des clients et est responsable de la planification des requêtes et de la gestion du moteur, et d'un plan de données composé de moteurs de calcul chargés de l'exécution des requêtes.

Le plan de contrôle mutualisé est au cœur de l'expérience client de Dremio Cloud, hébergeant toutes les interactions avec le client, y compris l'interface utilisateur, l'API REST et les points de terminaison des requêtes de données. Lorsqu'un utilisateur professionnel souhaite exécuter une analyse avec Dremio Cloud, il connecte son outil de BI préféré, tel que Tableau, Power BI, SageMaker, Looker ou un bloc-notes Jupyter, au plan de contrôle sur app.dremio.cloud. Le plan de contrôle délègue en toute sécurité l'exécution des requêtes aux moteurs de calcul automatiquement configurés dans le compte AWS du client, de sorte que tout le traitement des données s'effectue dans le compte du client.

L'architecture du plan de données est composée de plusieurs moteurs de calcul de taille adaptée pour prendre en charge différentes charges de travail. Basé sur cette architecture multimoteur, Dremio Cloud permet aux moteurs de se mettre à l'échelle de manière dynamique en fonction de la taille de la charge de travail, aidant ainsi les entreprises à faire face à tous les niveaux de simultanéité tout en maintenant des performances constantes. Toutes les données sont stockées et traitées dans le compte client, puis cryptées pendant le transport et au repos, afin que les clients aient le contrôle total de leurs données. Il n'y a pas non plus de connexions entrantes dans le plan de données, de sorte que les clients n'ont pas à ouvrir de brèches dans leurs pare-feu/groupes de sécurité. Ces fonctionnalités se traduisent par un renforcement de la sécurité et de la gouvernance pour nos clients.

L'approche que nous avons adoptée a nécessité d'importantes innovations techniques, notamment l'utilisation d'Apache Arrow de bout en bout pour améliorer considérablement les performances des requêtes. Sans Arrow, la sérialisation et la désérialisation des structures de données sont inefficaces et entraînent un gaspillage de mémoire et de ressources processeur. Arrow permet à Dremio de combiner les avantages des structures de données en colonnes avec le calcul en mémoire, offrant ainsi des avantages en termes de performances et la flexibilité des données complexes et des schémas dynamiques. »

SaaS Factory : « Quels sont vos principaux clients et comment cela change-t-il avec l'introduction de Dremio Cloud ? »

Tomer Shiran : « Dremio a toujours été conçu pour fonctionner pour toutes les entreprises qui souhaitent utiliser leurs données d'entreprise de manière stratégique. Des centaines d'entreprises de tous les secteurs utilisent Dremio pour alimenter leurs lacs de données dans le cloud, notamment des institutions financières telles que Standard Chartered Bank, des sociétés pharmaceutiques comme Johnson & Johnson et des fabricants comme Honeywell. Amazon lui-même utilise Dremio pour analyser et optimiser les informations commerciales sur les données de son lac de données interne, telles que celles de la chaîne d'approvisionnement.

Malgré tout, nous avons conçu Dremio Cloud pour qu'il soit évolutif de manière bidirectionnelle, afin que les start-ups soutenues par du capital-risque qui ont de nombreuses données à analyser, mais ne disposent pas nécessairement des ressources nécessaires pour exploiter leur propre infrastructure de données ou préfèrent ne pas dépenser de l'argent durement gagné dans un entrepôt des données cloud puissent l'utiliser efficacement. »

SaaS Factory : « L'ajout d'un produit SaaS implique une transformation complète de l'entreprise et de l'organisation. Comment les différentes fonctions de l'organisation ont-elles évolué pour mieux s'aligner sur le modèle commercial et de prestation du SaaS ? »

Tomer Shiran : « En effet. Sur le plan de l'ingénierie des produits, nous avons créé des centaines de milliers de tests automatisés et un processus CI/CD complet. Nous avons élargi notre organisation de développement de produits pour inclure des équipes d'ingénierie de fiabilité des sites (SRE), de DevOps et de sécurité, avec des dirigeants de sociétés telles que Google et Salesforce. Par conséquent, nous sommes désormais en mesure de publier des mises à jour quotidiennes pour Dremio Cloud.

Outre les changements au sein de l'équipe d'ingénierie des produits, nous avons aligné nos équipes en contact avec les clients au sein de l'entreprise afin de soutenir un modèle d'adoption du libre-service. Nos équipes de vente et de marketing s'efforcent de générer des prospects de haute qualité vers l'offre en ligne de Dremio Cloud, tandis que nos équipes chargées du succès client et de l'assistance tirent parti des données opérationnelles et de l'automatisation pour fournir un support proactif et ciblé afin de garantir une forte satisfaction client. Cerise sur le gâteau, nous pouvons utiliser Dremio en interne sur nos propres données comme base pour cela ! »

SaaS Factory : Comment avez-vous fait appel à AWS lors du développement de Dremio Cloud ?

Tomer Shiran : « Nous avons toujours entretenu une relation privilégiée avec Amazon, en collaborant avec de nombreuses équipes au sein de l'entreprise. Nous travaillons en étroite collaboration avec de nombreuses équipes de services AWS, telles qu'Amazon S3, AWS Glue et Amazon Lake Formation, pour assurer l'intégration entre nos services et collaborer sur de nouvelles fonctionnalités. Nous travaillons en partenariat avec l'équipe AWS Marketplace pour distribuer Dremio sur le marché, permettant ainsi aux entreprises de consommer notre produit tout en payant via AWS. Nos équipes de vente et de marketing travaillent avec le réseau de partenaires AWS et les organisations commerciales d'AWS pour proposer Dremio aux clients d'AWS, permettant ainsi à ces derniers de créer des lacs de données et des maisons de lac de nouvelle génération.

Nous avons également eu le privilège de travailler avec l'équipe d'AWS SaaS Factory au cours des deux dernières années. Lorsque nous nous sommes lancés dans la création de Dremio Cloud, nous voulions tirer parti des technologies de pointe et des bonnes pratiques pour créer un service cloud de premier ordre. Étant donné que de nombreux services SaaS et PaaS ont été créés sur AWS au cours des 10 dernières années, y compris les propres services d'AWS, nous voulions éviter les défis et les limites auxquels sont confrontés les autres services, tout en capitalisant sur ce qui fonctionnait bien. Pour ce faire, nous nous sommes associés à l'équipe de SaaS Factory pour développer une architecture offrant une capacité de mise à l'échelle, une sécurité et des performances inégalées et pour développer une stratégie de tarification flexible basée sur l'utilisation afin de garantir un modèle de prestation SaaS optimisé pour les clients de tous les segments. »

SaaS Factory : « Dremio est désormais officiellement une « licorne » sur la base de votre dernier cycle de financement de série D en janvier 2021. Si vous vous adressiez à des futurs fondateurs, que leur conseilleriez-vous ? »

Tomer Shiran : « S'il existe un besoin important sur le marché qui vous intéresse, n'hésitez pas à lancer votre propre start-up. Mais prenez le temps de créer le meilleur produit de cette catégorie. Par exemple, dans le domaine de l'infrastructure de données, une quantité importante de propriété intellectuelle est nécessaire pour fournir un produit solide. Nous avons passé cinq bonnes années chez Dremio à créer ce que nous pensions être un véritable moteur de lac de données de nouvelle génération, en mettant l'accent sur l'innovation et la réussite des clients. Une fois que vous aurez établi une base solide, il sera plus facile de réaliser une croissance exponentielle. Aujourd'hui, six ans après sa création, Dremio alimente les lacs de données cloud de nombreuses plus grandes entreprises du monde et a levé plus de 200 millions de dollars en capital-risque l'année dernière. »

Dremio et AWS sont enthousiasmés par l'avenir de la gestion des données et par les innovations que nous proposons avec Dremio Cloud. Si vous souhaitez en savoir plus, consultez la page Dremio Cloud !

À propos d'AWS SaaS Factory

AWS SaaS Factory aide les entreprises à tous les stades de leur transition vers le SaaS. Que vous cherchiez à créer de nouveaux produits, à migrer des applications existantes ou à optimiser des solutions SaaS sur AWS, l'AWS SaaS Factory Program peut vous aider. Les concepteurs et les opérateurs de solutions SaaS sont invités à contacter le représentant de leur compte pour en savoir plus sur les modèles d'engagement et pour travailler avec l'équipe AWS SaaS Factory.

Visitez le hub AWS SaaS Factory Insights pour découvrir d'autres contenus techniques et commerciaux ainsi que les meilleures pratiques. Inscrivez-vous pour rester informé des dernières actualités, ressources et événements relatifs au SaaS sur AWS.