SaaS-Gründer-Serie: Der Weg von Dremio zum Unicorn-Status

Gastbeitrag von Afza Wajid, Bill Tarr und Mark Birch, AWS

Angesichts der zunehmenden Verbreitung von Systemen zur Einbindung und Information wird in modernen Unternehmen zunehmend Wert auf die Bereitstellung von Datenerkenntnissen gelegt. Damit Daten effektiv analysiert werden können, sind jedoch spezielle Fähigkeiten und teurer benutzerdefinierter Code erforderlich, um Daten auf unterschiedlichen Speichersystemen zu zentralisieren, bevor sie analysiert werden können. Mit dem Aufkommen von Open-Source-Frameworks für verteilte Datenspeicher wie Hadoop waren Entwickler in der Lage, verteilte Datenquellen direkt abzufragen, Datenwissenschaftler und Analysten waren jedoch immer noch nicht in der Lage, im Self-Service-Modus Mehrwert aus Daten zu ziehen.

Dremio, ein Serie-D-finanziertes Unicorn-Startup, das 2015 gegründet wurde, vereinfacht den Analyse-Stack mit einer leistungsstarken, hocheffizienten Abfrage-Engine, die es Datenkonsumenten ermöglicht, Cloud-Data-Lake-Speicher im Petabyte-Bereich direkt abzufragen und gleichzeitig massive Datenübertragungen und Herstellerbindung zu vermeiden und Sicherheitsrisiken zu minimieren. Darüber hinaus verbessert eine semantische Self-Service-Ebene, die Datenquellen mit Intelligence-Tools verbindet, die Amortisierungszeit für Datenwissenschaftler und Analysten. Dremio erweitert nun die Reichweite seiner Lösung mit der Einführung von Dremio Cloud, einem cloudnativen Data Lake als Service, der die Kundenerfahrung vereinfacht.

Das AWS-SaaS-Factory-Team lud den Gründer und Chief Product Officer von Dremio, Tomer Shiran, ein, um über Dremios Weg zu Software-as-a-Service zu sprechen und wichtige Erkenntnisse für Unternehmen auszutauschen, die SaaS- und Platform as a Service (PaaS)-Angebote auf AWS entwickeln. Shiran, ein Unternehmer mit über 15 Jahren Erfahrung im Bereich Unternehmenssoftware, hatte Positionen im Produktmanagement und in der Technik bei Hewlett Packard, Microsoft und IBM Research inne. Vor seiner Zeit bei Dremio war er VP of Product bei MapR und trug dazu bei, das Unternehmen von fünf Mitarbeitern auf fast 400 Mitarbeiter und Hunderte von Unternehmenskunden auszubauen. Lesen Sie weiter, um mehr über Dremios Weg zum Unicorn-Status zu erfahren.

SaaS Factory: Tomer, vielen Dank, dass Sie sich die Zeit genommen haben, heute mit uns zu sprechen. Erzählen Sie uns zunächst etwas über das Wertversprechen, auf dem Dremio gegründet wurde.

Tomer Shiran: Jeder will mehr Daten. Aber je mehr Daten es gibt, desto schwieriger ist es, effizient aussagekräftige Erkenntnisse daraus abzuleiten. Cloud-Data-Lake-Speicher wie Amazon S3 sind zum bevorzugten Ziel für die Speicherung großer Datenmengen geworden, da sie kostengünstig, skalierbar und einfach zu verwalten sind. Um diese Daten zu analysieren, mussten Unternehmen diese Daten jedoch in der Vergangenheit in firmeneigene Data Warehouses verschieben und kopieren, ein Prozess, der kostspielig, komplex, riskant und unflexibel ist.

Die Data-Lake-Engine von Dremio befindet sich zwischen Cloud-Data-Lake-Speichern und Datenverbrauchern und ermöglicht es ihnen, Daten für leistungsstarke Dashboards und interaktive Analysen direkt abzufragen, ohne die Daten in eigene Data Warehouses kopieren und anschließend Aggregationstabellen, Extrakte, Cubes oder andere Derivate erstellen zu müssen. Dremio bietet auch eine gemeinsame semantische Ebene, die es Datenanalysten ermöglicht, Datensätze im Self-Service-Modus zu entdecken, zu kuratieren, zu analysieren und zu teilen, und die Datensicherheit und -verwaltung für Datenteams zentralisiert. Das Ergebnis ist eine einfachere und besser optimierte Datenarchitektur, die die Zeit bis zur Wertschöpfung reduziert und gleichzeitig die Datensicherheit verbessert und die Abhängigkeit von Anbietern verhindert.

Allgemeiner gesagt sind Open-Source-Innovation und Vordenkerrolle in der Branche von zentraler Bedeutung für das Leistungsversprechen von Dremio. Zum Beispiel war Apache Arrow ursprünglich unser eigenes internes Speicherformat, für das wir uns als Open Source entschieden haben. Es ist heute der Standard für In-Memory-Computing mit über 20 Millionen Downloads pro Monat. Vor Kurzem haben wir Project Nessie ins Leben gerufen, das Git-ähnliche Versionskontrollen in den Data Lake bringt und so die Agilität von Datentechnik, Datenwissenschaft und Analytik beschleunigt.

SaaS Factory: Diese Woche haben Sie die Dremio Cloud gestartet. Erzählen Sie uns, warum Sie sich für den einzigartigen architektonischen Ansatz entschieden haben, den Sie gewählt haben.

Tomer Shiran: Dremio Cloud ist eine cloudnative Data-Lake-Abfrage-Engine, die als Service bereitgestellt wird und mit den Workloads der Kunden skaliert. Immer mehr Unternehmen wünschen sich vollständig verwaltete Services, die es ihnen ermöglichen, sich darauf zu konzentrieren, Mehrwert aus Daten zu ziehen, anstatt sich Gedanken über die Systemeinrichtung und -administration zu machen. Die Entwicklung eines Dremio SaaS-Angebots war also ein natürlicher Fortschritt in unserer Geschichte.

Dremio Cloud bietet Abfragen mit hoher Parallelität und niedriger Latenz direkt auf Amazon S3 sowie eine semantische Ebene, die Daten für Analysten und Datenwissenschaftler nutzbar, konsistent und sicher macht. Sie besteht aus einer ständig verfügbaren Kontrollebene, die Anfragen von Kunden empfängt und für die Abfrageplanung und das Engine-Management verantwortlich ist, und einer Datenebene, die aus Datenverarbeitungs-Engines besteht, die für die Abfrageausführung verantwortlich sind.

Die multi-tenant-fähige Steuerebene ist von zentraler Bedeutung für das Kundenerlebnis in der Dremio Cloud. Sie hostet alle Interaktionen mit dem Kunden, einschließlich der Benutzeroberfläche, der REST-API und der Endpunkte für Datenabfragen. Wenn ein Geschäftsanwender eine Analyse mit Dremio Cloud durchführen möchte, verbindet er sein bevorzugtes BI-Tool wie Tableau, Power BI, SageMaker, Looker oder ein Jupyter Notebook mit der Steuerungsebene unter app.dremio.cloud. Die Steuerungsebene delegiert die Abfrageausführung sicher an Datenverarbeitungs-Engines, die automatisch im AWS-Konto des Kunden bereitgestellt werden, sodass die gesamte Datenverarbeitung innerhalb des Kundenkontos erfolgt.

Die Datenebenenarchitektur besteht aus mehreren Datenverarbeitungs-Engines in der richtigen Größe, um unterschiedliche Workloads zu unterstützen. Dremio Cloud basiert auf dieser Multi-Engine-Architektur und bietet Engines die Möglichkeit, je nach Workload-Größe dynamisch zu skalieren. Dies hilft Unternehmen dabei, alle Ebenen der Parallelität zu bewältigen und gleichzeitig eine konsistente Leistung aufrechtzuerhalten. Alle Daten werden innerhalb des Kundenkontos gespeichert und verarbeitet und bei der Übertragung und Speicherung verschlüsselt, sodass die Kunden die volle Kontrolle über ihre Daten haben. Außerdem gibt es keine eingehenden Verbindungen zur Datenebene, sodass Kunden keine Löcher in ihre Firewalls/Sicherheitsgruppen bohren müssen. Diese Funktionen sorgen für eine bessere Sicherheit und bessere Unternehmensführung für unsere Kunden.

Der von uns gewählte Ansatz erforderte erhebliche technische Innovationen, einschließlich der Verwendung von Apache Arrow von Anfang bis Ende, um die Abfrageleistung drastisch zu steigern. Ohne Arrow ist das Serialisieren und Deserialisieren von Datenstrukturen ineffizient und führt zu einer Verschwendung von Speicher- und CPU-Ressourcen. Arrow ermöglicht es Dremio, die Vorteile spaltenförmiger Datenstrukturen mit In-Memory-Computing zu kombinieren und bietet so Leistungsvorteile und die Flexibilität komplexer Daten und dynamischer Schemas.

SaaS Factory: Wer sind Ihre Kernkunden und wie ändert sich das mit der Einführung von Dremio Cloud?

Tomer Shiran: Dremio wurde schon immer so konzipiert, dass es für jedes Unternehmen geeignet ist, das seine Unternehmensdaten strategisch nutzen möchte. Hunderte von Unternehmen aus allen Branchen nutzen Dremio, um ihre Cloud-Data-Lakes zu betreiben, darunter Finanzinstitute wie die Standard Chartered Bank, Pharmaunternehmen wie Johnson & Johnson und Hersteller wie Honeywell. Amazon selbst verwendet Dremio, um Daten in seinem internen Data Lake, wie z. B. Lieferkettendaten, zu analysieren und Business Intelligence bereitzustellen.

Dennoch haben wir Dremio Cloud so konzipiert, dass sie bidirektional skalierbar ist, sodass durch Risikokapital finanzierte Startups, die viele zu analysierende Daten haben, aber nicht unbedingt über die Ressourcen verfügen, um ihre eigene Dateninfrastruktur zu betreiben oder es vorziehen, hart verdientes Risikokapital nicht für ein Cloud-Data-Warehouse zu verbrennen, sie effektiv nutzen können.

SaaS Factory: Die Hinzufügung eines SaaS-Produkts beinhaltet eine umfassende Geschäfts- und Organisationstransformation. Wie haben sich die verschiedenen Funktionen des Unternehmens weiterentwickelt, um sie besser auf das SaaS-Geschäfts- und Bereitstellungsmodell abzustimmen?

Tomer Shiran: In der Tat. Im Bereich der Produktentwicklung haben wir Hunderttausende automatisierter Tests und einen umfassenden CI/CD-Prozess entwickelt. Wir haben unsere Produktentwicklungsorganisation um Site Reliability Engineering (SRE), DevOps und Sicherheitsteams mit Führungskräften von Unternehmen wie Google und Salesforce erweitert. Dadurch können wir jetzt täglich Updates für Dremio Cloud veröffentlichen.

Zusätzlich zu den Veränderungen im Produktentwicklungsteam haben wir unsere kundenorientierten Teams innerhalb des Unternehmens so ausgerichtet, dass sie ein Self-Service-Modell unterstützen. Unsere Vertriebs- und Marketingteams konzentrieren sich darauf, qualitativ hochwertige Leads für das Dremio-Cloud-Angebot online zu generieren, während unsere Kundenerfolgs- und Support-Teams Betriebsdaten und Automatisierung nutzen, um proaktiven und gezielten Support zu bieten und so eine hohe Kundenzufriedenheit sicherzustellen. Das Tüpfelchen auf dem i ist, dass wir Dremio intern für unsere eigenen Daten als Grundlage dafür verwenden können!

SaaS Factory: Wie haben Sie AWS bei der Entwicklung von Dremio Cloud engagiert?

Tomer Shiran: Wir hatten schon immer eine besondere Beziehung zu Amazon und arbeiteten mit mehreren Teams innerhalb des Unternehmens zusammen. Wir arbeiten eng mit zahlreichen AWS-Serviceteams wie Amazon S3, AWS Glue und Amazon Lake Formation zusammen, um die Integration unserer Services zu gewährleisten und gemeinsam an neuen Funktionen zu arbeiten. Wir arbeiten mit dem AWS Marketplace-Team zusammen, um Dremio über den Marketplace zu vertreiben, sodass Unternehmen unser Produkt nutzen und gleichzeitig über AWS bezahlen können. Unsere Vertriebs- und Marketingteams arbeiten mit dem AWS-Partnernetzwerk und den AWS-Vertriebsorganisationen zusammen, um AWS-Kunden Dremio zugänglich zu machen und es AWS-Kunden so zu ermöglichen, Data Lakes/Lakehouses der nächsten Generation zu entwickeln.

Wir hatten in den letzten Jahren auch das Privileg, mit dem AWS-SaaS-Factory-Team zusammenzuarbeiten. Als wir uns auf den Weg zum Aufbau von Dremio Cloud machten, wollten wir modernste Technologien und bewährte Verfahren nutzen, um einen erstklassigen Cloud-Service zu schaffen. Da in den letzten 10 Jahren zahlreiche SaaS- und PaaS-Services auf AWS aufgebaut wurden, darunter auch die eigenen Services von AWS, wollten wir die Herausforderungen und Einschränkungen vermeiden, mit denen andere Services konfrontiert sind, und gleichzeitig von dem profitieren, was gut funktioniert hat. Zu diesem Zweck haben wir uns mit dem SaaS Factory-Team zusammengetan, um eine Architektur zu entwickeln, die beispiellose Skalierbarkeit, Sicherheit und Leistung bietet, und um eine flexible nutzungsbasierte Preisstrategie zu entwickeln, um ein optimiertes SaaS-Bereitstellungsmodell für Kunden in allen Segmenten zu gewährleisten.

SaaS Factory: Dremio ist jetzt offiziell ein „Unicorn“, basierend auf Ihrer letzten Finanzierungsrunde der Serie D im Januar 2021. Wenn Sie mit aufstrebenden Gründern sprechen würden, was wäre Ihr Rat an sie?

Tomer Shiran: Wenn es auf dem Markt einen erheblichen Bedarf gibt, der Sie interessiert, zögern Sie nicht, Ihr eigenes Startup zu gründen. Aber nehmen Sie sich die Zeit, um das beste Produkt in dieser Kategorie zu entwickeln. Im Bereich der Dateninfrastruktur ist beispielsweise ein erhebliches Maß an geistigem Eigentum erforderlich, um ein solides Produkt zu liefern. Wir haben gut fünf Jahre bei Dremio verbracht, um eine unserer Meinung nach von Grund auf neu entwickelte Data-Lake-Engine der nächsten Generation zu entwickeln, wobei der Fokus auf Innovation und Kundenerfolg lag. Sobald Sie ein solides Fundament geschaffen haben, lässt sich exponentielles Wachstum leichter realisieren. Heute, sechs Jahre nach seiner Gründung, unterstützt Dremio die Cloud-Data Lakes vieler der weltweit größten Unternehmen und hat im letzten Jahr mehr als 200 Millionen USD an Risikokapital aufgebracht.

Dremio und AWS freuen sich über die Zukunft des Datenmanagements und die Innovationen, die wir mit Dremio Cloud bereitstellen. Wenn Sie mehr erfahren möchten, besuchen Sie bitte die Seite von Dremio Cloud!

Über AWS SaaS Factory

AWS SaaS Factory unterstützt Unternehmen in jeder Phase der SaaS-Reise. Ganz gleich, ob Sie neue Produkte entwickeln, bestehende Anwendungen migrieren oder SaaS-Lösungen auf AWS optimieren möchten, das AWS-SaaS-Factory-Programm kann Ihnen helfen. SaaS-Entwickler und -Betreiber werden gebeten, sich an ihren Kundenbetreuer zu wenden, um sich nach Kooperationsmodellen zu erkundigen und mit dem AWS-SaaS-Factory-Team zusammenzuarbeiten.

Besuchen Sie den AWS SaaS Factory Insights Hub, um weitere technische und geschäftliche Inhalte und bewährte Methoden zu entdecken. Melden Sie sich an, um über die neuesten Neuigkeiten, Ressourcen und Veranstaltungen zu SaaS in AWS auf dem Laufenden zu bleiben.