SaaS Founder Series: Il percorso di Dremio verso lo status di unicorno

Post di Afza Wajid, Bill Tarr e Mark Birch, AWS

Con la proliferazione dei sistemi di engagement e di intelligence, le organizzazioni moderne pongono sempre più l'accento sulla necessità di fornire informazioni dettagliate sui dati. Tuttavia, per poter analizzare i dati in modo efficace, sono necessarie competenze specialistiche e costosi codici personalizzati per centralizzare i dati su sistemi di archiviazione diversi prima di poterli analizzare. Con l'avvento di framework open source per la distribuzione dell'archiviazione di dati come Hadoop, gli sviluppatori sono stati in grado di interrogare direttamente le origini dei dati distribuiti, ma i data scientist e i data analyst non erano ancora in grado di ricavare valore dai dati in modalità self-service.

Dremio, una startup unicorno fondata nel 2015 e finanziata con investimenti di serie D, semplifica lo stack di analisi con un motore di query ad alte prestazioni e ad alta efficienza che consente ai consumatori di dati di interrogare direttamente lo storage di data lake in cloud con capacità nell'ordine dei petabyte, eliminando i trasferimenti massicci di dati e il vincolo del fornitore e riducendo i rischi per la sicurezza. Inoltre, un livello semantico self-service che collega le origini dati agli strumenti di intelligence migliora il time to value per i data scientist e i data analyst. Dremio sta ora estendendo la portata della sua soluzione con il lancio di Dremio Cloud, un data lake nativo del cloud come servizio che semplifica l'esperienza del cliente.

Il team di AWS SaaS Factory ha invitato il fondatore e Chief Product Officer di Dremio, Tomer Shiran, a parlare del percorso di Dremio verso il software-as-a-service e a condividere degli insegnamenti chiave per le attività che creano offerte SaaS e platform-as-a-service (PaaS) su AWS. Shiran, imprenditore con oltre 15 anni di esperienza nel settore del software aziendale, ha ricoperto numerosi incarichi nell'ambito della gestione e della progettazione dei prodotti presso Hewlett Packard, Microsoft e IBM Research. Prima di Dremio, è stato VP of Product di MapR e ha contribuito alla crescita dell'azienda da cinque dipendenti a quasi 400, con centinaia di clienti aziendali. Continua a leggere per scoprire di più sul percorso di Dremio verso lo status di unicorno.

SaaS Factory: Tomer, grazie per aver trovato il tempo di parlare con noi oggi. Per cominciare, ci parli della proposta di valore su cui è stata fondata Dremio.

Tomer Shiran: Tutti vogliono più dati. Ma più dati ci sono, più è difficile ricavarne informazioni significative in modo efficiente. Gli storage di data lake in cloud come Amazon S3 sono diventati la principale soluzione per l'archiviazione di grandi volumi di dati, perché sono poco costosi, scalabili e semplici da gestire. Ma in passato, per analizzare questi dati, le aziende dovevano spostarli e copiarli in data warehouse proprietari: un processo costoso, complesso, rischioso e poco flessibile.

Il motore del data lake di Dremio si colloca tra lo storage di data lake in cloud e i consumatori di dati, consentendo loro di interrogare direttamente i dati per ottenere dashboard e analisi interattive ad alte prestazioni senza dover copiare i dati in data warehouse proprietari e creare successivamente tabelle di aggregazione, estratti, cubi o altri derivati. Dremio fornisce inoltre un livello semantico condiviso che consente ai data analyst di scoprire, gestire, analizzare e condividere i set di dati in modalità self-service, centralizzando inoltre la sicurezza e la governance dei dati per i team che si occupano di dati. Il risultato è un'architettura dei dati più semplice e ottimizzata che riduce il time to value, migliorando la sicurezza dei dati ed eliminando i vincoli del fornitore.

Più in generale, l'innovazione open-source e la leadership di pensiero del settore sono fondamentali per la proposta di valore di Dremio. Ad esempio, Apache Arrow era originariamente il nostro formato di memoria interna che abbiamo deciso di rendere open source. Oggi è lo standard per l'in-memory computing, con oltre 20 milioni di download al mese. Più recentemente, abbiamo creato Project Nessie, che porta nel data lake un controllo delle versioni simile a Git, accelerando l'agilità di data engineering, data science e data analytics.

SaaS Factory: Questa settimana avete lanciato Dremio Cloud. Ci spieghi perché ha scelto l'approccio architettonico unico che ha adottato.

Tomer Shiran: Dremio Cloud è un motore di query del data lake nativo del cloud fornito come servizio e dimensionabile in base ai carichi di lavoro dei clienti. Sempre più spesso le aziende desiderano servizi completamente gestiti che consentano loro di concentrarsi sulla creazione di valore dai dati, invece di preoccuparsi della configurazione e dell'amministrazione del sistema. Pertanto, lo sviluppo di un'offerta Dremio SaaS è stato un progresso naturale nella nostra storia.

Dremio Cloud offre query ad elevata simultaneità e bassa latenza direttamente su Amazon S3 e un livello semantico che rende i dati consumabili, coerenti e sicuri per analisti e data scientist. È costituito da un piano di controllo (control-plane) sempre attivo che riceve le query dai client ed è responsabile della pianificazione delle query e della gestione dei motori, e da un piano dati composto da motori di calcolo responsabili dell'esecuzione delle query.

Il piano di controllo multi-tenant è il fulcro dell'esperienza cliente di Dremio Cloud e ospita tutte le interazioni con i clienti, tra cui l'interfaccia utente, la REST API e gli endpoint di query dei dati. Quando un utente aziendale desidera eseguire un'analisi con Dremio Cloud, collega il proprio strumento di BI preferito, come Tableau, Power BI, SageMaker, Looker o un notebook Jupyter, al piano di controllo all'indirizzo app.dremio.cloud. Il piano di controllo delega in modo sicuro l'esecuzione delle query ai motori di calcolo automaticamente forniti nell'account AWS del cliente, in modo che tutta l'elaborazione dei dati avvenga all'interno dell'account del cliente.

L'architettura del piano dati è composta da più motori di calcolo di dimensioni adeguate per supportare carichi di lavoro diversi. Basato su questa architettura multi-motore, Dremio Cloud consente ai motori di dimensionare in modo dinamico in base alle dimensioni del carico di lavoro, aiutando le aziende ad affrontare qualsiasi livello di simultaneità mantenendo prestazioni costanti. Tutti i dati vengono archiviati ed elaborati all'interno dell'account del cliente e crittografati in transito e su dati inattivi, garantendo ai clienti il pieno controllo dei propri dati. Inoltre, nel piano dati non ci sono connessioni in entrata, per cui i clienti non devono trovare falle nei propri firewall o gruppi di sicurezza. Queste funzionalità si traducono in una maggiore sicurezza e governance per i nostri clienti.

L'approccio adottato ha richiesto una significativa innovazione tecnica, tra cui l'utilizzo end-to-end di Apache Arrow per aumentare drasticamente le prestazioni delle query. Senza Arrow, la serializzazione e la deserializzazione delle strutture di dati è inefficiente e comporta uno spreco di risorse di memoria e CPU. Arrow consente a Dremio di combinare i vantaggi delle strutture di dati colonnari con l'in-memory computing, offrendo vantaggi in termini di prestazioni con la flessibilità dei dati complessi e degli schemi dinamici.

SaaS Factory: Chi sono i vostri clienti principali e come cambia la situazione con l'introduzione di Dremio Cloud?

Tomer Shiran: Dremio è sempre stato progettato per funzionare per qualsiasi azienda che voglia utilizzare i propri dati aziendali in modo strategico. Centinaia di aziende di tutti i settori utilizzano Dremio per alimentare i propri data lake su cloud, tra cui istituti finanziari come Standard Chartered Bank, aziende farmaceutiche come Johnson & Johnson e produttori come Honeywell. Amazon stessa utilizza Dremio per analizzare e sfruttare la business intelligence sui dati del suo data lake interno, come quelli della catena di approvvigionamento.

Tuttavia, abbiamo progettato Dremio Cloud in modo che sia scalabile in modo bidirezionale, così da poter essere utilizzato efficacemente dalle startup sostenute da imprese che hanno molti dati da analizzare, ma che non sempre hanno le risorse per gestire la propria infrastruttura di dati o che preferiscono non spendere i propri sudati fondi per un data warehouse nel cloud.

SaaS Factory: L'aggiunta di un prodotto SaaS comporta una trasformazione completa dell'azienda e dell'organizzazione. Come si sono evolute le diverse funzioni dell'organizzazione per allinearsi meglio al modello di business e di distribuzione SaaS?

Tomer Shiran: Esatto. Sul fronte dell'ingegneria di prodotto, abbiamo creato centinaia di migliaia di test automatizzati e un processo CI/CD completo. Abbiamo ampliato la nostra organizzazione di sviluppo del prodotto per includere i team di Ingegneria dell'affidabilità del sito (SRE), DevOps e Sicurezza, con leader provenienti da aziende come Google e Salesforce. Di conseguenza, ora siamo in grado di rilasciare aggiornamenti per Dremio Cloud su base giornaliera.

Oltre ai cambiamenti nel team di ingegneria del prodotto, abbiamo allineato i team che si occupano dei clienti all'interno dell'azienda per supportare un modello di adozione self-service. I nostri team di vendita e marketing si concentrano sull'acquisizione di contatti di alta qualità per l'offerta Dremio Cloud online, mentre i nostri team di assistenza clienti e customer success sfruttano i dati operativi e l'automazione per fornire un'assistenza proattiva e mirata al fine di garantire la massima soddisfazione dei clienti. La ciliegina sulla torta è che alla base di tutto ciò possiamo utilizzare Dremio internamente sui nostri stessi dati.

SaaS Factory: Come avete coinvolto AWS durante lo sviluppo di Dremio Cloud?

Tomer Shiran: Abbiamo sempre avuto un rapporto speciale con Amazon, collaborando con diversi team dell'azienda. Lavoriamo a stretto contatto con i team di numerosi servizi AWS, come Amazon S3, AWS Glue e Amazon Lake Formation, per garantire l'integrazione tra i nostri servizi e collaborare su nuove funzionalità. Collaboriamo con il team del Marketplace AWS per distribuire Dremio attraverso il marketplace, consentendo alle aziende di usufruire del nostro prodotto pagando attraverso AWS. I nostri team di vendita e marketing collaborano con la Rete dei partner AWS e con gli uffici commerciali di AWS per portare Dremio ai clienti di AWS, consentendo così ai clienti di AWS di costruire data lake e lakehouse di nuova generazione.

Negli ultimi due anni abbiamo avuto il privilegio di lavorare con il team di AWS SaaS Factory. Quando abbiamo intrapreso il nostro percorso per costruire Dremio Cloud, volevamo sfruttare la tecnologia più avanzata e le best practice per creare un servizio cloud di prim'ordine. Poiché negli ultimi 10 anni sono stati costruiti numerosi servizi SaaS e PaaS su AWS, compresi i servizi della stessa AWS, volevamo evitare le difficoltà e le limitazioni degli altri servizi, preferendo quindi sfruttare ciò che funzionava bene. A tal fine, abbiamo collaborato con il team di SaaS Factory per sviluppare un'architettura che offrisse scalabilità, sicurezza e prestazioni senza precedenti e per sviluppare una strategia di prezzo flessibile basata sull'utilizzo, al fine di garantire un modello di distribuzione SaaS ottimizzato per i clienti di tutti i segmenti.

SaaS Factory: Con l'ultimo round di finanziamenti di serie D del gennaio 2021, Dremio è ora ufficialmente un "unicorno". Se dovesse parlare con degli aspiranti fondatori, che consiglio darebbe loro?

Tomer Shiran: Se sul mercato c'è un'esigenza rilevante che vi entusiasma, non esitate a lanciare la vostra startup. Ma prendetevi il tempo necessario per costruire il prodotto migliore in quella categoria. Per esempio, nel settore delle infrastrutture dati, per realizzare un prodotto solido è necessaria una notevole capacità in termini di proprietà intellettuale. In Dremio abbiamo trascorso ben cinque anni a costruire da zero quello che pensavamo sarebbe stato un vero e proprio motore di data lake di nuova generazione, con particolare attenzione all'innovazione e al successo dei clienti. Una volta costruite delle solide fondamenta, la crescita esponenziale sarà più facile da realizzare. Oggi, sei anni dopo la sua fondazione, Dremio alimenta i data lake in cloud di molte delle più grandi aziende del mondo e nell'ultimo anno ha raccolto oltre 200 milioni di USD in finanziamenti di rischio.

Dremio e AWS sono entusiasti del futuro della gestione dei dati e dell'innovazione che stiamo offrendo con Dremio Cloud. Per saperne di più, visita la pagina di Dremio Cloud.

Informazioni su AWS SaaS Factory

AWS SaaS Factory aiuta le organizzazioni in ogni fase del percorso SaaS. Che si tratti di creare nuovi prodotti, migrare applicazioni esistenti o di ottimizzare soluzioni SaaS su AWS, il Programma AWS di gestione SaaS può essere d'aiuto. I creatori e gli operatori SaaS sono incoraggiati a contattare il proprio rappresentante per informarsi sui modelli di coinvolgimento e per lavorare con il team di AWS SaaS Factory.

Visita l'AWS SaaS Factory Insights Hub per scoprire altri contenuti tecnici e relativi all'attività e le nostre best practice in materia. Iscriviti per rimanere aggiornato sulle ultime novità, risorse ed eventi a proposito delle soluzioni SaaS su AWS.