Scopri Astro, il servizio Apache Airflow gestito di Astronomer creato e ospitato su AWS

Affinché i dati siano utili in un'azienda moderna, devono essere raccolti e centralizzati da varie fonti, elaborati attraverso un ecosistema di strumenti in crescita e forniti ai sistemi di un'organizzazione in modo da poter essere consumati da tutti i team. Questa orchestrazione dei dati, che integra la logica aziendale nello stack di dati per tutti gli aspetti, dalle dashboard agli algoritmi di personalizzazione, richiede centinaia, se non migliaia, di pipeline di dati.

L'orchestrazione dei dati è necessaria in tutti i settori, in organizzazioni di tutte le dimensioni. Con oltre 2.200 collaboratori e oltre 12 milioni di download mensili, Apache Airflow è diventato lo standard open source per la creazione, la pianificazione e il monitoraggio delle pipeline di dati in modo programmatico. I professionisti dei dati amano Airflow per la sua community, la sua flessibilità e la sua capacità di fornire una visione centrale di un ecosistema di dati.

Tuttavia, i team addetti ai dati hanno naturalmente bisogno di qualcosa di più di Airflow open source da solo: hanno bisogno di pipeline di test per garantire la qualità dei dati, di SDK per rendere produttivi i data practice e di osservabilità e lineage per i dati sottostanti, anche se si sforzano di ridurre al minimo il sovraccarico operativo. La derivazione dei dati fornisce il contesto completo dei dati acquisendo in modo più dettagliato le relazioni tra le fonti di dati, l'origine dei dati e il modo in cui vengono trasformati e fatti convergere durante il ciclo di vita dei dati.

Soddisfare l'esigenza di un'orchestrazione moderna dei dati

Astronomer, una startup fondata nel 2018, ha dedicato gli ultimi cinque anni a promuovere Airflow come progetto open source con strumenti che aiutano i professionisti dei dati a ottenere il massimo dall'orchestrazione e dal lineage dei dati. Il prodotto di punta di Astronomer, Astro, consente ai clienti di creare, eseguire e osservare pipeline di dati su Airflow come servizio gestito, il che consente ai team addetti ai dati di dedicare più tempo alla scrittura della logica aziendale e all'espansione dell'accesso ai dati.

"Molti processi aziendali fondamentali orchestrati da Astro per i nostri clienti sono basati su Amazon Web Services (AWS): Amazon Simple Storage Service (Amazon S3), Amazon Redshift, Amazon EMR, Amazon SageMaker e molti altri", spiega Viraj Parekh, CTO di Astronomer's Field.

Co-fondato da un piccolo team che comprendeva tre amici, Paola Peraza Calderon, Pete DeJoy e Viraj Parekh, Astronomer descrive la sua attuale missione come triplice:

• Creare prodotti che aumentino il valore che i team di dati ottengono dall'orchestrazione e dal lineage dei dati.
• Coltivare la crescita organica del progetto open source Airflow e della sua community.
• Fornire formazione, best practice e supporto ai professionisti dei dati per consentire loro di avere successo.

Con oltre 350 dipendenti e un team distribuito a livello globale, sia Astronomer che la sua base di clienti sono cresciuti rapidamente. "È tutto cominciato con persone che gestivano Airflow open source e ci chiedevano aiuto per la gestione dell'infrastruttura alla base", afferma Pete. "Ora che abbiamo risolto la gestione dell'infrastruttura, ci concentriamo sulla più ampia gamma di funzionalità necessarie per prendere Airflow e utilizzarlo come base per una piattaforma di orchestrazione completa".

Creazione e scalabilità su AWS

La necessità del mercato di prodotti Astronomer, così come il potenziale di successo dell'azienda, erano evidenti fin dall'inizio. Viraj ride mentre racconta una storia sui loro primi giorni. "Eravamo tutti pronti per una proof of concept con una grande azienda di videogiochi. L'azienda si era affidata ad Astronomer per orchestrare il flusso di dati per il suo più grande lancio dell'anno. La mattina dopo il lancio, non c'erano ticket di assistenza", racconta Viraj. "E io ho pensato: 'Oh no, sarà andato storto qualcosa?'. Invece pareva che fosse andato tutto per il verso giusto. Tutto aveva funzionato. Stavamo gestendo il 100% dell'acquisizione dei dati proveniente da uno dei più grandi lanci di questa azienda ed era andato tutto al meglio".

Perché Astronomer ha creato la sua startup su AWS? "Non posso dire che sia stata una decisione. È stata una scelta ovvia: AWS è stato il cardine della nostra strategia cloud", afferma Paola. "Come base, l'ubiquità dei servizi AWS in tutti i paesi e le regioni ci consente di lavorare con organizzazioni di tutto il mondo. Sblocca da solo il nostro mercato".

Per soddisfare le crescenti esigenze della sua base di clienti, Astronomer crea interfacce che consentono ai professionisti dei dati di ottenere il massimo da Airflow mentre sviluppano pipeline di dati e formano una visione unica del loro ecosistema. Viraj spiega: "Stiamo unendo l'orchestrazione dei dati attraverso tutti i sistemi, utilizzando tutti gli strumenti e i servizi utilizzati dai team, con il lineage dei dati. Non solo è possibile orchestrare i dati su tutti i sistemi, ma è anche possibile vedere come si muovono".

Come mostrato nel diagramma dell'architettura, Astro è realizzato con un'architettura multipiano, che consiste in un piano di controllo (control-plane) ospitato da Astronomer e un piano dati che può essere eseguito nel cloud o in un account single-tenant ospitato da Astronomer:

Man mano che Astronomer cresce, l'azienda ha ampliato la propria presenza in AWS per soddisfare le esigenze dei suoi clienti. Oggi, Astronomer si affida ad Amazon Elastic Kubernetes Service (Amazon EKS) per eseguire Astro come servizio gestito all'interno della rete aziendale del cliente e supporta strumenti come AWS Transit Gateway e AWS Private Link per connettersi in modo sicuro ad altri servizi di dati nella propria rete. Astro utilizza AWS CloudFormation per fornire nuovi cluster Kubernetes e Amazon S3 per archiviare i log, e mette a disposizione dei clienti tipi di istanze di nodi per consentire loro di scegliere l'hardware più ottimale per eseguire le proprie pipeline. In questo modo i professionisti dei dati hanno sempre a disposizione opzioni, prestazioni ed efficienza.

"Siamo certi che, man mano che il nostro mercato e la nostra base di clienti crescono, AWS possa crescere con noi. Poter ottimizzare i servizi AWS in base alle nostre esigenze ci aiuta a rendere Astro più veloce, conveniente e facile da gestire per i nostri clienti", afferma Paola.

Costruire una startup di successo

Per le startup che desiderano replicare il proprio successo, il team fondatore di Astronomer concorda sul fatto che è fondamentale trascorrere del tempo con i primi utilizzatori del prodotto. Questo crea uno stretto circuito di feedback che migliora il prodotto fin dall'inizio e spesso si traduce in solide relazioni personali che vi guideranno durante tutto il percorso di costruzione dell'azienda.

"Soprattutto per le startup in fase iniziale, è più probabile che le persone che adottano per prime il prodotto capiscano il problema che stanno cercando di risolvere. È necessario curare queste relazioni nel tempo, perché questi clienti hanno pensato allo stesso problema delle startup e hanno utilizzato la soluzione per tutto il tempo in cui lo hanno fatto loro", afferma Viraj Parekh

"Fare molte domande e lavorare sodo. Per portare avanti un'azienda nelle sue fasi iniziali è fondamentale rimboccarsi le maniche, lasciarsi iterare e riunire un piccolo team al proprio fianco. Per quanto possa sembrare semplice, l'esecuzione alla fine differenzia molte imprese di successo", afferma Paola Peraza Calderon

"Con la crescita dell'azienda, l'elenco delle cose da fare diventerà infinito. È una vera abilità imparare a identificare quali sono gli elementi ad alta priorità nell'elenco e concentrarsi sulla loro realizzazione", afferma Pete DeJoy

Quali sono le prospettive di Astronomer?

Per quanto riguarda il futuro di Astronomer, Pete spiega: "Vogliamo costruire un'azienda generazionale che crei valore reale per i clienti, coltivando il talento tra i nostri dipendenti e permettendo loro di autorealizzarsi nella loro carriera. E ci riusciremo generando risultati tangibili e significativi per i clienti su base giornaliera".