Lernen Sie Astro kennen – den verwalteten Apache-Airflow-Service von Astronomer, der in AWS entwickelt und gehostet wird

Damit Daten in einem modernen Unternehmen nützlich sind, müssen sie aus verschiedenen Quellen gesammelt und zentralisiert, über ein wachsendes Ökosystem von Tools verarbeitet und in einer Weise an Systeme im gesamten Unternehmen weitergeleitet werden, die von allen Teams genutzt werden kann. Diese Datenorchestrierung – das Weben von Geschäftslogik in den Datenstapel für alles von Dashboards bis zu Personalisierungsalgorithmen – erfordert Hunderte, wenn nicht Tausende von Datenpipelines.

Datenorchestrierung wird in allen Branchen und in Unternehmen jeder Größe benötigt. Mit mehr als 2 200 Mitwirkenden und über 12 Millionen monatlichen Downloads hat sich Apache Airflow zum Open-Source-Standard für die programmatische Erstellung, Planung und Überwachung von Datenpipelines entwickelt. Datenexperten schätzen Airflow wegen seiner Community, seiner Flexibilität und seiner Fähigkeit, einen zentralen Überblick über ein Datenökosystem zu bieten.

Datenteams brauchen jedoch natürlich mehr als das Open-Source-Programm Airflow allein – sie brauchen Testpipelines, um die Datenqualität zu gewährleisten, SDKs, um Datenexperten produktiv zu machen, und Beobachtbarkeit sowie eine Datenabfolge für die zugrunde liegenden Daten – auch wenn sie sich bemühen, den betrieblichen Aufwand zu minimieren. Die Datenabfolge liefert den vollständigen Kontext der Daten, indem sie die Beziehungen zwischen den Datenquellen, den Ursprung der Daten und ihre Umwandlung und Konvertierung im Laufe des Datenlebenszyklus detaillierter erfasst.

Den Bedarf an moderner Datenorchestrierung decken

Astronomer, ein 2018 gegründetes Startup, hat die letzten fünf Jahre damit verbracht, Airflow als Open-Source-Projekt mit Tools voranzutreiben, die Datenexperten dabei helfen, das Beste aus Datenorchestrierung und Datenverlauf herauszuholen. Das Flaggschiffprodukt von Astronomer, Astro, ermöglicht es Kunden, Datenpipelines auf Airflow als verwalteten Service zu erstellen, auszuführen und zu verfolgen, wodurch Datenteams mehr Zeit haben, sich auf das Schreiben von Geschäftsabläufen und die Erweiterung des Zugangs zu Daten zu konzentrieren.

„Viele grundlegende Geschäftsprozesse, die Astro für unsere Kunden orchestriert, werden von Amazon Web Services (AWS) unterstützt: Amazon Simple Storage Service (Amazon S3), Amazon Redshift, Amazon EMR, Amazon SageMaker und viele andere“, erklärt Viraj Parekh, Astronomer Field CTO.

Astronomer wurde von einem kleinen Team aus drei Freunden – Paola Peraza Calderon, Pete DeJoy und Viraj Parekh – gegründet und verfolgt derzeit eine dreifache Aufgabe:

• Produkte zu entwickeln, die den Wert von Datenorchestrierung und Datenverlauf für Datenteams erhöhen.
• Förderung des organischen Wachstums des Open-Source-Projekts Airflow und seiner Community.
• Bereitstellung von Schulungen, bewährten Methoden und Unterstützung für Datenexperten, damit diese erfolgreich mit Daten arbeiten können.

Mit mehr als 350 Mitarbeitern und einem weltweit verteilten Team sind sowohl Astronomer als auch der Kundenstamm schnell gewachsen. „Es begann damit, dass Leute, die die Open-Source-Software Airflow einsetzen, uns um Hilfe bei der Verwaltung der dahinter stehenden Infrastruktur baten“, sagt Pete. „Jetzt, wo wir das Infrastrukturmanagement erledigt haben, konzentrieren wir uns auf das breitere Spektrum an Funktionen, die erforderlich sind, um Airflow als Grundlage für eine vollständige Orchestrierungsplattform zu nutzen.“

Aufbau und Skalierung in AWS

Der Marktbedarf für die Produkte von Astronomer und das Erfolgspotenzial des Unternehmens waren schon früh offensichtlich. Viraj lacht, als er eine Geschichte über die frühen Tage erzählt. „Wir hatten alle Hände voll zu tun, um ein Proof-of-Concept mit einem großen Spielehersteller durchzuführen. Das Unternehmen verließ sich auf Astronomer, um den Datenfluss für seinen größten Launch des Jahres zu orchestrieren. Am Morgen nach dem Start gab es keine Supportanfragen“, sagt Viraj. „Und ich dachte: Oh nein, ist etwas schief gelaufen? Es stellte sich aber heraus, dass etwas richtig gelaufen war. Alles funktionierte. Wir wickelten 100 % des Dateninputs ab, der von einem der größten Launches dieses Unternehmens herrührte, und alles lief reibungslos.“

Warum hat Astronomer sein Startup auf AWS aufgebaut? „Ich kann nicht sagen, dass es eine schwierige Entscheidung war. Es war die offensichtliche Wahl – AWS ist der Eckpfeiler unserer Cloud-Strategie“, sagt Paola. „Die Allgegenwärtigkeit der AWS-Services über Länder und Regionen hinweg ermöglicht es uns, mit Organisationen auf der ganzen Welt zusammenzuarbeiten. Sie erschließt unseren Markt im Alleingang.“

Um den wachsenden Anforderungen seines Kundenstamms gerecht zu werden, entwickelt Astronomer Schnittstellen, die es Datenexperten ermöglichen, bei der Entwicklung von Datenpipelines das Beste aus Airflow herauszuholen und sich einen einzigartigen Überblick über ihr Ökosystem zu verschaffen. Viraj erklärt: „Wir vereinen die Datenorchestrierung über jedes beliebige System – inklusive aller Tools und Services, die Ihr Team verwendet – mit dem Datenverlauf. Sie können nicht nur Daten über alle Ihre Systeme hinweg orchestrieren, sondern auch sehen, wie sich diese Daten bewegen.“

Wie im Architekturdiagramm dargestellt, basiert Astro auf einer Multi-Plane-Architektur, die aus einer von Astronomer gehosteten Steuerebene und einer Datenebene besteht, die in Ihrer Cloud oder in einem von Astronomer gehosteten Single-Tenant-Konto laufen kann:

Mit dem Wachstum von Astronomer hat das Unternehmen seine AWS-Präsenz skaliert, um die Anforderungen seiner Kunden zu erfüllen. Heute verlässt sich Astronomer auf Amazon Elastic Kubernetes Service (Amazon EKS), um Astro als verwalteten Service im Unternehmensnetzwerk eines Kunden zu betreiben, und unterstützt Tools wie AWS Transit Gateway und AWS Private Link, um eine sichere Verbindung zu anderen Datendiensten in ihrem Netzwerk herzustellen. Astro verwendet AWS CloudFormation für die Bereitstellung neuer Kubernetes-Cluster und Amazon S3 für die Speicherung von Protokollen und stellt den Kunden Knoten-Instances-Typen zur Verfügung, damit sie die optimale Hardware für ihre Pipelines auswählen können. Dies gibt Datenanwendern Optionen, Leistung und Effizienz, wo sie sie brauchen.

„Wir sind zuversichtlich, dass AWS mit dem Wachstum unseres Marktes und unserer Kundenbasis mitwachsen kann. Die Möglichkeit, AWS-Services genau auf unsere Bedürfnisse abzustimmen, hilft uns, Astro schneller, kostengünstiger und für unsere Kunden einfacher zu machen“, sagt Paola.

Aufbau eines erfolgreichen Startups

Für Startups, die ihren Erfolg wiederholen wollen, ist es nach Ansicht des Astronomer-Gründerteams entscheidend, Zeit mit den ersten Anwendern des Produkts zu verbringen. Dadurch entsteht eine enge Feedback-Schleife, die Ihr Produkt frühzeitig verbessert und oft zu starken persönlichen Beziehungen führt, die Sie während des gesamten Unternehmensaufbaus begleiten werden.

„Vor allem bei Startups in der Frühphase ist es sehr wahrscheinlich, dass die Personen, die Ihr Produkt zuerst annehmen, das Problem verstehen, das Sie zu lösen versuchen. Pflegen Sie diese Beziehungen im Laufe der Zeit, denn diese Kunden haben über Ihr Problem nachgedacht und nutzen Ihre Lösung schon so lange wie Sie selbst.“ – Viraj Parekh

„Stellen Sie viele Fragen – und stecken Sie viel Arbeit hinein. Um ein Unternehmen durch die Anfangsphase zu führen, muss man die Ärmel hochkrempeln, sich selbst weiterentwickeln und ein kleines Team um sich versammeln. So einfach es klingt, aber die Umsetzung macht den Unterschied zwischen vielen erfolgreichen Projekten aus.“ – Paola Peraza Calderon

„Während Ihr Unternehmen wächst, nimmt die Liste der zu erledigenden Dinge kein Ende. Es ist eine echte Kunst zu lernen, wie man die Punkte auf der Liste identifiziert, die höchste Priorität haben, und sich darauf konzentriert, diese zu erledigen.“ – Pete DeJoy

Was kommt als Nächstes für Astronomer?

Was die Zukunft von Astronomer angeht, erklärt Pete: „Wir wollen ein Unternehmen für Generationen aufbauen, das einen echten Mehrwert für seine Kunden schafft, während wir gleichzeitig die Talente unserer Mitarbeiter fördern und ihnen die Möglichkeit geben, sich in ihrer Karriere zu verwirklichen. Und das erreichen wir, indem wir tagtäglich greifbare, bedeutsame Kundenergebnisse antreiben.“