Temui Astro, Layanan Apache Airflow yang dikelola oleh astronom yang dibuat dan di-hosting di AWS

Agar data berguna dalam korporasi modern, data harus dikumpulkan dan dipusatkan dari berbagai sumber, lalu diproses di seluruh ekosistem alat yang berkembang, dan diumpankan ke sistem di seluruh organisasi dengan cara yang dapat digunakan di seluruh tim. Orkestrasi data ini, yang menenun logika bisnis melalui tumpukan data untuk segala hal mulai dari dasbor hingga algoritma personalisasi, membutuhkan ratusan, bahkan ribuan, alur data.

Orkestrasi data diperlukan di semua industri, dalam organisasi dari semua ukuran. Dengan lebih dari 2.200 kontributor dan lebih dari 12 juta unduhan bulanan, Apache Airflow telah muncul sebagai standar sumber terbuka untuk pembuatan, penjadwalan, dan pemantauan alur data secara terprogram. Praktisi data menyukai Airflow karena komunitasnya, fleksibilitasnya, dan kemampuannya untuk menyediakan tampilan sentral dari ekosistem data.

Namun, tim data secara alami membutuhkan lebih dari sekadar Airflow sumber terbuka. Mereka membutuhkan alur pengujian untuk memastikan kualitas data, SDK untuk membuat praktisi data produktif, dan observabilitas ditambah silsilah data yang mendasarinya, bahkan saat mereka berusaha meminimalkan biaya tambahan operasional. Silsilah data menyediakan konteks lengkap data dengan menangkap secara lebih detail hubungan antara sumber data, asal data, serta bagaimana data itu diubah dan dikonvergensi melalui siklus hidup data.

Memenuhi kebutuhan orkestrasi data modern

Astronomer, yaitu startup yang didirikan pada tahun 2018, telah menghabiskan lima tahun terakhir untuk memajukan Airflow sebagai proyek sumber terbuka dengan alat yang membantu praktisi data mendapatkan hasil maksimal dari orkestrasi data dan silsilah data. Produk unggulan Astronomer, yaitu Astro, memungkinkan pelanggan untuk membangun, menjalankan, dan mengamati alur data di Airflow sebagai layanan terkelola, yang memungkinkan tim data menghabiskan lebih banyak waktu untuk berfokus pada penulisan logika bisnis dan memperluas akses ke data.

“Banyak proses bisnis fundamental yang diatur Astro untuk pelanggan kami didukung oleh Amazon Web Services (AWS): Amazon Simple Storage Service (Amazon S3), Amazon Redshift, Amazon EMR, Amazon SageMaker, dan banyak lainnya,” jelas Viraj Parekh, Astronomer's Field CTO.

Didirikan bersama oleh tim kecil yang terdiri dari tiga orang teman, yaitu Paola Peraza Calderon, Pete DeJoy, dan Viraj Parekh, Astronomer menggambarkan misinya saat ini sebagai tiga lipatan:

• Membuat produk yang meningkatkan nilai yang diperoleh tim data dari orkestrasi data dan silsilah data.
• Memperkuat pertumbuhan organik dari proyek sumber terbuka Airflow dan komunitasnya.
• Menyediakan pendidikan, praktik terbaik, dan dukungan kepada praktisi data yang memungkinkan kesuksesan mereka dengan data.

Dengan lebih dari 350 karyawan dan tim yang didistribusikan secara global, baik Astronomer maupun basis pelanggannya telah berkembang pesat. “Astronomer dimulai dengan orang-orang yang menjalankan Airflow sumber terbuka dan meminta bantuan kami untuk mengelola infrastruktur di baliknya,” kata Pete. “Sekarang setelah kami menyelesaikan manajemen infrastruktur, kami berfokus pada serangkaian kemampuan yang lebih luas yang diperlukan untuk menggunakan Airflow dan menggunakannya sebagai fondasi untuk platform orkestrasi yang lengkap.”

Membangun dan menskalakan di AWS

Kebutuhan pasar akan produk Astronomer, serta potensi kesuksesan perusahaan, sudah terbukti sejak awal. Viraj tertawa saat dia berbagi cerita tentang masa-masa awal mereka. “Kami semua terlibat langsung dalam pembuktian konsep dengan perusahaan game besar. Perusahaan mengandalkan Astronomer untuk mengatur aliran data untuk peluncuran terbesarnya tahun ini. Pagi hari setelah peluncuran, tidak ada tiket dukungan,” kata Viraj. “Dan saya berpikir, 'Oh tidak, apakah ada yang salah?' Ternyata, semua berjalan lancar. Semuanya berhasil. Kami menangani 100% dari penyerapan data yang berasal dari salah satu peluncuran terbesar perusahaan ini, dan semuanya berjalan lancar.”

Mengapa Astronomer membangun startup miliknya di AWS? “Saya tidak bisa bilang itu keputusan. Namun, Itu adalah pilihan yang jelas karena AWS telah menjadi landasan strategi cloud kami,” kata Paola. “Sebagai dasar, keberadaan layanan AWS di mana pun di seluruh negara dan wilayah memungkinkan kami untuk bekerja dengan organisasi di seluruh dunia. Layanan AWS dengan sendirinya membuka pasar kami.”

Untuk memenuhi kebutuhan basis pelanggannya yang semakin luas, Astronomer membangun antarmuka yang memungkinkan praktisi data untuk mendapatkan hasil maksimal dari Airflow saat mereka mengembangkan alur data dan membentuk tampilan tunggal ekosistem mereka. Viraj menjelaskan: “Kami menggabungkan orkestrasi data melalui sistem apa pun yang Anda inginkan, yaitu menggunakan alat dan layanan apa pun yang digunakan tim Anda, dengan silsilah data. Anda tidak hanya dapat mengatur data di semua sistem Anda, tetapi Anda dapat melihat bagaimana data itu bergerak.”

Seperti yang ditunjukkan dalam diagram arsitektur, Astro dibangun dengan arsitektur multibidang yang terdiri dari bidang kendali yang di-hosting oleh Astronomer dan bidang data yang dapat berjalan di cloud Anda atau di akun penghuni tunggal yang di-hosting oleh Astronomer:

Seiring pertumbuhan Astronomer, perusahaan telah meningkatkan jejak AWS untuk memenuhi kebutuhan pelanggannya. Saat ini, Astronomer mengandalkan Amazon Elastic Kubernetes Service (Amazon EKS) untuk menjalankan Astro sebagai layanan terkelola dalam jaringan perusahaan pelanggan, dan mendukung alat seperti AWS Transit Gateway dan AWS Private Link untuk terhubung dengan aman ke layanan data lain di jaringan mereka. Astro menggunakan AWS CloudFormation untuk menyediakan klaster Kubernetes baru dan Amazon S3 untuk menyimpan log, dan agar tipe instans simpul tersedia bagi pelanggan untuk memilih perangkat keras yang paling optimal dalam menjalankan alur mereka. Hal ini memberi opsionalitas, performa, dan efisiensi bagi praktisi data di mana mereka membutuhkannya.

“Kami yakin bahwa seiring pertumbuhan pasar dan basis pelanggan kami, AWS dapat tumbuh bersama kami. Mampu menyempurnakan layanan AWS agar sesuai dengan kebutuhan kami dapat membantu kami menjadikan Astro lebih cepat, lebih hemat biaya, dan lebih mudah dijalankan oleh pelanggan kami,” kata Paola.

Membangun startup yang sukses

Untuk startup yang ingin meniru kesuksesan mereka, tim pendiri Astronomer setuju bahwa menyediakan waktu bersama pengguna awal produk adalah hal yang penting. Hal ini menciptakan lingkaran umpan balik yang ketat yang meningkatkan produk Anda sejak dini, dan seringkali menghasilkan hubungan pribadi yang kuat yang akan memandu Anda sepanjang perjalanan membangun perusahaan.

“Khusus untuk startup tahap awal, orang yang menggunakan produk Anda terlebih dahulu kemungkinan besar akan memahami masalah yang Anda coba selesaikan. Kuratori hubungan tersebut dari waktu ke waktu karena pelanggan ini telah memikirkan masalah Anda dan menggunakan solusi Anda selama Anda masih ada."- Viraj Parekh

“Ajukan banyak pertanyaan, dan kerjakan. Begitu banyak yang menganggap bahwa membawa perusahaan melalui tahap awal adalah tentang menyingsingkan lengan baju Anda, membiarkan diri Anda mengulang, dan mengumpulkan tim kecil di bersama Anda. Meskipun terdengar sederhana, tetapi eksekusi pada akhirnya menentukan begitu banyak usaha yang sukses.” – Paola Peraza Calderon

“Ketika perusahaan Anda tumbuh, daftar hal-hal yang harus dilakukan tidak akan pernah berakhir. Ini adalah keterampilan nyata untuk belajar cara mengidentifikasi item prioritas tinggi yang ada dalam daftar dan fokus untuk mencapainya.” – Pete DeJoy

Apa langkah Astronomer selanjutnya?

Mengenai langkah Astronomer selanjutnya, Pete menjelaskan: “Kami ingin membangun perusahaan generasi yang menciptakan nilai pelanggan yang nyata, sembari menumbuhkan bakat di antara karyawan kami, dan memungkinkan mereka untuk mengaktualisasikan diri dalam karier mereka. Dan kita akan mencapainya dengan mendorong hasil pelanggan yang nyata dan berarti setiap hari.”