Presentación de Astro, el servicio de Apache Airflow administrado de Astronomer creado y alojado en AWS

Para que los datos sean útiles en una empresa moderna, deben recopilarse y centralizarse de varios orígenes, procesarse en un ecosistema de herramientas en crecimiento y enviarse a los sistemas de toda la organización de manera que puedan consumirse en todos los equipos. Esta orquestación de datos, que consiste en integrar la lógica empresarial en toda la pila de datos, desde los paneles hasta los algoritmos de personalización, requiere cientos, si no miles, de canalizaciones de datos.

La orquestación de datos es necesaria en todos los sectores y en organizaciones de todos los tamaños. Con más de 2200 colaboradores y más de 12 millones de descargas mensuales, Apache Airflow se ha convertido en el estándar de código abierto para crear, programar y supervisar las canalizaciones de datos mediante programación. A los profesionales de los datos les encanta Airflow por su comunidad, su flexibilidad y su capacidad de ofrecer una visión central de un ecosistema de datos.

Sin embargo, los equipos de datos necesitan naturalmente algo más que Airflow de código abierto solo: necesitan canalizaciones de prueba para garantizar la calidad de los datos, SDK para que los profesionales de los datos sean productivos y observabilidad y linaje de los datos subyacentes, incluso cuando se esfuerzan por minimizar los gastos operativos. El linaje de datos proporciona el contexto completo de los datos al capturar con mayor detalle las relaciones entre los orígenes de datos, los lugares en que se originaron los datos y la forma en que se transforman y convergen a lo largo del ciclo de vida de los datos.

Satisfacer la necesidad de una orquestación de datos moderna

Astronomer, una startup fundada en 2018, ha dedicado los últimos cinco años a promover Airflow como un proyecto de código abierto con herramientas que ayudan a los profesionales de los datos a aprovechar al máximo la orquestación y el linaje de los datos. El producto estrella de Astronomer, Astro, permite a los clientes crear, ejecutar y observar las canalizaciones de datos en Airflow como servicio administrado, lo que permite a los equipos de datos dedicar más tiempo a escribir la lógica empresarial y ampliar el acceso a los datos.

“Muchos de los procesos empresariales fundamentales que Astro orquesta para nuestros clientes usan la tecnología de Amazon Web Services (AWS): Amazon Simple Storage Service (Amazon S3), Amazon Redshift, Amazon EMR, Amazon SageMaker y muchos otros servicios”, explica Viraj Parekh, Field CTO de Astronomer.

Astronomer, una startup cofundada por un pequeño equipo formado por tres amigos (Paola Peraza Calderon, Pete DeJoy y Viraj Parekh), describe su misión actual de tres formas:

• Crear productos que aumenten el valor que los equipos de datos obtienen de la orquestación y el linaje de datos.
• Cultivar el crecimiento orgánico del proyecto de código abierto de Airflow y su comunidad.
• Proporcionar capacitación, prácticas recomendadas y asistencia a los profesionales de los datos para que puedan tener éxito con los datos.

Con más de 350 empleados y un equipo distribuido por todo el mundo, tanto Astronomer como su base de clientes han crecido rápidamente. “Todo comenzó con personas que utilizaban Airflow de código abierto y nos pedían ayuda para administrar la infraestructura subyacente”, afirma Pete. “Ahora que hemos resuelto la administración de la infraestructura, nos centramos en el conjunto más amplio de capacidades necesarias para utilizar Airflow como base para una plataforma de orquestación completa”.

Crear y escalar en AWS

La necesidad del mercado de los productos de Astronomer, así como el potencial de éxito de la empresa, se hicieron evidentes desde el principio. Viraj se ríe mientras comparte una historia sobre los primeros días. “Nos pusimos manos a la obra para hacer una prueba de concepto con una gran empresa de videojuegos. La empresa confió en Astronomer para orquestar el flujo de datos para su mayor lanzamiento del año. La mañana después del lanzamiento, no hubo tickets de asistencia”, afirma Viraj. “Y pensé: ‘Oh, no, ¿salió algo mal?’. Resulta que salió algo bien. Todo funcionó. Gestionábamos el 100 % de la ingesta de datos que provenía de uno de los lanzamientos más importantes de esta empresa y todo funcionó sin problemas”.

¿Por qué Astronomer creó su startup en AWS? “No puedo decir que haya sido una decisión. Era la elección obvia: AWS ha sido la piedra angular de nuestra estrategia para la nube”, afirma Paola. “Como base, la ubicuidad de los servicios de AWS en todos los países y regiones nos permite trabajar con organizaciones de todo el mundo. Desbloquea nuestro mercado sin ayuda de nadie”.

Para satisfacer las crecientes necesidades de su base de clientes, Astronomer crea interfaces que permiten a los profesionales de los datos sacar el máximo partido a Airflow al desarrollar canalizaciones de datos y formar una visión singular de su ecosistema. Viraj explica: “Estamos fusionando la orquestación de datos a través del sistema que desee (con las herramientas y los servicios que utilice su equipo) con el linaje de datos. No solo puede orquestar los datos en todos sus sistemas, sino que también puede ver cómo se mueven esos datos”.

Como se muestra en el diagrama de la arquitectura, Astro se crea con una arquitectura de varios planos que consiste en un plano de control alojado por Astronomer y un plano de datos que se puede ejecutar en su nube o en una cuenta de inquilino único alojada por Astronomer:

A medida que Astronomer crece, la empresa ha escalado su presencia en AWS para satisfacer las necesidades de sus clientes. En la actualidad, Astronomer se basa en Amazon Elastic Kubernetes Service (Amazon EKS) para ejecutar Astro como servicio administrado en la red corporativa de un cliente y admite herramientas como AWS Transit Gateway y AWS Private Link para conectarse de forma segura a otros servicios de datos de su red. Astro utiliza AWS CloudFormation para aprovisionar nuevos clústeres de Kubernetes y Amazon S3 para almacenar registros. Además, pone a disposición de los clientes los tipos de instancias de nodos para que puedan elegir el hardware óptimo para ejecutar sus canalizaciones. Esto ofrece a los profesionales de los datos opciones, rendimiento y eficiencia donde los necesitan.

“Confiamos en que, a medida que nuestro mercado y nuestra base de clientes crezcan, AWS pueda crecer con nosotros. Poder ajustar los servicios de AWS para que se adapten a nuestras necesidades nos ayuda a hacer que Astro sea más rápido, rentable y fácil de utilizar para nuestros clientes”, afirma Paola.

Crear una startup de éxito

Para las startups que buscan replicar su éxito, el equipo fundador de Astronomer está de acuerdo en que es fundamental dedicar tiempo a los primeros en adoptar el producto. De esta forma, se crea un estrecho bucle de retroalimentación que mejora el producto desde el principio y, a menudo, se traduce en relaciones personales sólidas que le guiarán a lo largo del proceso de creación de la empresa.

“Especialmente en el caso de las startups en fase inicial, las personas que primero adopten su producto tienen más probabilidades de entender el problema que intenta resolver. Cuide esas relaciones a lo largo del tiempo, porque estos clientes llevan tanto tiempo como usted pensando en su problema y utilizando su solución”. Viraj Parekh

“Haga muchas preguntas y póngase a trabajar. Gran parte de la orientación de una empresa durante las etapas iniciales consiste en ponerse manos a la obra, dejarse llevar por la iteración y reunir a un pequeño equipo a su lado. Por muy simple que parezca, la ejecución es lo que, en última instancia, diferencia a muchos negocios de éxito”. Paola Peraza Calderon

“A medida que su empresa crezca, la lista de cosas que hay que hacer nunca terminará. Aprender a identificar cuáles son los elementos de alta prioridad de la lista y centrarse en lograrlos es una verdadera habilidad”. Pete DeJoy

El futuro de Astronomer

En cuanto al futuro de Astronomer, Pete explica: “Queremos crear una empresa generacional que genere un valor real para los clientes y, al mismo tiempo, cultive el talento entre nuestros empleados y les permita autorrealizarse en sus carreras profesionales. Y lo lograremos mediante la obtención de resultados tangibles y significativos para los clientes en el día a día”.