Cómo Paradime.io acelera la canalización de datos de los clientes hasta en un 50 % sin aumentar los costos mediante AWS Graviton

En la era digital, los equipos son más ágiles y colaborativos que nunca. Los analistas de datos son esenciales para cualquier empresa, ya que constituyen un puente vital que transforma enormes cantidades de datos empresariales sin procesar en paneles de datos relevantes y útiles. Esto permite que funciones empresariales como marketing, ventas, productos y atención al cliente garanticen que la empresa funcione sin problemas, sea rentable y mantenga el crecimiento.

En 2018, los fundadores de Paradime, Kaustav Mitra y Fabio Di Leta, trabajaban en una empresa de inversión. A Kaustav se le asignó la tarea de rediseñar la plataforma de datos desde cero, ya que la solución anterior de la empresa no generaba los resultados que necesitaban. Mientras trabajaba con las distintas herramientas necesarias para rediseñar la plataforma, se dio cuenta de que el equipo de análisis de datos destinaba mucho tiempo a unir aplicaciones dispares. Como resultado, no tenían ancho de banda para realizar un trabajo crucial e impactante.

Kaustav pensó: “Debido a la fragmentación de la cadena de herramientas de análisis de datos, las personas se esfuerzan todo el tiempo para realizar su trabajo diario. ¿Cómo podemos unir a las personas y los datos para que puedan trabajar mucho más rápido? ¿Cómo podemos ofrecerle una plataforma de trabajo sencilla al equipo de análisis de datos?”.

Kaustav ya conocía AWS y le inspiró mucho que se basara en el hecho de que la integración perfecta y la colaboración sencilla son fundamentales para trabajar con mayor rapidez y eficacia, y menor estrés.

Kaustav explica: “Paradime es nuestro sistema operativo innovador para analistas de datos que, al igual que AWS, reúne muchas herramientas en un solo lugar. Esta mentalidad similar es una de las principales razones por las que elegimos la plataforma en la nube de AWS desde el primer día, especialmente cuando se combina con el rendimiento cuatro veces mayor y el ahorro de costos de los procesadores AWS Graviton”.

Un concepto que surge de una necesidad real

A partir de esta necesidad urgente, Kaustav y Fabio destinaron el 2020 a conceptualizar su idea. En 2021, durante la pandemia, lanzaron Paradime con un equipo de cuatro personas, y la primera línea de código se escribió en AWS.

La filosofía de Paradime también coincidía con la de AWS. Para asegurarse de priorizar las necesidades de los analistas de datos, adoptaron un enfoque de “trabajo inverso orientado a los clientes”, el cual refleja el mecanismo de “trabajo inverso” de AWS, que no comienza con la tecnología, sino con las necesidades del cliente, lo que garantiza que el cliente sea siempre la prioridad en cualquier producto o servicio nuevo. Kaustav explica: “Las herramientas deben adaptarse a las necesidades y al trabajo diario de los analistas de datos, en lugar de que los analistas de datos tengan que adaptar su trabajo a las herramientas”.

Desde el principio, Paradime se esforzó por ser el innovador que más rápido avanza en el mercado del análisis de datos, y eso significa escuchar y actuar. “Si escuchas a los clientes día tras día, puedes sorprenderlos mucho más rápido y aumentar la madurez de la plataforma a pasos agigantados. Ayudamos a los equipos de análisis de datos a realizar su trabajo más rápido que cualquier otro software”, afirma Kaustav.

El problema que generó el rápido crecimiento de los datos empresariales

Paradime se describe como la plataforma dbt™ con tecnología de IA para equipos de análisis. Data Build Tool, o dbt, es una solución para el rápido crecimiento de los datos en las empresas actuales.

Desde la década de 1970, el código SQL ha sido el lenguaje de programación del análisis de datos para formular preguntas a la base de datos de modo que ésta pueda dar a los analistas las respuestas que necesitan. Sin embargo, con el rápido crecimiento de la cantidad de datos necesarios para operar de forma competitiva, la escritura, la administración de cambios y las pruebas de SQL se han vuelto mucho más complejas y laboriosas. Desde 2016, dbt ha sido la herramienta elegida para ayudar a resolver este problema, ya que permite crear código SQL escalable, auditable, fácil de desarrollar, ejecutar, probar y administrar a lo largo del tiempo a medida que la empresa evoluciona. Sin embargo, como el equipo de Paradime sabe, dbt es solo una parte de una amplia gama de tareas de analista de datos.

El puente entre los almacenes de datos y la información empresarial

Los analistas de datos trabajan en muchos equipos, desde ingenieros de datos con conocimientos de software hasta funciones empresariales sin conocimientos de software, como marketing, ventas, productos y atención al cliente. Por este motivo, necesitan usar sistemas durante todo el proceso, del que dbt es una parte vital, pero única. Kaustav afirma: “Lo que necesitan es un espacio de trabajo que gestione todas sus responsabilidades de manera integral en un solo lugar. Paradime es ese espacio de trabajo, y eso es lo que lo diferencia de otros competidores que se especializan principalmente en dbt”.

Además, existen otros aspectos que los analistas de datos deben abordar. Por ejemplo, Paradime ayuda a los líderes de datos a comprender lo rápido o lento que funcionan sus canalizaciones de datos, cuánto dinero gasta su equipo y cuánto tiempo destinan a su trabajo diario. Kaustav explica: “Como Paradime tiene todo esto al alcance de la mano y en un solo lugar, los equipos de análisis de datos pueden aumentar su productividad entre un 50 % y un 83 % que si utilizan un sistema fragmentado, combinado con herramientas estándar o creados de manera interna”.

AWS es la fuerza que impulsa el rendimiento de Paradime

Para los analistas de datos, la velocidad es importante. Las organizaciones dependen en gran medida del conocimiento de los datos y, como parte del compromiso de Paradime de hacer que el trabajo de los analistas de datos sea menos estresante, Paradime siempre busca maneras de acelerar los servicios y mantener los costos bajos. Fue entonces cuando recurrieron a los procesadores de AWS Graviton.

Kaustav explica: “El marco de orquestación Bolt y CI/CD de Paradime permite a los analistas de datos ejecutar de manera automática comandos dbt de manera fluida. Queríamos hacerlo más rápido y mantener el mismo precio para nuestros clientes. Analicé la familia de procesadores EC2 de AWS y descubrí que AWS Graviton ofrecía enormes mejoras de velocidad al mismo precio que nuestros procesadores x86 actuales”.

Maximilian Mitchell, ingeniero de software de Paradime, continúa: “Fue difícil no cambiar a AWS Graviton después de investigar, porque ofrece muchas ventajas. En algunos casos, aceleramos las canalizaciones de datos de nuestros clientes en Bolt entre un 30 % y un 50 %, con un tiempo de actividad superior al 99,999 %. Esto es esencial para nuestros clientes en servicios vitales como la atención médica y la banca. Lo que es más importante, podemos ejecutar trabajos con una frecuencia muy alta para asegurarnos de que las canalizaciones de datos estén actualizadas, hasta el punto de que, en la práctica, ¡funcionan en tiempo real!”.

“También podemos ayudar a los clientes a ejecutar no solo dbt, sino también pruebas de calidad y anomalías de los datos, lo que significa que pueden enviar datos confiables a las parte interesadas”, añade Max.

AWS Graviton ha sido un éxito para Paradime y sus clientes

Paradime también descubrió que la migración a AWS Graviton ha supuesto un gran ahorro de costos, lo que les permitió ofrecer un mejor rendimiento a los clientes sin generar mayores costos. “Antes de AWS Graviton, podíamos utilizar cada nodo al 50 % o 60 % aproximadamente. Ahora podemos utilizarlo a un nivel mucho más alto, alrededor del 85 %, lo que significa que necesitamos usar un 40 % menos de nodos. Obtenemos el mismo nivel de rendimiento con menos recursos, lo que significa menores costos”, explica Max.

Los beneficios continúan: “Como podemos ejecutar nuestros clústeres con un uso mucho mayor, podemos incorporar un 40 % más de clientes por el mismo costo que antes de AWS Graviton. Ahora podemos ofrecer ese valor a nuestros clientes con precios realmente competitivos en comparación con nuestra competencia”, añade Kaustav.

“Esto significa que no tenemos que forzar a los clientes a entrar en niveles empresariales, lo que nos permite aumentar la captación y adopción de clientes. También podemos ofrecer más valor sin aumentar los costos, lo que significa que nuestros inversores están satisfechos”, afirma.

Migración a AWS Graviton a la manera de AWS

Paradime utiliza AWS desde el primer día, pero la calidad de su experiencia sigue sorprendiéndolos. “Desde el primer día, siempre tuvimos un administrador de cuentas, a pesar de que éramos la empresa más pequeña. Siempre recibimos el mismo nivel de atención, independientemente del tamaño de nuestra empresa. Por ejemplo, cuando migramos a Graviton, fueron muy proactivos y se aseguraron de invitarnos a los desayunos de AWS Graviton”, explica Max.

Continúa: “En realidad, no soy un ingeniero de DevOps, sino más bien un ingeniero de back-end, pero tuve la oportunidad de conversar con expertos que me dieron consejos brillantes sobre cómo implementar AWS Graviton, como no desactivar completamente las compilaciones x86 y crear para las dos arquitecturas de modo que pudiéramos ser más flexibles con los lanzamientos. Esto, a su vez, nos ayudó a lanzar las primeras cargas de trabajo ARM en una semana sin tiempo de inactividad”.

“Dado que nuestras aplicaciones se desarrollaron originalmente de forma local en ARM de Apple MacBooks (serie M), esto nos permitió compilarlas para la arquitectura ARM de AWS Graviton, puesto que ya eran compatibles. Esto nos facilitó la migración a Graviton. Durante un mes realizamos una transición entre los sistemas antiguos y nuevos, lo que significó que no hubo tiempo de inactividad para nuestros clientes y no tuvimos que realizar ningún cambio en el código”, añade Max.

Rendimiento 4 veces mayor: mayor productividad, mayor agilidad y decisiones más rápidas

El rendimiento 4 veces mayor con AWS Graviton es una estadística impresionante, pero ¿cómo beneficia a los clientes de Paradime más allá de la velocidad? Kaustav explica: “Esto abarca tres aspectos: el primero es la productividad, ya que algo que antes lo harías en cuatro minutos hacer, ahora lo haces en uno. El segundo es la agilidad, ya que los equipos pueden hacer un trabajo más valioso con menos recursos y responder más rápido a los cambios de la empresa. El tercero es la toma de decisiones, ya que los equipos pueden proporcionar información empresarial a los usuarios finales de forma más oportuna, lo que les permite actuar con mayor rapidez”.

Kaustav añade: “Por ejemplo, uno de nuestros clientes solía recibir entre 60 y 80 hojas de cálculo de distintas unidades de negocio, y cada hoja tardaba 20 minutos en procesarse. Todo este proceso, junto con la elaboración de informes financieros consolidados a final de mes, duraba aproximadamente una semana. Con Paradime, todo ello lleva unos 20 minutos”.

El futuro de Paradime

“Nuestra visión para Paradime es ser conocidos a nivel mundial como el sistema operativo para el análisis”, exclama Kaustav. “De modo que cuando las personas piensen en el análisis de datos, piensen en Paradime porque requiere cero esfuerzo de configuración y simplemente funciona”.

Para lograrlo, Paradime se centra en mejorar todos los aspectos de su servicio. Por ejemplo, tras migrar a AWS Graviton, mejoraron su tasa de despliegue entre un 40 % y un 50 %, lo que les permite lanzar actualizaciones con mayor frecuencia. Esto significa que pueden agregar características y responder a las solicitudes de los clientes hasta dos o tres veces por semana, mucho más rápido que antes.

“Sabemos que AWS lanza de manera constante servicios y características nuevos, y nosotros siempre buscamos aprovecharlos para ofrecer una plataforma realmente sencilla a nuestros clientes. Ahora tenemos una arquitectura estable, pero con AWS seguimos en la búsqueda de ese rendimiento adicional, y nos ayuda a captar diferentes empresas y venderles nuestro producto, así como a ampliar nuestro proceso para poder trabajar con grandes empresas de todo el mundo”, explica Kaustav.

AWS apoya de manera activa a las empresas que desean migrar a AWS Graviton con herramientas como AWS Compute Optimizer y Graviton Fast Start, un programa que ayuda a trasladar cargas de trabajo a AWS Graviton. Descubra cómo comenzar su migración a AWS Graviton.Más información.