Meeting.ai automatiza las tareas de reuniones que consumen mucho tiempo con Amazon Bedrock

Las conferencias telefónicas, las reuniones breves o improvisadas alrededor del dispensador de agua son una parte fundamental de nuestra vida laboral. No importa si se trata del resumen de un nuevo proyecto, la presentación de informes financieros o la búsqueda de nuevas ideas, estamos más que acostumbrados a recibir invitaciones en la bandeja de entrada y a que se reserven fechas para reuniones en el calendario.

Sin embargo, la vida empresarial avanza rápido y no siempre es fácil encontrar un momento para procesar adecuadamente el contenido de las reuniones a las que asistimos, tomar y revisar notas sobre lo que se discutió, revisar las grabaciones o seleccionar rápidamente las ideas que necesitamos en cualquier momento. Meeting.ai, una startup indonesia con sede en Yakarta, está cambiando esta situación al automatizar actividades que consumen mucho tiempo, como tomar notas.

Gracias a la tecnología de la inteligencia artificial (IA) generativa, Meeting.ai permite a los usuarios dedicar más tiempo a las reuniones y menos tiempo a tratar de recordar las principales conclusiones a posteriori. Al no estar satisfechos con el rendimiento de otros modelos de lenguaje de gran tamaño (LLM), el equipo de Meeting.ai decidió implementar Claude 3 Sonnet y Haiku en Amazon Bedrock. Ahora, la startup puede generar resúmenes de reuniones con una precisión líder en el sector y, al mismo tiempo, reducir los costos en un 33 %.

Del aula a la sala de juntas

Meeting.ai, originalmente llamada Bahasa.ai, fue fundada en 2017 por Hokiman Kurniawan, Fathur Rachman Widhiantoko y Samsul Rahmadani. Los tres se hicieron amigos mientras estudiaban matemáticas juntos en la universidad. Durante sus estudios, crearon uno de los primeros LLM en indonesio, el idioma oficial de la nación. Hasta ese momento, era algo que había resultado difícil de llevarse a cabo debido a los muchos matices y complejidades de los idiomas que se hablaban en todo el país.

“Indonesia tiene una población de más de 270 millones de habitantes en treinta y tres regiones, y hay muchos acentos, dialectos regionales y terminología local diferentes”, afirma Hokiman, CEO de la empresa. “Aunque decimos que Indonesia es un solo idioma, en realidad también tenemos cientos de idiomas locales” (más de 700, para ser precisos) “los más importantes son el javanés y el sundanés, y las personas suelen utilizar una mezcla de idiomas cuando hablan entre sí”.

Desarrollar un modelo capaz de gestionar ese nivel de complejidad requiere una gran cantidad de datos. “Hemos recopilado más de treinta mil horas de datos de voz en los últimos siete años”, explica Hokiman. Una vez que el equipo creó modelos lingüísticos sencillos para el indonesio, la noticia se difundió rápidamente. La startup no tardó en conseguir su primer cliente, una empresa farmacéutica indonesia (la más grande de su clase en el sudeste asiático) que necesitaba conocimientos de lenguaje natural para el servicio de atención al cliente.

En aquellos días, la empresa ofrecía principalmente servicios de consultoría para inteligencia artificial y lenguaje natural. “No teníamos productos, teníamos soluciones”, afirma Hokiman. Pero todo eso cambió con el lanzamiento de la herramienta Meeting.ai en 2023.

La automatización inteligente se une a la precisión líder del mercado

Meeting.ai es un asistente de reuniones basado en IA generativa que ayuda a los usuarios a reducir el tiempo dedicado a las tareas relacionadas con las reuniones. Se desarrolló utilizando los LLM patentados por la empresa para el indonesio. Como explica Hokiman, “nuestra herramienta graba, transcribe y resume automáticamente las reuniones, lo cual ayuda a ahorrar tiempo y a trabajar de forma más productiva”.

La perfecta integración con los servicios de reuniones más populares, como Google Meet, Zoom y Microsoft Teams, ha ayudado a Meeting.ai a atraer con rapidez a una base de usuarios de más de 70 000 usuarios, principalmente en Indonesia. A diferencia de las alternativas integradas, la herramienta también se puede usar para reuniones sin conexión. “Nuestras capacidades sin conexión ya representan más del 50 % de la utilización total de nuestro producto”, afirma Hokiman.

Otro diferenciador clave de Meeting.ai es que ofrece una precisión de transcripción del 97 % en indonesio, la más alta de todas las herramientas del mercado. “A menudo vemos que nuestros clientes se entusiasman cuando se dan cuenta de que pueden hablar de manera informal y que la IA los entiende, incluso si utilizan jerga. No esperan ese nivel de soporte de la IA para el indonesio, se quedan con la boca abierta”.

Las reuniones nunca han estado tan avanzadas a nivel tecnológico

El equipo de Meeting.ai ha estado trabajando con AWS desde sus tiempos en la universidad, así que lo natural era contar con ellos como socio que los ayudara a crear su herramienta. “Hay dos cosas que hacen de AWS un gran socio. En primer lugar, la tecnología: si funciona bien, la gente la usará. Hasta ahora, todos los productos de AWS que hemos utilizado han dado buenos resultados”, afirma Hokiman. “En segundo lugar, son las personas. Los productos por sí solos son excelentes, pero en nuestro mundo, el acceso a nuevos modelos y experiencia depende de las relaciones con las personas, y AWS nos ha brindado un gran apoyo”.

La arquitectura detrás de Meeting.ai combina varios servicios de AWS que ayudan a controlar los costos sin sacrificar el rendimiento. Por ejemplo, el equipo optó por usar las instancias G4 de Amazon EC2 como el grupo de nodos principal para los trabajadores de inteligencia artificial debido a la relación inigualable entre precio y rendimiento de las GPU NVIDIA T4. Del mismo modo, Amazon Elastic Kubernetes Service (EKS) garantiza el aprovisionamiento rentable de los recursos de computación y el escalado automático de las aplicaciones de Kubernetes. El equipo también implementó recientemente Amazon Bedrock, un servicio completamente administrado que ofrece una variedad de modelos fundacionales (FM) de alto rendimiento para experimentar de forma segura y personalizarlos de forma privada. Esto les ha permitido no solo reducir significativamente los costos, sino también mejorar la precisión de los resúmenes generados por Meeting.ai.

LLM de alto rendimiento; todo accesible desde un único origen

La IA generativa evoluciona a buen ritmo y, a medida que haya nuevos modelos y servicios disponibles, herramientas como Meeting.ai pueden obtener una ventaja competitiva al mantenerse al día con las últimas versiones. Las capacidades de resumen que ofrecía Meeting.ai se basaban anteriormente en servicios de LLM que no cumplían con la calidad y precisión que buscaba el equipo. Cuando se enteraron de que los nuevos modelos Claude 3 de Anthropic iban a estar disponibles en Amazon Bedrock, no dejaron pasar la oportunidad.

“Me puse en contacto inmediatamente con mi mentor de la universidad, que anteriormente había trabajado como regional manager de AWS en Indonesia”, afirma Hokiman. “Le pregunté si podía presentarme a alguien de AWS que pudiera darnos acceso a los modelos, que en ese momento no estaban a disposición del público; en menos de una semana nos dieron acceso”.

La implementación de Amazon Bedrock fue un proceso sencillo que se completó en aproximadamente 3 semanas y en el que participaron solo dos desarrolladores. “Es una experiencia integrada, es como un mercado único en el que podemos probar y experimentar con una variedad de modelos. Si se lanza un modelo nuevo, podemos acceder a él con facilidad en Amazon Bedrock”, explica Hokiman.

Tras hacerse con Claude 3 en Amazon Bedrock, el equipo se puso manos a la obra para probar la calidad de los modelos Sonnet y Haiku.

Probar. Comparar. Elegir.

El equipo de Meeting.ai recopiló primero un conjunto de datos de prueba que consistía en grabaciones de varias reuniones internas de la empresa y videos de pódcasts disponibles en YouTube. A continuación, procesaron estas muestras de datos utilizando tanto el LLM original como los modelos Claude 3 seleccionados. El equipo pudo empezar a realizar las pruebas con las mismas peticiones que habían utilizado con el LLM original, lo que les permitió invertir más tiempo en identificar el modelo correcto en lugar de diseñar nuevas peticiones.

El equipo pronto descubrió que la calidad de los resúmenes producidos por el modelo Claude 3 Haiku era superior a la del modelo anterior. “En general, Claude 3 es mucho más eficiente y puede hacer cosas que otros modelos no pueden. El modelo Haiku también es bastante más pequeño que los modelos alternativos, lo que hace que su uso resulte mucho más económico para nosotros”, afirma Hokiman. “Siempre buscamos un equilibrio entre rendimiento y costo, y Haiku ofrece ambas cosas”.

Haiku ahora se usa para la mayoría de los casos de uso de Meeting.ai y ha permitido al equipo ahorrar más del 33 % en costos. Para otros casos de uso más específicos, como resumir el rendimiento laboral en reuniones individuales entre empleados y líderes, Meeting.ai también utiliza el modelo Claude 3 Sonnet.

Un paso adelante en rendimiento y eficiencia

Los modelos Claude 3 ofrecen una ventana de contexto alta de 200 000, lo que les permite tener en cuenta más datos e información al generar resultados. De este modo, Meeting.ai puede proporcionar resúmenes de reuniones mucho más precisos que con el modelo anterior. También permite que la herramienta distinga automáticamente entre los puntos de discusión importantes y las conversaciones informales, algo que el modelo anterior de LLM resultaba difícil de lograr, especialmente en indonesio.

Otra ventaja de la ventana de contexto más larga es que los clientes reciben los resultados mucho más rápido, concretamente hasta un 1200 % más. Para transcribir una reunión de dos horas, Meeting.ai solo necesita una solicitud de API de LLM, en comparación con el modelo anterior, que requería aproximadamente doce solicitudes de API de LLM para el resumen. “Cuantas más solicitudes haya que realizar, mayores serán los costos. En algunos casos, completar la misma tarea con nuestro modelo anterior podía resultar dos veces más caro que con Claude 3”, explica Hokiman.

El equipo de Meeting.ai también descubrió que Claude 3 era más obediente y fiable al seguir instrucciones. Por ejemplo, los modelos Haiku y Sonnet siempre pueden proporcionar respuestas en formato JSON cuando se les solicita.

La reinvención de las reuniones, tanto en línea como sin conexión

De cara al futuro, el equipo de Meeting.ai se está expandiendo a nivel mundial y ampliando las capacidades de su herramienta. Pronto lanzarán la función de escritura de notas en tiempo real, que permitirá a los usuarios transcribir y resumir las reuniones sin conexión sin necesidad de grabarlas. Más allá de eso, el equipo prevé un futuro en el que los usuarios puedan reunirse con Meeting.ai.

“Actualmente estamos trabajando en un modelo de voz integrado para que los usuarios puedan hacer preguntas a la IA”, afirma Hokiman. “Incluso nos gustaría que se delegasen en la IA cosas recurrentes, como las reuniones, para que los equipos pudieran dedicarle más tiempo al trabajo y menos a las reuniones”.

A medida que el equipo de Meeting.ai continúa desarrollando su producto, AWS ayuda a garantizar que siempre tengan acceso a los LLM más recientes y que cuenten con la libertad de descubrir qué modelo es el adecuado para ellos y sus clientes. “AWS es un socio con el que podemos contar para seguir el ritmo del mundo de la IA generativa, en rápida evolución. Si se lanza un nuevo modelo, es fácil para nosotros cambiar. Todo lo que necesitamos está ahí mismo, en Bedrock”, explica Hokiman.