Meeting.ai automatiza tarefas de reunião demoradas com o Amazon Bedrock

Teleconferências, reuniões presenciais, conversas improvisadas no bebedouro: reuniões são fundamentais para a maior parte de nossa vida profissional. Seja ao receber um novo resumo de projeto, apresentar relatórios financeiros ou desenvolver novas ideias, estamos acostumados a ver novos convites chegarem às nossas caixas de entrada e novas reservas aparecerem em nossos calendários.

Porém, a vida profissional avança rapidamente, e nem sempre é fácil encontrar tempo para processar adequadamente o conteúdo das reuniões das quais participamos, fazer e revisar anotações sobre o que foi discutido, recapitular gravações ou escolher rapidamente os insights de que precisamos a qualquer momento. A Meeting.ai, uma startup indonésia com sede em Jacarta, está mudando isso ao automatizar atividades demoradas, como a criação de anotações.

Desenvolvida com inteligência artificial generativa (IA), a solução Meeting.ai permite que os usuários passem mais tempo envolvidos em reuniões e menos tempo tentando relembrar as principais conclusões após o fato. Por não estar satisfeita com o desempenho de outros grandes modelos de linguagem (LLMs), a equipe do Meeting.ai decidiu implementar o Claude 3 Sonnet e o Haiku no Amazon Bedrock. Agora, a startup é capaz de gerar resumos de reuniões com a maior precisão do setor, ao mesmo tempo em que reduz os custos em 33%.

Da sala de aula à sala de reuniões

A Meeting.ai, originalmente chamada de Bahasa.ai, foi fundada em 2017 por Hokiman Kurniawan, Fathur Rachman Widhiantoko e Samsul Rahmadani. O trio fez amizade enquanto estudavam matemática na faculdade. Durante seus estudos, eles criaram um dos primeiros LLM em Bahasa Indonesia, o idioma oficial do país. Até aquele momento, isso se mostrou difícil devido às muitas nuances e complexidades das línguas faladas em todo o país.

“A Indonésia tem uma população de mais de 270 milhões em trinta e três regiões, e há muitos sotaques, dialetos regionais e terminologia local diferentes”, diz Hokiman, CEO da empresa. “Embora digamos que a Indonésia tem um só idioma, na verdade também temos centenas de idiomas locais” (mais de 700, para ser mais preciso) “os maiores são o javanês e o sundanês, e as pessoas costumam usar uma mistura de idiomas quando falam umas com as outras”.

Desenvolver um modelo capaz de lidar com esse nível de complexidade exige muitos dados. “Coletamos mais de trinta mil horas de dados de voz nos últimos sete anos”, diz Hokiman. Depois que a equipe criou modelos de linguagem simples para o idioma Bahasa Indonesia, a notícia se espalhou rapidamente. A startup logo conquistou seu primeiro cliente, uma empresa farmacêutica indonésia (a maior do gênero no sudeste asiático) que precisava de experiência em linguagem natural para casos de uso de atendimento ao cliente.

Naquela época, a empresa oferecia principalmente serviços de consultoria para IA e linguagem natural. “Não tínhamos produtos, tínhamos soluções”, diz Hokiman. Mas tudo isso mudou com o lançamento da ferramenta Meeting.ai em 2023.

A automação inteligente encontra a precisão líder do mercado

A Meeting.ai é um assistente de reuniões generativo com inteligência artificial que ajuda os usuários a reduzir o tempo gasto em tarefas relacionadas a reuniões. A ferramenta foi desenvolvida usando os LLMs proprietários da empresa para o Bahasa Indonesia. Como explica Hokiman: “nossa ferramenta grava, transcreve e resume reuniões automaticamente, ajudando você a economizar tempo e trabalhar de forma mais produtiva”.

A integração perfeita com serviços de reunião populares, como Google Meet, Zoom e Microsoft Teams, ajudou a Meeting.ai a atrair rapidamente uma base de usuários de mais de 70.000, baseada principalmente na Indonésia. Ao contrário das alternativas integradas, a ferramenta também pode ser usada para reuniões offline. “Nossos recursos offline já representam mais de 50% da utilização total do nosso produto”, diz Hokiman.

Outro diferencial importante da Meeting.ai é que ela oferece 97% de precisão de transcrição em Bahasa Indonesia, a mais alta de todas as ferramentas do mercado. “Muitas vezes vemos nossos clientes se empolgarem quando percebem que podem falar informalmente e que a IA os entenderá, mesmo que usem gírias. Eles não esperam esse nível de suporte de IA para o Bahasa Indonesia: é um verdadeiro momento de revelação.”

Reuniões nunca foram tão avançadas tecnologicamente

A equipe da Meeting.ai trabalha com a AWS desde os tempos de faculdade, o que a tornou uma escolha natural ao procurar um parceiro para ajudar a criar sua ferramenta. “Duas coisas fazem da AWS uma ótima parceira. Em primeiro lugar, a tecnologia: se funcionar, funciona, e as pessoas a usarão. Até agora, todos os produtos da AWS que usamos foram entregues”, diz Hokiman. “Em segundo lugar, são as pessoas. Os produtos por si só são ótimos, mas em nosso mundo, o acesso a novos modelos e conhecimentos se resume ao relacionamento com as pessoas, e a AWS tem sido muito solidária.”

A arquitetura por detrás da Meeting.ai combina vários serviços da AWS que ajudam a controlar os custos sem sacrificar o desempenho. Por exemplo, a equipe optou por usar instâncias G4 do Amazon EC2 como o principal grupo de nós para trabalhadores de IA devido à relação preço/desempenho líder do setor das GPUs NVIDIA T4. Da mesma forma, o Amazon Elastic Kubernetes Service (EKS) garante o provisionamento econômico de recursos computacionais e a escalabilidade automática de aplicações Kubernetes. A equipe também implementou recentemente o Amazon Bedrock, um serviço totalmente gerenciado que oferece uma variedade de modelos de base (FMs) de alto desempenho para fazer experimentos de segurança e personalizar de maneira privada. Isso permitiu que eles não só reduzissem significativamente os custos, como também melhorassem a precisão dos resumos gerados pela Meeting.ai.

LLMs de alto desempenho, todos acessíveis em uma única fonte

A IA generativa está evoluindo rapidamente e, à medida que novos modelos e serviços se tornam disponíveis, ferramentas como a Meeting.ai podem obter uma vantagem competitiva acompanhando os últimos lançamentos. Os recursos de resumo fornecidos pela Meeting.ai dependiam anteriormente de serviços de LLM que não atendiam aos requisitos de qualidade e precisão que a equipe procurava. Quando chegaram as notícias de que os novos modelos Claude 3 da Anthropic estariam disponíveis no Amazon Bedrock, eles aproveitaram a oportunidade.

“Entrei em contato imediatamente com meu mentor da faculdade, que já havia trabalhado como gerente regional da AWS na Indonésia”, diz Hokiman. “Perguntei se ele poderia me apresentar a alguém na AWS que pudesse nos dar acesso aos modelos, que na época não estavam disponíveis publicamente: em uma semana, recebemos esse acesso.”

A implementação do Amazon Bedrock foi um processo simples que foi concluído em aproximadamente 3 semanas, envolvendo apenas dois desenvolvedores. “É uma experiência integrada, é como um único mercado onde podemos testar e experimentar uma variedade de modelos. Se um novo modelo for lançado, podemos acessá-lo facilmente no Amazon Bedrock”, diz Hokiman.

Depois de colocar as mãos no Claude 3 no Amazon Bedrock, a equipe começou a testar a qualidade dos modelos Sonnet e Haiku.

Teste. Compare. Escolha.

A equipe da Meeting.ai coletou primeiro um conjunto de dados de teste que consiste em gravações de várias reuniões internas da empresa e vídeos de podcast disponíveis no YouTube. Em seguida, processaram essas amostras de dados usando o LLM original e os modelos Claude 3 selecionados. A equipe conseguiu começar a testar com os mesmos prompts que estavam usando com o LLM original, permitindo que eles investissem mais tempo na identificação do modelo certo em vez de criar novos prompts.

A equipe logo descobriu que a qualidade dos resumos produzidos pelo modelo Claude 3 Haiku era superior à do modelo anterior. “O Claude 3 em geral é muito mais eficiente e pode lidar com coisas que outros modelos não conseguem. O modelo Haiku também é muito menor do que as alternativas, o que o torna muito mais barato de usar”, diz Hokiman. “Estamos sempre procurando equilibrar desempenho e custo, e o Haiku oferece os dois.”

O Haiku agora está sendo usado na maioria dos casos de uso da Meeting.ai e permitiu que a equipe economizasse mais de 33% em custos. Para outros casos de uso mais específicos, como resumir o desempenho do trabalho em reuniões individuais entre funcionários e líderes, a Meeting.ai também utiliza o modelo Claude 3 Sonnet.

Um avanço em desempenho e eficiência

Os modelos Claude 3 oferecem uma alta janela de contexto de 200k, permitindo que eles levem em conta mais dados e informações ao gerar resultados. Isso permite que a Meeting.ai forneça resumos de reuniões muito mais precisos do que o que era possível com o modelo anterior. Também permite que a ferramenta distinga automaticamente entre pontos de discussão importantes e conversas casuais, o que o modelo anterior de LLM achava difícil de fazer, especialmente no idioma Bahasa Indonesia.

Outro benefício da janela de contexto mais longa é que os clientes recebem resultados muito mais rapidamente: até 1.200% para ser mais preciso. Para uma transcrição de reunião de duas horas, a Meeting.ai precisa apenas de uma única solicitação de API do LLM, em comparação com o modelo anterior, que exigia aproximadamente doze solicitações de API do LLM para resumo. “Quanto mais solicitações precisarem ser feitas, mais custos teremos. Em alguns casos, pode ser duas vezes mais caro concluir a mesma tarefa com nosso modelo anterior em comparação com o Claude 3”, diz Hokiman.

A equipe da Meeting.ai também descobriu que o Claude 3 é mais obediente e confiável ao seguir as instruções. Por exemplo, os modelos Haiku e Sonnet são consistentemente capazes de fornecer respostas no formato JSON quando solicitados.

Reuniões reinventadas, tanto online quanto offline

No futuro, a equipe da Meeting.ai está se expandindo globalmente e ampliando os recursos de suas ferramentas. Em breve, eles lançarão a funcionalidade de anotações em tempo real, permitindo que os usuários transcrevam e resumam reuniões offline sem precisar gravá-las. Além disso, a equipe prevê um futuro em que os usuários possam ter reuniões com a Meeting.ai.

“Atualmente, estamos trabalhando em um modelo de voz integrado para que os usuários possam fazer perguntas à IA”, diz Hokiman. “Gostaríamos até mesmo de ver coisas recorrentes, como reuniões terceirizadas para a IA, permitindo que as equipes passem mais tempo se concentrando no trabalho e menos tempo nas reuniões.”

À medida que a equipe da Meeting.ai continua desenvolvendo seu produto, a AWS está ajudando a garantir que eles sempre tenham acesso aos LLMs mais recentes e a liberdade de descobrir qual modelo é ideal para eles e seus clientes. “A AWS é uma parceira com a qual podemos contar para acompanhar o mundo em rápida evolução da IA generativa. Se um novo modelo for lançado, é fácil trocá-lo. Tudo o que precisamos está lá no Bedrock”, diz Hokiman.