Meeting.ai automatise les tâches de réunion fastidieuses avec Amazon Bedrock

Conférences téléphoniques, réunions debout, rencontres impromptues devant la machine à café : les réunions occupent une place centrale dans la majeure partie de notre vie professionnelle. Que nous recevions un nouveau briefing de projet, présentions des rapports financiers ou recherchions de nouvelles idées, nous avons tous l’habitude de voir de nouvelles invitations arriver dans nos boîtes de réception et de nouveaux rendez-vous apparaître dans nos calendriers.

Mais la vie professionnelle évolue rapidement, et il n’est pas toujours facile de trouver le temps de traiter correctement le contenu des réunions auxquelles nous assistons, de prendre et de réviser des notes sur ce qui a été discuté, de revoir des enregistrements ou de sélectionner rapidement les informations dont nous avons besoin à tout moment. Meeting.ai, une start-up indonésienne basée à Jakarta, est en train de changer cela en automatisant des activités chronophages comme la prise de notes.

Reposant sur l’intelligence artificielle (IA) générative, Meeting.ai permet aux utilisateurs de passer plus de temps productif lors des réunions et moins de temps à essayer de se remémorer les principaux points à retenir après coup. Insatisfaite des performances des autres grands modèles de langage (LLM), l’équipe Meeting.ai a décidé d’implémenter Claude 3 Sonnet et Haiku sur Amazon Bedrock. La start-up est désormais en mesure de générer des résumés de réunion avec une précision inégalée sur le marché, tout en réduisant les coûts de 33 %.

De la salle de classe à celle de conférence

La société Meeting.ai, initialement nommée Bahasa.ai, a été fondée en 2017 par Hokiman Kurniawan, Fathur Rachman Widhiantoko et Samsul Rahmadani. Ces trois fondateurs sont devenus amis en étudiant ensemble les mathématiques à l’université. Au cours de leurs études, ils ont créé l’un des premiers LLM en bahasa Indonesia, la langue officielle du pays. Cela s’était jusqu’alors avéré difficile en raison des nombreuses nuances et complexités des langues parlées à travers le pays.

« L’Indonésie compte plus de 270 millions d’habitants répartis dans trente-trois régions, et il existe un grand nombre d’accents, de dialectes régionaux et de terminologies locales », explique Hokiman, PDG de l’entreprise. « Bien que nous disions que l’Indonésie dans son ensemble parle une même langue, nous avons également des centaines de langues locales, plus de 700, pour être exact, les plus importantes étant le javanais et le soundanais, et les gens utilisent souvent un mélange de langues lorsqu’ils se parlent ».

Le développement d’un modèle capable de gérer ce niveau de complexité nécessite énormément de données. « Nous avons collecté plus de trente mille heures de données vocales au cours des sept dernières années », explique Hokiman. Une fois que l’équipe a créé des modèles linguistiques simples pour le bahasa Indonesia, la nouvelle s’est rapidement répandue. La start-up a rapidement trouvé son premier client, une société pharmaceutique indonésienne, la plus importante du secteur en Asie du Sud-Est, qui avait besoin d’une expertise en langage naturel pour des cas d’utilisation liés au service client.

À cette époque, l’entreprise proposait principalement des services de conseil en IA et en langage naturel. « Nous n’avions pas de produits, nous avions des solutions », explique Hokiman. Mais tout a changé avec le lancement de l’outil Meeting.ai en 2023.

L’automatisation intelligente rencontre la meilleure précision du marché

Meeting.ai est un assistant de réunion basé sur l’IA générative qui aide les utilisateurs à réduire le temps consacré aux tâches liées aux réunions. Il a été développé à l’aide des LLM propriétaires de la société pour le bahasa Indonesia. Comme l’explique Hokiman : « Notre outil enregistre, transcrit et résume automatiquement les réunions, ce qui vous permet de gagner du temps et de travailler de manière plus productive. »

L’intégration fluide avec les services de réunion les plus populaires, tels que Google Meet, Zoom et Microsoft Teams, a permis à Meeting.ai d’attirer rapidement une base d’utilisateurs de plus de 70 000 personnes, principalement basées en Indonésie. Contrairement aux alternatives intégrées, l’outil peut également être utilisé pour des réunions hors ligne. « Nos fonctionnalités hors ligne représentent déjà plus de 50 % de l’utilisation totale de notre produit », explique Hokiman.

Un autre avantage clé pour Meeting.ai est que sa solution offre une précision de transcription de 97 % en bahasa Indonesia, la plus élevée de tous les outils du marché. « Nous voyons souvent le visage de nos clients s’illuminer lorsqu’ils réalisent qu’ils peuvent parler de manière informelle, et que l’IA les comprendra, même s’ils utilisent de l’argot. Ils ne s’attendent pas à un tel niveau de prise en charge du bahasa Indonesia par l’IA. C’est une vraie révélation pour eux. »

Les réunions n’ont jamais été aussi avancées sur le plan technologique

L’équipe Meeting.ai travaille avec AWS depuis que ses membres étudiaient à l’université, ce qui en a fait un choix naturel lorsqu’elle recherchait un partenaire pour l’aider à développer son outil. « Deux éléments font d’AWS un excellent partenaire. Tout d’abord, la technologie : elle fonctionne, tout simplement, et c’est pourquoi les gens l’utiliseront. Jusqu’à présent, tous les produits AWS que nous avons utilisés ont répondu à leurs promesses », explique Hokiman. « Deuxièmement, leur personnel. À eux seuls, les produits sont excellents, mais dans notre monde, l’accès à de nouveaux modèles et à de nouvelles compétences repose sur les relations avec les gens, et AWS nous a apporté un réel soutien. »

L’architecture qui sous-tend Meeting.ai combine plusieurs services AWS qui permettent de contrôler les coûts sans sacrifier les performances. Par exemple, l’équipe a choisi d’utiliser des instances Amazon EC2 G4 comme pool de nœuds primaire pour les travailleurs de l’IA, en raison du rapport prix/performances inégalé sur le marché des GPU NVIDIA T4. De même, Amazon Elastic Kubernetes Service (EKS) garantit un provisionnement rentable des ressources de calcul et une mise à l’échelle automatique des applications Kubernetes. L’équipe a également récemment implémenté Amazon Bedrock, un service entièrement géré proposant un choix de modèles de fondation (FM) hautes performances à expérimenter en toute sécurité et à personnaliser en privé. Cela leur a permis non seulement de réduire les coûts de manière significative, mais également d’améliorer la précision des résumés générés par Meeting.ai.

Des LLM performants, tous accessibles depuis une source unique

L’IA générative évolue à une vitesse soutenue et, à mesure que de nouveaux modèles et services deviennent disponibles, des outils tels que Meeting.ai peuvent acquérir un avantage concurrentiel en gardant le rythme des dernières versions. Les fonctionnalités de synthèse fournies par Meeting.ai reposaient auparavant sur des services LLM qui ne répondaient pas à la qualité et à la précision recherchées par l’équipe. Lorsqu’ils ont appris que les nouveaux modèles Claude 3 d’Anthropic allaient être disponibles sur Amazon Bedrock, ils ont sauté sur l’occasion.

« J’ai immédiatement contacté mon mentor universitaire, qui avait auparavant travaillé en tant que responsable régional pour AWS en Indonésie », explique Hokiman. « Je lui ai demandé s’il pouvait me présenter quelqu’un chez AWS qui pourrait nous donner accès aux modèles, qui n’étaient pas accessibles au public à l’époque. En une semaine, nous avons obtenu cet accès. »

L’implémentation d’Amazon Bedrock a été un processus simple qui a été réalisé en 3 semaines environ, en impliquant seulement deux développeurs. « C’est une expérience intégrée, c’est comme une place de marché unique où nous pouvons tester et expérimenter différents modèles. Si un nouveau modèle est publié, nous pouvons facilement y accéder sur Amazon Bedrock », explique Hokiman.

Après avoir mis la main sur Claude 3 sur Amazon Bedrock, l’équipe s’est mise au travail pour tester la qualité des modèles Sonnet et Haiku.

Tester. Comparer. Choisir.

L’équipe Meeting.ai a d’abord collecté un jeu de données de test composé d’enregistrements de plusieurs réunions internes de l’entreprise et de vidéos de podcast disponibles sur YouTube. Ils ont ensuite traité ces échantillons de données en utilisant à la fois le LLM d’origine et les modèles Claude 3 sélectionnés.  L’équipe a pu commencer les tests en utilisant les mêmes invites que celles utilisées avec le LLM d’origine, ce qui lui a permis de consacrer plus de temps à identifier le bon modèle plutôt que de concevoir de nouvelles invites.

L’équipe a rapidement constaté que la qualité des résumés produits par le modèle Claude 3 Haiku était supérieure à celle du modèle précédent. « Claude 3 est en général bien plus efficace et peut gérer des tâches qui posent problème aux autres modèles. Le modèle Haiku est également beaucoup plus petit que les autres, ce qui le rend beaucoup moins cher à utiliser », explique Hokiman. « Nous cherchons toujours à trouver l’équilibre entre performances et coûts, et Haiku excelle dans les deux. »

Haiku est désormais utilisé pour la majorité des cas d’utilisation de Meeting.ai, et a permis à l’équipe d’économiser plus de 33 % sur les coûts. Pour d’autres cas d’utilisation plus spécifiques, comme la synthèse des performances au travail lors de réunions individuelles entre employés et dirigeants, Meeting.ai utilise également le modèle Claude 3 Sonnet.

Une amélioration significative des performances et de l’efficacité

Les modèles Claude 3 offrent une fenêtre contextuelle élevée de 200 000 jetons, ce qui leur permet de prendre en compte davantage de données et d’informations lors de la génération de sorties. Ainsi, Meeting.ai peut fournir des résumés de réunion avec beaucoup plus de précision que ce qui était possible avec le modèle précédent. Cela permet également à l’outil de faire automatiquement la distinction entre les points de discussion importants et les conversations informelles, ce que le modèle LLM précédent trouvait difficile à faire, en particulier en bahasa Indonesia.  

Un autre avantage de cette fenêtre contextuelle plus longue est que les clients reçoivent les résultats beaucoup plus rapidement, jusqu’à 1 200 % pour être précis. Pour une transcription de réunion de deux heures, Meeting.ai n’a besoin que d’une seule requête d’API LLM, alors que le modèle précédent en nécessitait environ douze pour la synthèse. « Plus il y a de requêtes, plus les coûts sont élevés. Dans certains cas, il peut être deux fois plus coûteux d’effectuer la même tâche avec notre modèle précédent par rapport à Claude 3 », explique Hokiman.

L’équipe Meeting.ai a également trouvé que Claude 3 était plus docile et fiable en matière de respect des instructions. Par exemple, les modèles Haiku et Sonnet sont toujours en mesure de fournir des réponses au format JSON sur demande.

Les réunions réinventées, aussi bien hors ligne qu’en ligne

Tournée vers l’avenir, l’équipe Meeting.ai se développe à l’échelle mondiale et étend les fonctionnalités de son outil. Ce dernier proposera bientôt une fonctionnalité de prise de notes en temps réel, permettant aux utilisateurs de transcrire et de résumer des réunions hors ligne sans avoir à les enregistrer. Au-delà de cela, l’équipe envisage un avenir dans lequel les utilisateurs pourront tenir des réunions avec Meeting.ai.

« Nous travaillons actuellement sur un modèle vocal intégré afin que les utilisateurs puissent poser des questions à l’IA », explique Hokiman. « Nous aimerions même externaliser les activités récurrentes vers l’IA, afin de permettre aux équipes de consacrer plus de temps à leur travail et moins aux réunions. »

Alors que l’équipe Meeting.ai continue de faire évoluer son produit, AWS veille à ce qu’elle ait toujours accès aux dernières versions des LLM et à la liberté de découvrir quel modèle convient le mieux à ses besoins et à ceux de ses clients. « AWS est un partenaire sur lequel nous pouvons compter pour suivre le rythme de l’évolution rapide du monde de l’IA générative. Si un nouveau modèle sort, il est facile pour nous de changer. Tout ce dont nous avons besoin se trouve sur Bedrock », explique Hokiman.