Meeting.ai automatisiert zeitaufwändige Besprechungsaufgaben mit Amazon Bedrock

Telefonkonferenzen, Besprechungen, spontane Treffen am Wasserspender – Besprechungen sind für die meisten von uns ein fester Bestandteil des Arbeitslebens. Ganz gleich, ob wir einen neuen Projektauftrag erhalten, Finanzberichte präsentieren oder neue Ideen besprechen: Wir alle sind daran gewöhnt, dass ständig neue Einladungen in unseren Posteingängen und neue Termine in unseren Kalendern auftauchen.

Im Berufsleben geht es jedoch schnell weiter, und nicht immer ist es einfach, die Zeit zu finden, den Inhalt der Besprechungen, an denen wir teilnehmen, richtig zu verarbeiten, sich Notizen zu den besprochenen Themen zu machen und diese zu überprüfen, sich die Aufzeichnungen noch einmal anzusehen oder schnell die Erkenntnisse herauszusuchen, die wir in einem bestimmten Moment benötigen.Meeting.ai, ein in Jakarta ansässiges indonesisches Startup-Unternehmen, möchte dies ändern, indem es zeitraubende Aktivitäten wie das Anfertigen von Notizen automatisiert.

Mithilfe von generativer künstlicher Intelligenz (KI) ermöglicht Meeting.ai den Anwendern, mehr Zeit in Besprechungen zu verbringen und weniger Zeit damit, sich im Nachhinein an die wichtigsten Erkenntnisse zu erinnern. Da die Leistung anderer großer Sprachmodelle (LLMs) nicht zufriedenstellend war, beschloss das Team von Meeting.ai, Claude 3 Sonnet und Haiku auf Amazon Bedrock zu implementieren. Das Startup ist nun in der Lage, Zusammenfassungen von Besprechungen mit branchenführender Genauigkeit zu erstellen – und das bei einer Kostenreduzierung von 33 Prozent.

Vom Klassenzimmer in den Vorstandssaal

Meeting.ai, ursprünglich Bahasa.ai, wurde 2017 von Hokiman Kurniawan, Fathur Rachman Widhiantoko und Samsul Rahmadani gegründet. Die drei haben sich während ihres gemeinsamen Mathematikstudiums an der Universität angefreundet. Während des Studiums schufen sie einen der ersten LLM in Bahasa Indonesia, der offiziellen Sprache des Landes. Bis dahin hatte sich dies aufgrund der vielen Nuancen und Feinheiten der im Land gesprochenen Sprachen als schwierig erwiesen.

„Indonesien hat über 270 Millionen Einwohner in dreiunddreißig Regionen, und es gibt viele verschiedene Akzente, regionale Dialekte und lokale Terminologie“, sagt Hokiman, CEO des Unternehmens. „Obwohl wir sagen, dass Bahasa Indonesia eine Sprache ist, haben wir in Wirklichkeit auch Hunderte von lokalen Sprachen, über 700, um genau zu sein. Die größten davon sind Javanisch und Sundanisch, und die Menschen benutzen oft eine Mischung von Sprachen, wenn sie miteinander sprechen.“

Die Entwicklung eines Modells, das mit dieser Komplexität umgehen kann, erfordert eine Menge Daten. „In den letzten sieben Jahren haben wir über dreißigtausend Stunden an Sprachdaten gesammelt“, sagt Hokiman. Nachdem das Team einfache Sprachmodelle für Bahasa Indonesia erstellt hatte, verbreitete sich das schnell. Das Startup gewann bald seinen ersten Kunden, ein indonesisches Pharmaunternehmen – das größte seiner Art in Südostasien, das Fachwissen in natürlicher Sprache für Anwendungsfälle im Kundenservice benötigte.

Damals bot das Unternehmen hauptsächlich Beratungsdienstleistungen für KI und natürliche Sprache an. „Wir hatten keine Produkte, wir hatten Lösungen“, sagt Hokiman. Aber das alles änderte sich mit der Einführung des Tools Meeting.ai im Jahr 2023.

Intelligente Automatisierung trifft auf marktführende Genauigkeit

Meeting.ai ist ein generativer KI-gestützter Besprechungsassistent, der Benutzern hilft, den Zeitaufwand für Besprechungsaufgaben zu reduzieren. Es wurde unter Verwendung der firmeneigenen LLMs für Bahasa Indonesia entwickelt. Hokiman erklärt: „Unser Tool zeichnet Besprechungen automatisch auf, transkribiert und fasst sie zusammen, sodass Sie Zeit sparen und somit produktiver arbeiten können.“

Dank der nahtlosen Integration in die gängigen Meeting-Dienste wie Google Meet, Zoom und Microsoft Teams konnte Meeting.ai schnell einen Nutzerstamm von mehr als 70.000 Anwendern gewinnen, die hauptsächlich in Indonesien ansässig sind. Im Gegensatz zu integrierten Alternativen kann das Tool auch für Offline- Besprechungen verwendet werden. „Unsere Offline-Funktionen machen bereits mehr als 50 Prozent der Gesamtnutzung unseres Produkts aus“, erklärt Hokiman.

Ein weiteres wichtiges Alleinstellungsmerkmal von Meeting.ai ist die Transkriptionsgenauigkeit von 97 % in Bahasa Indonesia, was die höchste Genauigkeit aller Tools auf dem Markt ist. "Wir sehen oft, wie unsere Kunden begeistert sind, wenn sie merken, dass sie ganz ungezwungen sprechen können und die KI sie versteht, selbst wenn sie Umgangssprache verwenden. Sie rechnen nicht mit einer derartigen KI-Unterstützung für Bahasa Indonesia – das ist ein echter ‚Aha‘-Moment.

Noch nie waren Besprechungen so technologisch fortschrittlich

Das Meeting.ai-Team arbeitet schon seit seiner Studienzeit mit AWS zusammen, was es zu einer natürlichen Wahl machte, als es einen Partner für den Aufbau seines Tools suchte. „Zwei Dinge machen AWS zu einem großartigen Partner. Erstens die Technologie – wenn sie funktioniert, funktioniert sie, und die Leute werden sie nutzen. Bislang hat jedes AWS-Produkt, das wir verwendet haben, funktioniert“, sagt Hokiman. „Zweitens sind es die Menschen. Die Produkte allein sind zwar großartig, aber in unserer Welt hängt der Zugang zu neuen Modellen und Fachwissen von den Beziehungen zu den Menschen ab, und AWS hat uns dabei sehr unterstützt."

Die Architektur hinter Meeting.ai vereint mehrere AWS-Services, die dazu beitragen, die Kosten zu kontrollieren, ohne die Leistung zu beeinträchtigen. Das Team hat sich beispielsweise für Amazon EC2 G4-Instances als primären Knotenpool für KI-Mitarbeiter entschieden, weil das Preis-Leistungs-Verhältnis der NVIDIA T4-GPUs branchenführend ist. In ähnlicher Weise sorgt Amazon Elastic Kubernetes Service (EKS) für die kosteneffiziente Bereitstellung von Rechenressourcen und die automatische Skalierung von Kubernetes-Anwendungen. Darüber hinaus hat das Team vor kurzem Amazon Bedrock implementiert, einen vollständig verwalteten Service, der eine Auswahl an leistungsstarken Foundation Models (FMs) bietet, mit denen es sicher experimentieren und die es privat anpassen kann. Damit konnten nicht nur die Kosten erheblich gesenkt, sondern auch die Genauigkeit der von Meeting.ai generierten Zusammenfassungen verbessert werden.

Leistungsstarke LLMs, alle aus einer einzigen Quelle zugänglich

Generative KI entwickelt sich rasant, und da neue Modelle und Dienste verfügbar werden, können Tools wie Meeting.ai einen Wettbewerbsvorteil erzielen, indem sie mit den neuesten Versionen Schritt halten. Die von Meeting.ai bereitgestellten Zusammenfassungsfunktionen waren zuvor auf LLM-Dienste angewiesen, die nicht der Qualität und Genauigkeit entsprachen, nach denen das Team gesucht hatte. Als sie die Nachricht erhielten, dass die neuen Claude 3-Modelle von Anthropic auf Amazon Bedrock erhältlich sein würden, nutzten sie die Gelegenheit.

„Ich nahm sofort Kontakt zu meinem Mentor vom College auf, der zuvor als Regionalmanager für AWS in Indonesien gearbeitet hatte“, sagt Hokiman. "Ich habe ihn gefragt, ob er mich mit jemandem bei AWS bekannt machen könnte, der uns Zugang zu den Modellen verschaffen könnte, die damals nicht öffentlich zugänglich waren – und innerhalb einer Woche hatten wir diesen Zugang.“

Die Implementierung von Amazon Bedrock war ein unkomplizierter Prozess, der innerhalb von etwa 3 Wochen mit nur zwei Entwicklern abgeschlossen wurde. "Es ist eine integrierte Erfahrung, wie ein einziger Marktplatz, auf dem wir eine Vielzahl von Modellen testen und ausprobieren können. Wenn ein neues Modell auf den Markt kommt, können wir ganz einfach über Amazon Bedrock darauf zugreifen“, sagt Hokiman.

Nachdem das Team Claude 3 auf Amazon Bedrock in die Hände bekommen hatte, machte es sich an die Arbeit, die Qualität der Sonnet- und Haiku-Modelle zu testen.

Testen. Vergleichen. Auswählen

Zunächst sammelte das Team von Meeting.ai einen Testdatensatz, der aus Aufzeichnungen mehrerer interner Unternehmensbesprechungen und Podcast-Videos bestand, die auf YouTube verfügbar waren. Sie verarbeiteten diese Datenproben dann sowohl mit dem ursprünglichen LLM als auch mit den von ihnen ausgewählten Claude 3 Modellen.  So konnte das Team die Tests mit denselben Prompts beginnen, die es bereits mit dem ursprünglichen LLM verwendet hatte. So konnten sie mehr Zeit in die Identifizierung des richtigen Modells investieren, anstatt neue Prompts zu entwickeln.

Das Team stellte bald fest, dass die Qualität der Zusammenfassungen des Claude 3 Haiku-Modells von höherer Qualität war als das Vorgängermodell. „Claude 3 ist im Allgemeinen viel effizienter und kann Dinge bewältigen, die andere Modelle nicht können. Das Haiku-Modell ist auch ein viel kleineres Modell als die Alternativen, was es für uns viel billiger macht“, sagt Hokiman. „Wir sind immer auf der Suche nach einem ausgewogenen Verhältnis zwischen Leistung und Kosten, und Haiku bietet beides.“

Haiku wird jetzt für die meisten Anwendungsfälle von Meeting.ai verwendet und hat es dem Team ermöglicht, mehr als 33 Prozent der Kosten einzusparen. Für andere, spezifischere Anwendungsfälle wie die Zusammenfassung der Arbeitsleistung von Einzelgesprächen zwischen Mitarbeitern und Führungskräften verwendet Meeting.ai ebenfalls das Claude 3 Sonnet-Modell.

Ein Plus an Leistung und Effizienz

Die Claude 3-Modelle verfügen über ein großes Kontextfenster von 200.000, wodurch mehr Daten und Informationen bei der Erstellung der Ergebnisse berücksichtigt werden können. So kann Meeting.ai weitaus genauere Zusammenfassungen von Besprechungen liefern, als dies mit dem vorherigen Modell möglich war. Außerdem kann das Tool automatisch zwischen wichtigen Diskussionspunkten und beiläufigem Geplauder unterscheiden, was mit dem vorherigen LLM-Modell nur schwer möglich war, insbesondere in Bahasa Indonesia.  

Ein weiterer Vorteil des längeren Kontextfensters ist, dass Kunden die Ergebnisse viel schneller erhalten – bis zu 1.200 Prozent sind möglich, um genau zu sein. Für eine zweistündige Abschrift einer Besprechung benötigt Meeting.ai nur eine einzige LLM-API-Anfrage, im Vergleich zum Vorgängermodell, das etwa zwölf LLM-API-Anfragen für die Zusammenfassung benötigte. „Je mehr Anfragen gestellt werden müssen, desto mehr Kosten entstehen uns. In einigen Fällen kann es doppelt so teuer sein, die gleiche Aufgabe mit unserem vorherigen Modell zu erledigen, verglichen mit Claude 3“, sagt Hokiman.

Das Meeting.ai Team fand auch heraus, dass Claude 3 folgsamer und zuverlässiger bei der Befolgung von Anweisungen ist. So sind beispielsweise sowohl die Haiku- als auch die Sonnet-Modelle durchweg in der Lage, auf Anfrage Antworten im JSON-Format zu liefern.

Besprechungen neu aufgelegt – sowohl online als auch offline

Zukünftig möchte das Team von Meeting.ai weltweit expandieren und die Funktionen des Tools erweitern. Demnächst wird es eine Echtzeit-Notizfunktion geben, die es Nutzern ermöglicht, Offline-Besprechungen zu transkribieren und zusammenzufassen, ohne sie aufzeichnen zu müssen. Außerdem stellt sich das Team eine Zukunft vor, in der Nutzer in der Lage sein werden, Besprechungen mit Meeting.ai abzuhalten.

„Wir arbeiten derzeit an einem integrierten Sprachmodell, damit die Nutzer der KI Fragen stellen können“, sagt Hokiman. "Wir würden sogar gerne wiederkehrende Dinge wie Standups an die KI auslagern, damit sich die Teams mehr auf die Arbeit konzentrieren können und weniger Zeit mit Besprechungen verbringen müssen.“

Während das Meeting.ai-Team sein Produkt weiterentwickelt, unterstützt AWS das Team dabei, jederzeit Zugang zu den neuesten LLMs zu haben und herauszufinden, welches Modell das richtige für sie und ihre Kunden ist. „AWS ist ein Partner, auf den wir uns verlassen können, um mit der sich schnell entwickelnden Welt der generativen KI Schritt zu halten. Wenn ein neues Modell auf den Markt kommt, ist es für uns einfach zu wechseln. Alles, was wir brauchen, ist direkt in Bedrock enthalten“, sagt Hokiman.