Wie Proto mit Amazon Bedrock hochmoderne Avatare zum Leben erweckt

Ein Patient in Australien benötigt dringend fachärztliche Betreuung durch einen Arzt im Vereinigten Königreich. Eine Robotikfirma muss ihre neueste Erfindung potenziellen Investoren vorführen, ohne dass sie dafür Maschinen transportieren muss. Ein neues Hotel möchte seine Gäste mit einem erstklassigen Erlebnis beeindrucken. Proto ermöglicht all diese Dinge und mehr - mit Hologrammen, die durch generative KI. 

Proto nutzt generative künstliche Intelligenz (KI), um realistische Avatare zu erstellen, die in eine beeindruckende 7-Fuß-Hologramm-Maschine gebeamt werden, wo sie authentische Gespräche führen, Informationen liefern, bei Aufgaben helfen und unterhalten können. Sie sind bereits in Branchen wie Werbung und Einzelhandel, Unterhaltung, Transport, Gastgewerbe, Bildung, Ausbildung und Gesundheitswesen im Einsatz und werden von Fortune-500-Unternehmen und einigen der bekanntesten Sportteams und Prominenten der Welt genutzt.

So kann ein Patient, der eine dringende Behandlung benötigt, aus der Ferne von einem Spezialisten untersucht werden, der Tausende von Kilometern entfernt ist. Das Robotikunternehmen kann sein neuestes Produkt vorstellen, ohne sich um die Kosten und die Komplexität des Exports teurer Ausrüstung kümmern zu müssen. Und das Hotel kann seine Gäste mit Chatbots in Lebensgröße begrüßen und einen personalisierten digitalen Concierge-Service anbieten, um sich von der Konkurrenz abzuheben.

Jeder dieser Anwendungsfälle hat Eigenschaften (z. B. Kosten, Latenz, Genauigkeit), die es erforderlich machen, ein Basismodell (FM) einem anderen vorzuziehen. Daher benötigte Proto eine Lösung, die das Experimentieren, Testen und Anpassen von KI-verbesserten Avataren auf der Grundlage ihres jeweiligen Anwendungsfalls erleichtert. Die Migration zu Amazon Bedrock bot diese Lösung und ermöglichte Proto den Zugriff auf eine große Auswahl an FMs, die problemlos evaluiert, ausprobiert, bereitgestellt und angepasst werden können.

Verbesserung und Rationalisierung mit Amazon Bedrock

Obwohl Proto in seinem Bereich führend ist, suchte das Unternehmen aufgrund der Marktnachfrage nach niedrigeren Latenzzeiten, größerer Realitätsnähe und höherer Genauigkeit bei den Einsätzen nach einer Möglichkeit zur Verbesserung seiner KI-Avatare. Die Avatare von Proto können an Tausende von Zuschauern übertragen oder auf eine einzelne Person zugeschnitten werden, Informationen in Echtzeit übermitteln oder Schulungen auf hohem Niveau durchführen. Unabhängig von ihrem Zweck oder ihrer Branche müssen sie ein hohes Maß an Realismus, Genauigkeit und Sicherheit bieten und gleichzeitig eine an den jeweiligen Anwendungsfall angepasste Avatarpersönlichkeit darstellen. Ein virtueller Hotel-Concierge beispielsweise benötigt eine spezielle Feinabstimmung, um das Erlebnis der Gäste zu verbessern, während ein virtueller Kunstlehrer flexibel sein muss, um Sprache in Bilder umzusetzen.

Entscheidend war, dass Proto auch den Prozess der Erstellung und Verwaltung von Anwendungen rationalisieren wollte. Dies wurde dadurch erschwert, dass Proto in der Vergangenheit verschiedene Services und Tools nutzte: Das Unternehmen verwendete eine Reihe von AWS-Services, entwickelte aber mit einem anderen Anbieter.

Generative KI ist ein sich schnell entwickelnder Bereich, der von den Akteuren verlangt, ihre Produkte ständig zu erneuern und ihre Kunden optimal zu bedienen. Dies erfordert menschliche Zeit und Ressourcen, die durch flexible Tools unterstützt werden, die bei der schweren Arbeit helfen können. Die über mehrere Lösungen fragmentierte Legacy-Umgebung von Proto machte es schwierig, bestehende AWS-Services zu verwalten und neue bereitzustellen. Mit einem auf Amazon Bedrock basierenden Ansatz ist Proto in der Lage, seine Avatare kontinuierlich zu verbessern und sie auf der Grundlage von Benutzerinteraktionen in Echtzeit anzupassen. So kann sichergestellt werden, dass die Inhalte immer für den jeweiligen Kontext geeignet sind. So kann Proto beispielsweise im Moment entscheiden, ob ein bestimmtes Thema angemessen ist oder nicht, und während der Interaktion Richtlinien - so genannte Leitplanken - aufstellen, um diese Interaktionen sicher zu halten.

Diese Faktoren sowie der Bedarf an den neuesten generativen KI-Tools veranlassten Proto zu der Entscheidung, zu Anthropic's Claude auf Amazon Bedrock zu migrieren. Dies ermöglichte dem Unternehmen, seine KI-Avatare und die Prozesse zu ihrer Erstellung zu verbessern.

Warum Amazon Bedrock

Amazon Bedrock ist ein vollständig verwalteter Service, der über eine einzige API eine Auswahl hochleistungsfähiger Basismodelle sowie eine breite Palette von Funktionen bietet, die Startups bei der Entwicklung generativer KI-Anwendungen mit Sicherheit, Datenschutz und verantwortungsvoller KI unterstützen.

Mit Amazon Bedrock können Benutzer auf einfache Weise mit Top-FMs für eine Vielzahl von Anwendungsfällen experimentieren und diese bewerten, sie mit ihren eigenen Daten unter Verwendung von Techniken wie Feinabstimmung und Retrieval Augmented Generation (RAG) privat anpassen und Agenten erstellen, die Aufgaben unter Verwendung ihrer eigenen Unternehmenssysteme und Datenquellen ausführen.

Amazon Bedrock ist ebenfalls Serverless, was bedeutet, dass Startups keine Infrastruktur verwalten müssen und generative KI-Funktionen sicher in Anwendungen integrieren und bereitstellen können, indem sie die AWS-Services nutzen, mit denen sie bereits vertraut sind. 

Die Mechanismen der Migration

Proto migrierte zu Amazon Bedrock und entschied sich für Claude Instant von Anthropic, eine auf Amazon Bedrock verfügbare FM, um einen Konversationsavatar auf einer großen Konferenz zu demonstrieren. Dieses Modell wurde fein abgestimmt, um den KI-Avatar zu optimieren und Leitplanken zu setzen, die sicherstellen, dass die Interaktionen für die Umgebung, das Publikum und den Kontext geeignet sind.

Amazon Bedrock ermöglichte es Proto, die Leistung verschiedener FMs zu testen, bevor die nächste Entwicklungsstufe erreicht wurde, sodass für jeden Anwendungsfall die kostengünstigste Lösung gewählt werden konnte. Dies war ein unkomplizierter Prozess, der sich nicht auf Arbeitsabläufe oder Bereitstellungspipelines auswirkte - beides entscheidend für Startups, die an der Spitze der KI-Entwicklung bleiben wollen. Raffi Kryszek, Chief Product and AI Officer bei Proto, erklärt: „Mit Amazon Bedrock konnten wir die Leistung unseres Avatars testen, wenn er aus verschiedenen Grundmodellen stammt, indem wir nur eine Zeile Code geändert haben."

Proto hat auch Amazon Polly, einen Cloud-Service, der Text in lebensechte Sprache umwandelt, und Amazon Transcribe, einen Spracherkennungsdienst, der Sprache automatisch in Text umwandelt, eingesetzt. Dies gibt ihnen die Flexibilität, ihre Lösung anzupassen, um Konversation in verschiedenen Sprachen wie Japanisch, Koreanisch und Spanisch zu unterstützen.

Neben dem Serviceangebot sorgten die spezifischen Fähigkeiten von Amazon Bedrock für einen reibungslosen Ablauf während der Migration und ermöglichten es Proto, sich schnell anzupassen und die neuesten generativen KI-Tools zu nutzen, während das Unternehmen wächst.

Der Kernpunkt der Migration war die Neukonfiguration der API. Dies erforderte ein tiefes Eintauchen in die internen Abläufe beider Systeme, um eine nahtlose Kommunikation zwischen der Benutzeroberfläche von Proto und den Diensten von Amazon Bedrock sicherzustellen. Das technische Team von Proto war in der Lage, seinen Code unter Verwendung der Amazon Bedrock-APIs schnell umzugestalten und die spezielle Claude-Prompt-Formatierungstechnik zu verwenden, um die Qualität der Avatar-Antworten zu verbessern.

Die Migration bedeutete eine entscheidende Veränderung in Protos Ansatz zur Anpassung der Inferenzparameter, wobei die Parameter angepasst werden, um die Reaktionen des Modells zu steuern. Der Prozess umfasste eine umfassende Nutzung der API-Funktionen von Amazon Bedrock, wobei das Team die umfangreichen Konfigurationsoptionen für die Feinabstimmung der Reaktionserzeugung nutzte. Dazu gehörten die Einstellungen für die Temperatur und den höchsten K-Wert.

Eine bessere Handhabung der Temperatur ermöglicht eine nuanciertere Steuerung von Kreativität und Wirklichkeitstreue. Für einen informativen KI-Avatar, der z. B. von einem Unternehmen des Gesundheitswesens verwendet wird, um medizinische Informationen bereitzustellen, kann Proto eine niedrigere Temperatureinstellung wählen, um der Genauigkeit und Relevanz Vorrang zu geben. Die Möglichkeit, die Temperatur auf diese Weise anzupassen, bedeutet, dass Proto einen nuancierteren Ansatz wählen kann, um die Anforderungen verschiedener Kunden zu erfüllen, die unterschiedliche Arten von KI-Avataren einsetzen. Wichtig ist, dass das Team von Proto dies viel schneller und einfacher als in der Vergangenheit tun kann, da Amazon Bedrock die technischen Anforderungen an seine Benutzer reduziert.

Proto kann bei der Kalibrierung auch präziser sein, wenn es um die Kontrolle der Top-K-Einstellungen geht. Wie die Temperatur ist auch die Top-K-Einstellung eine weitere Kategorie von Inferenzparametern, die angepasst werden können, um die Modellreaktion zu begrenzen oder zu beeinflussen.

Top K ist die Anzahl der wahrscheinlichsten Optionen, die ein Modell für das nächste Token in einer Sequenz in Betracht zieht. Dies könnte das nächste Wort in einem Satz sein. Daher ist die Top-K-Einstellung entscheidend für die Steuerung der Texterstellung und die Gewährleistung eines kohärenten und korrekten Textes. Ein niedrigerer Wert verringert die Anzahl der Optionen, aus denen das Modell wählen kann, auf die wahrscheinlichsten Optionen. Dies kann für vorhersehbarere und gezieltere Ausgaben, wie z. B. technische Dokumentation, verwendet werden. Ein höherer Wert vergrößert diesen Pool und ermöglicht es dem Modell, weniger wahrscheinliche Optionen zu berücksichtigen. Dies könnte für kreatives Storytelling verwendet werden, wo eine größere Vielfalt an Wortwahlen wünschenswert ist, um die Reichhaltigkeit und Unvorhersehbarkeit der Erzählung zu erhöhen.

Durch die Nutzung dieses Feature konnte Proto die Leistung und Qualität optimieren, indem die Ausgaben für verschiedene KI-Avatare je nach Anwendungsfall sorgfältig angepasst wurden.

Schließlich profitierte Proto von Claudes Prompt-Engineering Fähigkeiten. Das Team entwickelte eine Reihe von Best Practices für die Parametereinstellung, um die Reaktionsfähigkeit und Relevanz der KI zu verbessern. Dieser maßgeschneiderte Ansatz unterstreicht, wie wichtig es ist, die Fähigkeiten und Einschränkungen des zugrundeliegenden KI-Modells zu verstehen, um sicherzustellen, dass die Entwickler die Technologie in vollem Umfang nutzen können, um die spezifischen Anforderungen des eingesetzten KI-Avatars, seiner Zielgruppe und deren Bedürfnisse zu erfüllen.

Implementierung der High-Level-Architektur

Durch den Einsatz von Amazon Bedrock konnte Proto die Art und Weise verbessern, wie KI-Avatare auf Benutzeranfragen reagieren. Die Architektur beginnt damit, dass ein Benutzer eine Frage stellt, die dann an Amazon Bedrock weitergeleitet wird. Der RAG-Prozess verbindet Echtzeit-Benutzereingaben mit tiefgreifenden Erkenntnissen aus den proprietären Daten von Proto und externen Datenbeständen. Auf diese Weise werden präzise und relevante Eingabeaufforderungen generiert, die zu einer personalisierten Konversation mit dem Benutzer führen, der die Frage stellt.

Proto war in der Lage, die Größe der Einbettungen zu wählen, wodurch mehr oder weniger Informationen in den Antworten der KI-Avatare verwendet werden können. Kleinere Einbettungen eignen sich am besten für Anwendungen wie einen persönlichen Assistenten, der viele Erinnerungen in die Eingabeaufforderung aufnehmen kann. Andererseits sind größere Einbettungen nützlicher, wenn die Dokumente so aufgeteilt sind, dass die Informationen nicht überall verstreut sind.

Sobald die Eingabeaufforderung ergänzt wurde, wird sie von einer Auswahl fortschrittlicher KI-Modelle, darunter Claude, verarbeitet. Innerhalb jeder Proto-Anwendung leitet eine eindeutige Avatar-ID diese Abfragen und ermöglicht präzise und kontextbezogene Antworten durch Abfrage der entsprechenden Datenbank.

Die Antworten werden dann an Amazon Polly gesendet, um sicherzustellen, dass jedes von den Avataren gesprochene Wort nicht nur visuell mit präziser Lippensynchronisation dargestellt, sondern auch mit hoher Geschwindigkeit übermittelt wird, was zu Antworten führt, die sowohl visuell als auch interaktiv nahtlos sind. Der KI-Avatar sieht eher wie ein Mensch aus, wenn er mit seinem Benutzer spricht, und die Konversation erfolgt so nah wie möglich an der Echtzeit.

Fazit

Als Ergebnis der Migration verwendet Proto nun die modernsten generativen KI-Tools, um seinen Kunden die innovativsten generativen KI-Anwendungen bereitzustellen. Als vollständig verwalteter Service bedeutete der Wechsel zu Amazon Bedrock für das Team von Proto, dass es keine Zeit für die Neuarchitektur seiner Lösungen aufwenden musste, um mehrere Grundmodelle zu unterstützen. Das Team kann sich nun auf das Wesentliche konzentrieren: den Aufbau, die Skalierung und die Optimierung von Produkten zur Anpassung an die Bedürfnisse der Endbenutzer - und damit das Wachstum des Startups.

Die Optimierung dieser Produkte ist bereits deutlich: Durch die Konzentration auf die Neukonfiguration der API im Rahmen der verwalteten Migration hat Proto die Fähigkeiten seiner Avatare verbessert und sichergestellt, dass sie weiterhin an der Spitze der KI-Technologie stehen. Die Anpassung an verschiedene Sektoren - und die Geschwindigkeit, mit der dies möglich ist - ermöglicht es dem Unternehmen, einen breiten Kundenstamm besser zu bedienen und seine Reichweite auf mehrere Branchen in wettbewerbsfähigem Tempo auszuweiten.

Die Migration von Workloads und Anwendungen zu AWS ist nur der Anfang. Proto ist noch einen Schritt weiter gegangen und hat die generativen KI-Funktionen von AWS adaptiert und genutzt. Das Unternehmen nutzt diese nun in seinem gesamten Arbeitsablauf: vom Basteln mit Tools von führenden Unternehmen in diesem Bereich bis hin zur Bereitstellung der Technologie, die sinnvolle Engagements für seine Kunden schafft.

Durch die Migration zu AWS hat das Unternehmen die (technische) Belastung für sein Team verringert und gleichzeitig seine kreativen Fähigkeiten erweitert. Es kann seine eigenen generativen KI-Anwendungen mit Sicherheit, Datenschutz und verantwortungsvoller KI leichter erstellen, skalieren und bereitstellen. Ganz gleich, ob Sie ein Startup sind, das seine Reise mit generativer KI beginnen möchte, oder ob Sie Ihre aktuellen Arbeitsabläufe und Produkte optimieren und verbessern möchten, das AWS Migration Acceleration Program kann Ihnen dabei helfen, Ihre Optionen zu erkunden und mehr darüber zu erfahren, wie Amazon Bedrock für Sie arbeiten kann.

Mit Beiträgen von Shaun Wang und Tony Gabriel Silva