Amazon-Bedrock-Modelldestillation
Übersicht
Mit der Amazon-Bedrock-Modelldestillation können Sie kleinere, schnellere und kostengünstigere Modelle verwenden, die anwendungsfallspezifische Genauigkeit bieten, die mit den fortschrittlichsten Modellen in Amazon Bedrock vergleichbar ist. Destillierte Modelle in Amazon Bedrock sind bis zu 500 % schneller und bis zu 75 % günstiger als Originalmodelle, mit einem Genauigkeitsverlust von weniger als 2 % für Anwendungsfälle wie RAG.
Kleinere, kostengünstigere Modelle verwenden
Mit der Modelldestillation können Kunden ein „Lehrer“-Modell auswählen, dessen Genauigkeit sie für ihren Anwendungsfall erreichen möchten, und dann ein „Schüler“-Modell auswählen, das sie optimieren möchten. Kunden geben auch Prompts für ihren Anwendungsfall an. Die Modelldestillation automatisiert den Prozess der Generierung von Antworten des Lehrers und der Verwendung dieser Antworten zur Optimierung des Schülermodells. Schülermodelle können sich dann wie Lehrermodelle verhalten, mit ähnlicher Genauigkeit und zu geringeren Kosten.
Die Leistung destillierter Modelle mit proprietärer Datensynthese maximieren
Die Optimierung eines kleineren, kosteneffizienten Modells, um eine ähnliche Genauigkeit zu erreichen wie ein größeres Modell für Ihren speziellen Anwendungsfall, ist ein iterativer Prozess. Zur Verringerung eines Teils der Iterationslast, die für bessere Ergebnisse erforderlich ist, kann die Modelldestillation verschiedene Datensynthesemethoden anwenden, die für Ihren Anwendungsfall am besten geeignet sind. Bedrock kann beispielsweise den Trainingsdatensatz erweitern, indem es ähnliche Prompts oder hochwertige synthetische Antworten generiert, wobei vom Kunden bereitgestellte Prompt-Antwort-Paare als goldene Beispiele verwendet werden.
Kosten durch einfache Bereitstellung Ihrer Produktionsdaten senken
Bei der herkömmlichen Optimierung müssen Kundinnen und Kunden Prompts und Antworten erstellen. Bei der Modelldestillation müssen Kundinnen und Kunden lediglich Prompts bereitstellen, die die Modelldestillation dann verwendet, um synthetische Antworten zu generieren und die Lernmodelle zu optimieren. Kundinnen und Kunden können uns zu ihren Aufrufprotokollen weiterleiten und die Protokolle auch anhand bestimmter Metadatenfelder herausfiltern. Die Modelldestillation kann sowohl Prompts als auch Antworten über Aufrufprotokolle lesen und die Generierung synthetischer Antworten im Modelldestillations-Workflow überspringen, was die Kosten senkt, da keine Antworten aus dem Lehrmodell erneut generiert werden müssen. Erste Schritte mit Codebeispielen.
