Intelligentes Prompt Routing bei Amazon Bedrock

Für Entwickler kann es eine Herausforderung sein, zu verstehen, welche Abfragen fortgeschrittenere Modelle erfordern oder mit kleineren, schnelleren und kostengünstigeren Modellen funktionieren könnten. Durch die Verwendung fortschrittlicher Techniken zur Prompt-Abgleichung und zum Modellverständnis sagt Intelligent Prompt Routing die Leistung jedes Modells für jede Anfrage voraus und leitet jede Anfrage dynamisch an das Modell weiter, das nach der Vorhersage am wahrscheinlichsten die gewünschte Antwort zu den niedrigsten Kosten liefert. Sie können in der Vorschau zwischen zwei Prompt-Routern wählen, die Anfragen entweder zwischen Claude Sonnet 3.5 und Claude Haiku oder zwischen Llama 3.1 7B und Llama 3.1 80B weiterleiten.

Um die gewünschte Leistung und die gewünschten Kosten für Ihre Anwendungen zu erzielen, müssen Sie häufig komplexe Orchestrierungs-Workflows entwickeln, bei denen jede Anfrage an das Modell weitergeleitet wird, das für diese Anfrage am besten geeignet ist. Dabei stützen Sie sich auf Ihre Erfahrung, um die gewünschte Leistung in Bezug auf die Genauigkeit zu erzielen. Mit Intelligent Prompt Routing können Sie sich monatelange Tests verschiedener Modelle und die Erstellung komplexer Orchestrierungs-Workflows sparen.

Jede Anfrage ist vollständig rückverfolgbar, sodass Sie feststellen können, welches Modell jede Anfrage bearbeitet, und Sie Probleme leicht verstehen und beheben können.

Während der Vorschau werden Kunden die regulären On-Demand-Preise für die Modelle berechnet, an die die Anfragen weitergeleitet werden. Auf unserer Preisseite finden Sie detaillierte Preisinformationen für verschiedene Modellanbieter.