Panoramica
Application Builder di IA generativa su AWS facilita lo sviluppo, la sperimentazione rapida e l'implementazione di applicazioni di intelligenza artificiale (IA) generativa senza richiedere un'approfondita esperienza nell'IA. Questa soluzione AWS accelera lo sviluppo e semplifica la sperimentazione aiutando a inserire dati e documenti specifici dell'azienda, valutare e confrontare le prestazioni dei modelli linguistici di grandi dimensioni (LLM), creare rapidamente applicazioni estensibili e implementarle con un'architettura di livello aziendale.
Application Builder di IA generativa su AWS include integrazioni con Amazon Bedrock e i suoi LLM e gli LLM implementati su Amazon SageMaker. Inoltre, questa soluzione consente di connettersi al modello prescelto utilizzando LangChain o AWS Lambda. Consulta la procedura guidata di implementazione senza codice per creare applicazioni di IA generativa per la ricerca conversazionale, i chatbot generati dall'IA, la generazione e il riepilogo del testo.
Vantaggi
Questa soluzione consente agli utenti di sperimentare in modo rapido, eliminando il pesante carico di lavoro necessario per implementare più istanze con configurazioni diverse e confrontare output e prestazioni. Sperimenta più configurazioni di vari LLM, prompt engineering, knowledge base aziendali e altri parametri.
Grazie ai connettori preintegrati per una varietà di modelli LLM, come quelli disponibili tramite Amazon Bedrock, questa soluzione offre la flessibilità necessaria per implementare il modello scelto, nonché i servizi AWS e i principali servizi FM preferiti.
Costruita secondo i principi di progettazione AWS Well-Architected, questa soluzione offre sicurezza e scalabilità di livello aziendale con elevata disponibilità e bassa latenza, garantendo una perfetta integrazione nelle applicazioni con standard di prestazioni elevati.
Estendi la funzionalità di questa soluzione integrando progetti esistenti o connettendo in modo nativo servizi AWS aggiuntivi. Poiché si tratta di un'applicazione open source, è possibile utilizzare il livello di orchestrazione LangChain incluso o le funzioni Lambda per connettersi a servizi a scelta.
Dettagli tecnici
Puoi distribuire automaticamente questa architettura utilizzando la Guida all'implementazione e il modello AWS CloudFormation allegato che implementa due architetture separate:
- Pannello di controllo di implementazione: è un'interfaccia utente Web che funge da console di gestione per consentire agli utenti amministratori di visualizzare, gestire e creare i propri casi d'uso. Questa dashboard consente ai clienti di sperimentare, ripetere e implementare rapidamente applicazioni di IA generativa utilizzando più configurazioni di LLM e dati.
- Caso d'uso testuale: consente agli utenti di sperimentare un'interfaccia in linguaggio naturale utilizzando l'IA generativa. Questo caso d'uso può essere integrato in applicazioni nuove o esistenti ed è implementabile tramite la Dashboard di implementazione o in modo indipendente tramite un URL fornito.
-
Pannello di controllo di implementazione
-
Caso d'uso del testo
-
Pannello di controllo di implementazione
-
Fai clic per ingrandire
Fase 1
Gli utenti amministratori accedono all'interfaccia utente del pannello di implementazione.Fase 2
Amazon CloudFront offre l'interfaccia utente Web ospitata in un bucket Amazon Simple Storage Service (Amazon S3).Fase 3
AWS WAF protegge le API dagli attacchi. Questa soluzione configura un set di regole chiamato lista di controllo degli accessi Web (Web ACL) che consente, blocca o conta le richieste Web in base a regole e condizioni di sicurezza Web configurabili e definite dall'utente.
Fase 4
L'interfaccia utente Web sfrutta un set di REST API che vengono esposte utilizzando il Gateway Amazon API.
Fase 5
Amazon Cognito autentica gli utenti e supporta sia l'interfaccia utente Web di CloudFront sia il Gateway API. Una tabella Amazon DynamoDB archivia la policy di AWS Identity and Access Management (IAM) degli utenti autorizzati.Fase 6
AWS Lambda fornisce la logica aziendale per gli endpoint REST. Questa funzione Lambda di supporto gestisce e crea le risorse necessarie per eseguire implementazioni di casi d'uso utilizzando AWS CloudFormation.Fase 7
DynamoDB archivia l'elenco delle implementazioni.Fase 8
Quando un nuovo caso d'uso viene creato dall'utente amministratore, la funzione Lambda di supporto avvia un evento di creazione dello stack CloudFormation per il caso d'uso richiesto.Fase 9
Tutte le opzioni di configurazione LLM fornite dall'utente amministratore nella procedura guidata di implementazione vengono salvate in DynamoDB. L'implementazione utilizza questa tabella DynamoDB per configurare l'LLM durante il runtime.Fase 10
Utilizzando Amazon CloudWatch, questa soluzione raccoglie metriche operative da vari servizi per generare pannelli di controllo personalizzati che consentono di monitorare le prestazioni e lo stato operativo della soluzione.
Fase 1
Gli utenti amministratori accedono all'interfaccia utente del pannello di implementazione.Fase 2
Amazon CloudFront offre l'interfaccia utente Web ospitata in un bucket Amazon Simple Storage Service (Amazon S3).Fase 3
AWS WAF protegge le API dagli attacchi. Questa soluzione configura un set di regole chiamato lista di controllo degli accessi Web (Web ACL) che consente, blocca o conta le richieste Web in base a regole e condizioni di sicurezza Web configurabili e definite dall'utente.
Fase 4
L'interfaccia utente Web sfrutta un set di REST API che vengono esposte utilizzando il Gateway Amazon API.
Fase 5
Amazon Cognito autentica gli utenti e supporta sia l'interfaccia utente Web di CloudFront sia il Gateway API. Una tabella Amazon DynamoDB archivia la policy di AWS Identity and Access Management (IAM) degli utenti autorizzati.Fase 6
AWS Lambda fornisce la logica aziendale per gli endpoint REST. Questa funzione Lambda di supporto gestisce e crea le risorse necessarie per eseguire implementazioni di casi d'uso utilizzando AWS CloudFormation.Fase 7
DynamoDB archivia l'elenco delle implementazioni.Fase 8
Quando un nuovo caso d'uso viene creato dall'utente amministratore, la funzione Lambda di supporto avvia un evento di creazione dello stack CloudFormation per il caso d'uso richiesto.Fase 9
Tutte le opzioni di configurazione LLM fornite dall'utente amministratore nella procedura guidata di implementazione vengono salvate in DynamoDB. L'implementazione utilizza questa tabella DynamoDB per configurare l'LLM durante il runtime.
Fase 10
Utilizzando Amazon CloudWatch, questa soluzione raccoglie metriche operative da vari servizi per generare pannelli di controllo personalizzati che consentono di monitorare le prestazioni e lo stato operativo della soluzione.
-
Caso d'uso del testo
-
Fai clic per ingrandire
Fase 1
Gli utenti amministratori implementano il caso d'uso utilizzando il pannello di controllo di implementazione. Gli utenti aziendali accedono all'interfaccia utente dei casi d'uso.
Fase 2
CloudFront offre l'interfaccia utente Web ospitata in un bucket S3.Fase 3
L'interfaccia utente Web sfrutta un'integrazione WebSocket creata utilizzando Gateway API. Gateway API è supportato da una funzione del sistema di autorizzazione Lambda personalizzata, che restituisce la policy IAM appropriata in base al gruppo Amazon Cognito a cui appartiene l'utente che effettua l'autenticazione. La policy viene archiviata in DynamoDB.Fase 4
Amazon Cognito autentica gli utenti e supporta sia l'interfaccia utente Web CloudFront sia il Gateway API.
Fase 5
Le richieste in arrivo dall'utente aziendale vengono trasmesse da Gateway API a una coda Amazon Simple Queue Service (Amazon SQS) e quindi all'orchestratore LangChain. L'orchestratore LangChain è una raccolta di funzioni Lambda e di livelli che forniscono la logica aziendale per soddisfare le richieste dell'utente aziendale.La coda consente il funzionamento asincrono dell'integrazione Gateway API conLambda . La coda trasmette le informazioni di connessione alle funzioni Lambda, che, successivamente, inviano i risultati direttamente alla connessione WebSocket di Gateway API per supportare chiamate di inferenza di lunga durata.
Fase 6
L’ orchestratore LangChain utilizza DynamoDB per ottenere le opzioni LLM configurate e le informazioni di sessione necessarie (come la cronologia delle chat).Fase 7
Se l'implementazione ha una knowledge base configurata, l'orchestratore LangChain sfrutta Amazon Kendra o Knowledge Base per Amazon Bedrock per eseguire una query di ricerca e recuperare estratti di documenti.Fase 8
Utilizzando la cronologia delle chat, la query e il contesto dal knowledge base, l'orchestratore LangChain crea il prompt finale e invia la richiesta all'LLM ospitato su Amazon Bedrock o Amazon SageMaker.Fase 9
Quando la risposta ritorna dall'LLM, l'orchestratore LangChain ritrasmette la risposta attraverso il WebSocket del Gateway API per essere utilizzata dall'applicazione client.Fase 10
Utilizzando CloudWatch, questa soluzione raccoglie metriche operative da vari servizi per generare pannelli di controllo personalizzati che consentono di monitorare le prestazioni e lo stato operativo dell'implementazione.Fase 1
Gli utenti amministratori implementano il caso d'uso utilizzando il pannello di controllo di implementazione. Gli utenti aziendali accedono all'interfaccia utente dei casi d'uso.
Fase 2
CloudFront offre l'interfaccia utente Web ospitata in un bucket S3.Fase 3
L'interfaccia utente Web sfrutta un'integrazione WebSocket creata utilizzando Gateway API. Gateway API è supportato da una funzione del sistema di autorizzazione Lambda personalizzata, che restituisce la policy IAM appropriata in base al gruppo Amazon Cognito a cui appartiene l'utente che effettua l'autenticazione. La policy viene archiviata in DynamoDB.Fase 4
Amazon Cognito autentica gli utenti e supporta sia l'interfaccia utente Web CloudFront sia il Gateway API.
Fase 5
Le richieste in arrivo dall'utente aziendale vengono trasmesse da Gateway API a una coda Amazon Simple Queue Service (Amazon SQS) e quindi all'orchestratore LangChain. L'orchestratore LangChain è una raccolta di funzioni Lambda e di livelli che forniscono la logica aziendale per soddisfare le richieste dell'utente aziendale.La coda consente il funzionamento asincrono dell'integrazione Gateway API conLambda . La coda trasmette le informazioni di connessione alle funzioni Lambda, che, successivamente, inviano i risultati direttamente alla connessione WebSocket di Gateway API per supportare chiamate di inferenza di lunga durata.
Fase 6
L’ orchestratore LangChain utilizza DynamoDB per ottenere le opzioni LLM configurate e le informazioni di sessione necessarie (come la cronologia delle chat).Fase 7
Se l'implementazione ha una knowledge base configurata, l'orchestratore LangChain sfrutta Amazon Kendra o Knowledge Base per Amazon Bedrock per eseguire una query di ricerca e recuperare estratti di documenti.Fase 8
Utilizzando la cronologia delle chat, la query e il contesto dal knowledge base, l'orchestratore LangChain crea il prompt finale e invia la richiesta all'LLM ospitato su Amazon Bedrock o Amazon SageMaker.Fase 9
Quando la risposta ritorna dall'LLM, l'orchestratore LangChain ritrasmette la risposta attraverso il WebSocket del Gateway API per essere utilizzata dall'applicazione client.Fase 10
Utilizzando CloudWatch, questa soluzione raccoglie metriche operative da vari servizi per generare pannelli di controllo personalizzati che consentono di monitorare le prestazioni e lo stato operativo dell'implementazione.
- Data di pubblicazione
Contenuti correlati
Il modo più semplice per creare e dimensionare applicazioni di IA generativa con modelli di base.
Queste linee guida dimostrano come implementare un modello di IA generativa fornito da Amazon SageMaker JumpStart per creare un endpoint SageMaker asincrono con la facuilità del Kit di sviluppo per il cloud AWS (AWS CDK).
Queste linee guida dimostrano come creare un'applicazione che consenta agli utenti di porre domande direttamente ai database relazionali utilizzando query in linguaggio naturale (NLQ).
Aumenta la produttività, crea esperienze differenziate e innova più velocemente con AWS.
Questo caso di studio dimostra come la società di trasmissione Megamedia abbia creato un chatbot basato sull'IA generativa per semplificare l'accesso a importanti informazioni pubbliche utilizzando AWS.