Accelerazione della scalabilità IA/ML e dello sviluppo dell'IA con Anyscale e AWS

La creazione di un'applicazione di intelligenza artificiale (IA) scalabile e distribuita nel cloud è un lavoro tra team che richiede una gestione complicata delle risorse e comporta numerosi problemi di produzione come modifiche al codice, rifattorizzazione, configurazione dell'infrastruttura e operazioni di sviluppo complesse (DevOps). Questi fattori possono confondere il processo di sviluppo, rallentare il time to market e impedire agli sviluppatori di concentrarsi sull'innovazione dei prodotti.

"Data la mancanza di percorsi consolidati dallo sviluppo alla produzione, alcune stime collocano il tasso di fallimento dei progetti di sviluppo dell'IA a quasi il 50%", spiega Rob Ferguson, responsabile globale di IA e machine learning (ML) per le startup di Amazon Web Services (AWS).

È qui che Anyscale, Ray (il primo framework di calcolo unificato e distribuito per dimensionare i carichi di lavoro ML o Python) e Anyscale Platform (una piattaforma Ray completamente gestita fornita dai creatori di Ray) aiutano i team di IA ad accelerare lo sviluppo e la sperimentazione, e a dimensionare facilmente le applicazioni per garantire il successo dei loro progetti di IA.

Ray è stato concepito all'Università della California - Berkeley nel RISELab, ed è stato reso open source nel 2017. Oggi Ray è ampiamente adottato dalle organizzazioni di tutto il mondo per lo sviluppo di applicazioni IA e Python su larga scala.

Migliora la scalabilità e l'ergonomia degli sviluppatori con Anyscale Platform

Per far progredire lo sviluppo e la scalabilità dell'IA per ogni organizzazione, la Anyscale Platform estende le capacità di Ray consentendo agli sviluppatori e ai team interfunzionali di accelerare la sperimentazione e lo sviluppo di applicazioni di ML su larga scala. Anyscale Platform e Ray aumentano la velocità degli sviluppatori fornendo un calcolo scalabile per l'importazione e la preelaborazione dei dati, la formazione di ML, l'ottimizzazione degli iperparametri, la gestione dei modelli e altro ancora, il tutto integrandosi perfettamente con il resto dell'ecosistema di ML.

Anyscale Platform amplia notevolmente le capacità di Ray. Anyscale Workspaces offre agli sviluppatori un'esperienza di sviluppo unificata e senza interruzioni per dimensionare i carichi di lavoro ML da un laptop al cloud senza modifiche al codice. Gli sviluppatori possono ora sfruttare un unico ambiente per creare, testare e distribuire carichi di lavoro in produzione, sfruttando al contempo gli strumenti che conoscono. Anyscale Platform migliora la velocità di iterazione riducendo i tempi di configurazione del cluster di 5 volte rispetto a Ray. Infine, Anyscale Platform offre immediatamente osservabilità, monitoraggio e pianificazione dei lavori.

"Le funzionalità di Anyscale Platform vanno ben oltre le capacità di Ray e rendono ancora più semplici lo sviluppo, la sperimentazione e la scalabilità dei carichi di lavoro di IA/ML e Python", ha dichiarato Ion Stoica, co-fondatore e presidente esecutivo di Anyscale. "Migliaia di organizzazioni si affidano a Ray per dimensionare le proprie applicazioni di ML e Python e un numero crescente di organizzazioni sta sfruttando Anyscale Platform per creare, testare e distribuire queste applicazioni in produzione più velocemente che mai".

Dagli sviluppatori di IA ai professionisti del ML, ai data scientist e agli ingegneri, tutti i contributori possono trarre vantaggio dalla facilità, dalla scalabilità e dall'ergonomia per gli sviluppatori che Anyscale Platform offre durante l'intero percorso dell'IA: dallo sviluppo, all'ottimizzazione e alla formazione fino all'inferenza e al servizio scalabile dei modelli.

La missione di Anyscale è facilitare la creazione e la scalabilità dei carichi di lavoro di IA/ML e Python, nonché delle applicazioni di IA. Il loro team democratizza l'IA rendendo più facile per i data scientist e gli ingegneri ML lavorare con strutture di progetto adatte alla creazione di sistemi ML di produzione. L'elaborazione distribuita scalabile, unificata e aperta, come quella offerta da Anyscale a Ray, contribuisce alla democratizzazione e all'industrializzazione di massa dell'IA.

L'impegno di Anyscale per l'open source e la libertà della tecnologia condivisa è evidente: il team di Anyscale guida la comunità open source di Ray gestendo le operazioni, esaminando i contributi e facendo crescere e sviluppare la community. Inoltre, sono i maggiori contributori di (OSS) e hanno recentemente rilasciato Ray 2.1.

Creazione di modelli di ML maturi, affidabili e facilmente scalabili

Con il 90% delle nuove applicazioni che dovrebbero essere native del cloud entro il 2025, Anyscale immagina il cloud come il substrato predefinito in cui verrà sviluppata la prossima generazione di applicazioni. Prevede che la prossima generazione di infrastrutture cloud sia costituita da framework ottimizzati che facilitano lo sviluppo e la gestione delle applicazioni.

Anyscale sfrutta la suite di prodotti matura di AWS come componenti per un rapido sviluppo della propria piattaforma. Anyscale e Ray offrono funzionalità complete su AWS, con prestazioni e scalabilità altamente efficienti. Oltre al fatto che la scalabilità di AWS sia una risorsa straordinaria per Anyscale e Ray, alcuni dei loro principali clienti hanno una lunga storia di utilizzo di AWS e questo facilita le interazioni con i clienti.

"L'inferenza è il 90% di qualsiasi progetto di ML. I team di machine learning hanno bisogno di nuovi modi per lavorare con il calcolo distribuito e fornire la prossima generazione di ML su larga scala", spiega Rob. "L'era d'oro del machine learning è alle porte e AWS e Anyscale aiutano le aziende a creare modelli di machine learning per come dovrebbero essere: maturi, affidabili e facilmente scalabili".

Amazon.com e AWS hanno collaborato con la community Ray per integrare Ray con molti servizi AWS, tra cui:

• AWS Identity and Access Management (IAM) per il controllo granulare degli accessi
• Gestione certificati AWS (ACM) per la crittografia SSL/TLS in transito
• Servizio di gestione delle chiavi AWS (AWS KMS) per la crittografia dei dati a riposo
• Amazon Simple Storage Service (Amazon S3) per lo storage di oggetti
• Amazon Elastic File System (Amazon EFS) per l'accesso ai file distribuiti
• Amazon CloudWatch per l'osservabilità

Le soluzioni che rientrano nel ciclo di vita del machine learning di AWS Well-Architected , come Anyscale Platform per la fase di implementazione, possono aiutare le aziende a dedicare più tempo allo sviluppo dei prodotti piuttosto che all'approvvigionamento e alla gestione delle risorse.

Il Framework AWS Well-Architected, che fornisce le migliori pratiche operative e architetturali per la progettazione e la gestione di carichi di lavoro nel cloud, include pilastri per l'eccellenza operativa, la sicurezza, l'affidabilità, l'efficienza delle prestazioni, l'ottimizzazione dei costi e la sostenibilità. Con la piattaforma Anyscale, gli sviluppatori possono aumentare la loro efficienza prestazionale.

"Anyscale semplifica un tipico codice ML di Python e lo aiuta a inserirsi nel framework in appena due righe di codice", spiega Rob. "AWS è una casa incredibile per Anyscale con i suoi strumenti leader del settore per i sistemi di produzione e le opzioni di calcolo più ampie e approfondite".