Accélérer la mise à l'échelle de l'IA et du ML, ainsi que le développement de l'IA avec Anyscale et AWS

La création d'une application d'intelligence artificielle (IA) distribuée et évolutive dans le cloud est un travail interéquipes qui nécessite une gestion complexe des ressources et soulève de nombreux problèmes de production tels que les modifications de code, la refactorisation, la configuration de l'infrastructure et les opérations de développement complexes (DevOps). Ces éléments peuvent perturber le processus de développement, ralentir la mise sur le marché et empêcher les développeurs de se concentrer sur l'innovation des produits.

« En l'absence de voies établies du développement à la production, certaines estimations situent le taux d'échec des projets de développement d'IA à près de 50 % », explique Rob Ferguson, responsable mondial de l'IA et du machine learning (ML) chez Amazon Web Services (AWS) pour les start-ups.

Ainsi, Anyscale, Ray (le premier cadre de calcul unifié et distribué pour la mise à l'échelle des charges de travail de ML ou Python) et la plateforme Anyscale (une plateforme Ray entièrement gérée fournie par les créateurs de Ray) permettent aux équipes d'IA d'accélérer le développement et l'expérimentation, et de mettre à l'échelle les applications sans effort pour assurer le succès de leurs projets d'IA.

Ray a été conçu à l'Université de Californie Berkeley dans le RISELab et mis en open source en 2017. Aujourd'hui, grand nombre d'organisations dans le monde l'ont adopté pour mettre des applications Python et d'IA à l'échelle.

Améliorer la capacité de mise à l'échelle et l'ergonomie des développeurs grâce à la plateforme Anyscale

Pour accélérer le développement et la mise à l'échelle de l'IA pour chaque organisation, la plateforme Anyscale étend les capacités de Ray en permettant aux développeurs et aux équipes interfonctionnelles d'accélérer l'expérimentation et le développement d'applications de ML à l'échelle. La plateforme Anyscale et Ray accroissent la vélocité des développeurs en fournissant un calcul évolutif pour l'ingestion et le prétraitement des données, l'entraînement ML, le réglage des hyperparamètres, le service de modèle, et plus encore, tout en s'intégrant de manière transparente avec le reste de l'écosystème de machine learning.

La plateforme Anyscale optimise considérablement les capacités de Ray. Anyscale Workspaces offre aux développeurs une expérience de développement unifiée et transparente pour faire évoluer les charges de travail de machine learning d'un ordinateur portable vers le cloud sans modification du code. Les développeurs peuvent désormais s'appuyer sur un environnement unique pour construire, tester et déployer des charges de travail en production tout en utilisant les outils qui leur sont familiers. La plateforme Anyscale améliore la vitesse d'itération en permettant une configuration de clusters 5 fois plus rapide qu'avec Ray. Enfin, elle fournit l'observabilité, la surveillance et la planification des tâches dès le départ.

« Les capacités de la plateforme Anyscale vont bien au-delà de celles de Ray et facilitent encore plus le développement, l'expérimentation et la mise à l'échelle des charges de travail de l'IA/du ML et de Python », a déclaré Ion Stoica, cofondateur et président exécutif d'Anyscale. « Des milliers d'organisations ont recours à Ray pour la mise à l'échelle de leurs applications à technologie de ML et Python, et un nombre croissant d'organisations tirent parti de la plateforme Anyscale pour construire, tester et déployer ces applications en production plus rapidement que jamais. »

Les développeurs d'IA, les praticiens du ML, les scientifiques des données et les ingénieurs, peuvent tous bénéficier de la facilité, de la capacité de mise à l'échelle et de l'ergonomie que la plateforme Anyscale offre aux développeurs pour l'ensemble du parcours de l'IA : du développement, de la mise au point et de l'entraînement des modèles à l'inférence et à la mise à disposition de modèles évolutifs.

La mission d'Anyscale est de faciliter la création et la mise à l'échelle des charges de travail IA/ML et Python, ainsi que des applications d'IA. Leur équipe démocratise l'IA en permettant aux scientifiques des données et aux ingénieurs de ML de travailler plus facilement avec des structures de projet adaptées à la création de systèmes de ML de production. L'informatique distribuée évolutive, unifiée et ouverte comme Anyscale propose à Ray, contribue à la démocratisation et à l'industrialisation massives de l'IA.

L'engagement d'Anyscale envers l'open source et la liberté des technologies partagées ne font aucun doute : l'équipe d'Anyscale dirige la communauté open source Ray en gérant les opérations, en examinant les contributions et en développant la communauté. En outre, elle est le plus grand contributeur à l'OSS et a récemment publié Ray 2.1.

Créer de modèles de ML matures, fiables et facilement évolutifs

Étant donné que 90 % des nouvelles applications devraient être natives cloud au plus tard en 2025, Anyscale envisage le cloud comme le substrat par défaut dans lequel la prochaine génération d'applications sera développée. La prochaine génération d'infrastructures cloud devrait être constituée de cadres optimisés qui facilitent le développement et la gestion des applications.

Anyscale exploite la suite de produits matures d'AWS en tant que composants pour le développement rapide de sa plateforme. Anyscale et Ray sont pleinement fonctionnels sur AWS, avec des performances et une mise à l'échelle très efficaces. En plus de l'atout considérable que représente la capacité de mise à l'échelle d'AWS pour Anyscale et Ray, certains de leurs plus gros clients utilisent depuis longtemps AWS, ce qui facilite leurs interactions avec les clients.

« L'inférence représente 90 % de tout projet de ML. Les équipes de machine learning ont besoin de nouvelles méthodes de travail avec l'informatique distribuée pour fournir la prochaine génération de ML à l'échelle », explique Rob. « L'âge d'or du machine learning est en train de se mettre en place et AWS et Anyscale permettent aux entreprises de construire des modèles de ML comme ils sont censés l'être : matures, fiables et facilement évolutifs. »

En collaboration avec la communauté Ray, Amazon.com et AWS ont intégré Ray à de nombreux services AWS, notamment :

• AWS Identity and Access Management (IAM) pour un contrôle d'accès affiné
• AWS Certificate Manager (ACM) pour le chiffrement SSL/TLS en transit
• AWS Key Management Service (AWS KMS) pour le chiffrement au repos
• Amazon Simple Storage Service (Amazon S3) pour le stockage d'objets
• Amazon Elastic File System (Amazon EFS) pour l'accès aux fichiers distribués
• Amazon CloudWatch pour l'observabilité

Les solutions qui s'inscrivent dans le cycle de vie AWS Well-Architected Machine Learning comme la plateforme Anyscale pour la phase de déploiement, peuvent permettre aux entreprises de consacrer plus de temps au développement de produits plutôt qu'à l'approvisionnement et à la gestion des ressources.

Le cadre AWS Well-Architected, qui fournit les bonnes pratiques opérationnelles et architecturales pour la conception et l'exploitation de charges de travail dans le cloud, inclut les piliers de l'excellence opérationnelle, de la sécurité, de la fiabilité, de l'efficacité des performances, de l'optimisation des coûts et de la durabilité. La plateforme Anyscale permet aux développeurs d'être plus performants.

« Anyscale simplifie un code de ML Python typique et lui permet de s'intégrer dans le cadre en deux lignes de code seulement », explique Rob. « AWS est un hébergeur idéal pour Anyscale avec ses outils de pointe pour les systèmes de production ainsi que ses options de calcul les plus vastes et les plus approfondies. »