Aceleración del escalamiento de la IA y el ML y el desarrollo de la IA con Anyscale y AWS

La creación de una aplicación de inteligencia artificial (IA) escalable y distribuida en la nube es un esfuerzo entre equipos que requiere una administración complicada de los recursos y conlleva numerosos problemas de producción, como los cambios de código, la refactorización, la configuración de la infraestructura y las operaciones complejas de los desarrolladores (DevOps). Esto puede complicar el proceso de desarrollo, ralentizar el tiempo de comercialización e impedir que los desarrolladores se centren en la innovación de los productos.

“Debido a la falta de vías establecidas para pasar del desarrollo a la producción, algunas estimaciones sitúan la tasa de fracaso de los proyectos de desarrollo de IA en casi el 50 %”, explica Rob Ferguson, global head de AI and machine learning (ML) for startups en Amazon Web Services (AWS).

Ahí es donde Anyscale, Ray (el primer marco de computación distribuida y unificada para escalar cargas de trabajo de ML o Python) y la plataforma Anyscale (una plataforma de Ray totalmente administrada y que proporcionan los creadores de Ray) ayudan a los equipos de IA a acelerar el desarrollo y la experimentación y a escalar las aplicaciones sin esfuerzo para garantizar el éxito de sus proyectos de IA.

Ray se concibió en la Universidad de California, Berkeley en RISELab y se lanzó como código abierto en 2017. En la actualidad, organizaciones de todo el mundo utilizan ampliamente Ray para desarrollar aplicaciones de IA y Python a escala.

Mejorar la escalabilidad y la ergonomía de los desarrolladores con la plataforma Anyscale

Para impulsar el desarrollo y el escalamiento de la IA en todas las organizaciones, la plataforma Anyscale amplía las capacidades de Ray al permitir a los desarrolladores y a los equipos multifuncionales acelerar la experimentación y el desarrollo de aplicaciones de ML a escala. La plataforma Anyscale y Ray aumentan la velocidad de los desarrolladores al proporcionar computación escalable para la ingesta y el preprocesamiento de datos, el entrenamiento de ML, el ajuste de hiperparámetros, la publicación de modelos y mucho más, todo ello a la vez que se integran a la perfección con el resto del ecosistema de ML.

La plataforma Anyscale amplía significativamente las capacidades de Ray. Anyscale Workspaces ofrece a los desarrolladores una experiencia de desarrollo unificada y fluida para escalar las cargas de trabajo de ML de un portátil a la nube sin cambios en el código. Los desarrolladores ahora pueden utilizar un entorno único para crear, probar e implementar cargas de trabajo en producción y, al mismo tiempo, usar las herramientas con las que están familiarizados. La plataforma Anyscale mejora la velocidad de iteración al reducir 5 veces el tiempo de configuración de los clústeres en comparación con Ray. Por último, la plataforma Anyscale proporciona observabilidad, supervisión y programación de trabajos listas para usar.

“Las capacidades de la plataforma Anyscale van mucho más allá de las capacidades de Ray y facilitan aún más el desarrollo, la experimentación y el escalamiento de las cargas de trabajo de IA, ML y Python”, afirma Ion Stoica, cofundador y executive chairman de Anyscale. “Miles de organizaciones se basan en Ray para escalar sus aplicaciones de ML y Python y un número cada vez mayor de organizaciones utilizan la plataforma Anyscale para crear, probar e implementar estas aplicaciones en producción más rápido que nunca”.

Todos los colaboradores (desde los desarrolladores de IA hasta los profesionales de ML y los científicos e ingenieros de datos) pueden beneficiarse de la facilidad, la escalabilidad y la ergonomía para los desarrolladores que ofrece la plataforma Anyscale durante todo el recorrido de la IA: desde el desarrollo, el ajuste y el entrenamiento de modelos hasta la inferencia y la publicación de modelos escalables.

La misión de Anyscale es facilitar la creación y el escalamiento de cargas de trabajo de IA, ML y Python, así como de aplicaciones de IA. Su equipo democratiza la IA al facilitar que los científicos de datos y los ingenieros de ML trabajen con estructuras de proyectos que tengan sentido para crear sistemas de ML de producción. La computación distribuida, escalable, unificada y abierta, como la que Anyscale ofrece para Ray, contribuye a la democratización e industrialización masivas de la IA.

El compromiso de Anyscale con el código abierto y la libertad de la tecnología compartida es evidente: el equipo de Anyscale lidera la comunidad de código abierto de Ray mediante la administración de las operaciones, la revisión de las contribuciones y el crecimiento y el desarrollo de la comunidad. Además, son los que más contribuyen al software de código abierto (OSS) y recientemente han lanzado Ray 2.1.

Crear modelos de ML consolidados, fiables y fácilmente escalables

Dado que se espera que el 90 % de las nuevas aplicaciones sean nativas en la nube en 2025, Anyscale prevé que la nube sea el sustrato predeterminado en el que se desarrollará la próxima generación de aplicaciones. Esperan que la próxima generación de infraestructuras de nube sean marcos optimizados que faciliten el desarrollo y la administración de las aplicaciones.

Anyscale utiliza el conjunto consolidado de productos de AWS como componentes para el rápido desarrollo de su plataforma. Anyscale y Ray cuentan con todas las características de AWS y un rendimiento y una escalabilidad muy eficientes. Además de que la escalabilidad de AWS es una gran ventaja para Anyscale y Ray, algunos de sus principales clientes tienen un largo historial de uso de AWS, lo que facilita las interacciones con los clientes.

“La inferencia constituye el 90 % de cualquier proyecto de ML. Los equipos de machine learning necesitan formas novedosas de trabajar con la computación distribuida para ofrecer la próxima generación de ML a escala”, explica Rob. “Estamos viviendo la era dorada del machine learning y AWS y Anyscale ayudan a las empresas a crear modelos de ML tal y como deberían ser: consolidados, fiables y fácilmente escalables”.

Amazon.com y AWS han colaborado con la comunidad de Ray para integrar Ray con muchos servicios de AWS, entre los que se incluyen los siguientes:

• AWS Identity and Access Management (IAM) para el control de acceso preciso.
• AWS Certificate Manager (ACM) para el cifrado en tránsito SSL/TLS.
• AWS Key Management Service (AWS KMS) para el cifrado en reposo.
• Amazon Simple Storage Service (Amazon S3) para el almacenamiento de objetos.
• Amazon Elastic File System (Amazon EFS) para el acceso a archivos distribuidos.
• Amazon CloudWatch para la observabilidad.

Las soluciones que se ajustan al ciclo de vida del machine learning de AWS Well-Architected, como la plataforma Anyscale para la fase de implementación, pueden ayudar a las empresas a dedicar más tiempo al desarrollo de productos que al aprovisionamiento y la administración de recursos.

AWS Well-Architected Framework, que proporciona las prácticas recomendadas operativas y arquitectónicas para diseñar y operar cargas de trabajo en la nube, incluye pilares para la excelencia operativa, la seguridad, la fiabilidad, la eficiencia del rendimiento, la optimización de costos y la sostenibilidad. Con la plataforma Anyscale, los desarrolladores pueden aumentar la eficiencia de su rendimiento.

“Anyscale simplifica un código típico de ML de Python y lo ayuda a encajar en el marco en tan solo dos líneas de código”, explica Rob. “AWS es un hogar increíble para Anyscale, con sus herramientas líderes del sector para sistemas de producción y las opciones de computación más amplias y completas”.