Accelerating AI/ML scaling and AI development with Anyscale and AWS

A criação de uma aplicação de inteligência artificial (IA) distribuída na nuvem e escalável é um esforço de várias equipes. Exige um gerenciamento complexo de recursos e envolve várias questões de produção, como alterações de código, refatoração, configuração da infraestrutura e operações complexas de desenvolvimento (DevOps). Isso pode confundir o processo de desenvolvimento, diminuir o tempo de lançamento no mercado e impedir que os desenvolvedores se concentrem na inovação do produto.

“Com a falta de caminhos estabelecidos do desenvolvimento à produção, algumas estimativas colocam a taxa de falha do projeto de desenvolvimento de IA em quase 50%”, explica Rob Ferguson, chefe global de IA e machine learning (ML) da Amazon Web Services (AWS) para startups.

É aí que o Anyscale, o Ray (a primeira estrutura de computação unificada e distribuída para escalar workloads de ML ou Python) e a Anyscale Platform (uma plataforma Ray totalmente gerenciada fornecida pelos criadores do Ray) ajudam as equipes de IA a acelerar o desenvolvimento e a experimentação e escalar aplicações sem esforço para garantir o sucesso de seus projetos de IA.

O Ray foi concebido no RISELab da Universidade da Califórnia em Berkeley e teve código aberto em 2017. Hoje, o Ray é amplamente adotado por organizações em todo o mundo para desenvolver aplicações de IA e Python em grande escala.

Melhore a escalabilidade e a ergonomia do desenvolvedor com a plataforma Anyscale

Para promover o desenvolvimento e a escalabilidade da IA para todas as organizações, a plataforma Anyscale amplia os recursos do Ray, permitindo que desenvolvedores e equipes multifuncionais acelerem a experimentação e o desenvolvimento de aplicações de ML em grande escala. A plataforma Anyscale e o Ray aumentam a velocidade do desenvolvedor fornecendo computação escalável para ingestão e pré-processamento de dados, treinamento de ML, ajuste de hiperparâmetros, fornecimento de modelos e muito mais, tudo isso enquanto se integra perfeitamente ao restante do ecossistema de ML.

A plataforma Anyscale amplia significativamente as capacidades do Ray. O Anyscale Workspaces oferece aos desenvolvedores uma experiência de desenvolvimento unificada e perfeita para escalar workloads de ML de um laptop para a nuvem sem alterações no código. Agora, os desenvolvedores podem aproveitar um único ambiente para criar, testar e implantar workloads na produção enquanto aproveitam as ferramentas com as quais estão familiarizados. A plataforma Anyscale melhora a velocidade de iteração ao reduzir o tempo de configuração do cluster em 5 vezes em relação ao Ray. Finalmente, a plataforma Anyscale fornece observabilidade, monitoramento e agendamento de trabalhos prontos para uso.

“Os recursos da plataforma Anyscale vão muito além dos recursos do Ray e facilitam ainda mais o desenvolvimento, a experimentação e o dimensionamento de workloads de IA/ML e Python”, disse Ion Stoica, cofundador e presidente executivo da Anyscale. “Milhares de organizações confiam no Ray para escalar aplicações de ML e Python, e um número crescente de organizações está aproveitando a plataforma Anyscale para criar, testar e implantar essas aplicações na produção mais rápido do que nunca”.

De desenvolvedores de IA a profissionais de ML, cientistas de dados e engenheiros; todos os colaboradores podem se beneficiar da facilidade, escalabilidade e ergonomia de desenvolvedor que a plataforma Anyscale oferece para toda a jornada de IA: do desenvolvimento, ajuste e treinamento de modelos até inferência e fornecimento de modelos escaláveis.

A missão da Anyscale é facilitar a criação e o dimensionamento de workloads de IA/ML e Python, bem como de aplicações de IA. Sua equipe democratiza a IA, facilitando que cientistas de dados e engenheiros de ML trabalhem com estruturas de projeto que façam sentido para criar sistemas de ML de produção. A computação distribuída escalável, unificada e aberta, como a que a Anyscale oferece para Ray, ajuda a levar à democratização e industrialização em massa da IA.

O compromisso da Anyscale com o código aberto e a liberdade da tecnologia compartilhada é evidente: a equipe da Anyscale lidera a comunidade de código aberto do Ray gerenciando operações, analisando contribuições e crescendo e desenvolvendo a comunidade. Além disso, eles são os maiores contribuidores do (OSS) e lançaram recentemente o Ray 2.1.

Criando modelos de ML maduros, confiáveis e facilmente escaláveis

Com a expectativa de que 90% das novas aplicações sejam nativas de nuvem até 2025, a Anyscale prevê a nuvem como o substrato padrão em que a próxima geração de aplicações será desenvolvida. Eles esperam que a próxima geração de infraestrutura em nuvem seja uma estrutura otimizada que facilite o desenvolvimento e o gerenciamento de aplicações.

A Anyscale utiliza o conjunto maduro de produtos da AWS como componentes para o rápido desenvolvimento de sua plataforma. O Anyscale e o Ray são completos na AWS, com performance e escalabilidade altamente eficientes. Além da escala da AWS ser um grande trunfo para o Anyscale e o Ray, alguns de seus maiores clientes têm um longo histórico de uso da AWS e isso facilita suas interações com os clientes.

“A inferência é 90% de qualquer projeto de ML. As equipes de machine learning precisam de novas formas de trabalhar com a computação distribuída para oferecer a próxima geração de ML em grande escala”, explica Rob. “A era dourada do machine learning está ocorrendo e a AWS e a Anyscale ajudam as empresas a criar modelos de ML da maneira que deveriam ser: maduros, confiáveis e facilmente escaláveis.”

A Amazon.com e a AWS trabalharam com a comunidade do Ray para integrar o Ray a muitos serviços da AWS, incluindo:

• AWS Identity and Access Management (IAM) para controle de acesso detalhado
• AWS Certificate Manager (ACM) para criptografia SSL/TLS em trânsito
• AWS Key Management Service (AWS KMS) para criptografia em repouso
• Amazon Simple Storage Service (Amazon S3) para armazenamento de objetos
• Amazon Elastic File System (Amazon EFS) para acesso a arquivos distribuídos
• Amazon CloudWatch para observabilidade

Soluções que se encaixam no ciclo de vida do AWS Well-Architected Machine Learning, como a plataforma Anyscale para o estágio de implantação, podem ajudar as empresas a dedicar mais tempo ao desenvolvimento de produtos do que ao provisionamento e gerenciamento de recursos.

O AWS Well-Architected Framework, que fornece as práticas recomendadas operacionais e arquitetônicas para projetar e operar workloads na nuvem, inclui pilares de excelência operacional, segurança, confiabilidade, eficiência de performance, otimização de custos e sustentabilidade. Com a plataforma Anyscale, os desenvolvedores podem aumentar sua eficiência de performance.

“O Anyscale simplifica um código de ML típico do Python e o ajuda a se encaixar na estrutura em apenas duas linhas de código”, explica Rob. “A AWS é uma casa incrível para a Anyscale com suas ferramentas líderes do setor para sistemas de produção, bem como as opções de computação mais amplas e profundas.”