Anyscale과 AWS를 활용한 AI/ML 규모 조정 및 AI 개발 가속화

분산되고 확장 가능한 인공 지능(AI) 애플리케이션을 클라우드에 구축하려면 여러 팀이 협력하여 복잡한 리소스 관리 작업을 수행해야 하며 코드 변경, 리팩터링, 인프라 설정, 복잡한 개발자 운영(DevOps)과 같은 수많은 프로덕션 문제가 수반됩니다. 이로 인해 개발 프로세스가 혼란스러워지고 출시 시기가 지연되며 개발자가 제품 혁신에 집중하지 못하게 될 수 있습니다.

Amazon Web Services(AWS)의 Global Head of AI and Machine Learning(ML) for Startups인 Rob Ferguson은 “개발에서 프로덕션으로 이어지는 경로가 확립되어 있지 않기 때문에, AI 개발 프로젝트 실패율이 거의 50%에 달할 것으로 추산됩니다”라고 설명합니다.

Anyscale, Ray(ML 또는 Python 워크로드 확장을 위한 최초의 통합 분산 컴퓨팅 프레임워크) 및 Anyscale Platform(Ray 제작자가 제공하는 완전관리형 Ray 플랫폼)은 이러한 측면에서 AI 팀이 개발 및 실험을 가속화하고 애플리케이션을 손쉽게 확장하여 AI 프로젝트의 성공을 보장하는 데 도움을 줍니다.

Ray는 캘리포니아 버클리 대학교 RISELab에서 구상되었으며, 2017년에 오픈 소스로 공개되었습니다. 오늘날 Ray는 AI 및 Python 애플리케이션을 대규모로 개발하기 위해 전 세계 조직에서 널리 도입되고 있습니다.

Anyscale 플랫폼으로 확장성과 개발자 에르고노믹스를 개선

모든 조직의 AI 개발 및 확장성을 개선하기 위해, Anyscale Platform은 여러 부서가 참여하는 팀과 개발자가 실험을 가속화하고 대규모 ML 애플리케이션 개발 속도를 높일 수 있도록 함으로써 Ray의 기능을 확장합니다. Anyscale Platform과 Ray는 데이터 모으기 및 전처리, ML 훈련, 하이퍼파라미터 조정, 모델 제공 등을 위한 확장 가능한 컴퓨팅을 제공함으로써 개발자의 작업을 가속화하는 동시에 나머지 ML 생태계와 원활하게 통합됩니다.

Anyscale Platform은 Ray의 기능을 크게 확장합니다. Anyscale Workspace는 개발자에게 코드 변경 없이 노트북에서 클라우드로 ML 워크로드를 확장할 수 있는 통합되고 원활한 개발 경험을 제공합니다. 이제 개발자는 익숙한 도구를 활용하면서 단일 환경을 활용하여 워크로드를 구축하고, 테스트하고, 프로덕션 환경에 배포할 수 있습니다. Anyscale Platform은 클러스터 설정에 소요되는 시간을 Ray보다 5배 단축하여 반복 속도를 개선합니다. 마지막으로, Anyscale Platform은 관찰성, 모니터링 및 작업 스케줄링 기능을 기본적으로 제공합니다.

Anyscale의 공동 설립자이자 Executive Chairman인 Ion Stoica는 “Anyscale Platform의 기능은 Ray의 기능을 훨씬 뛰어넘으며, AI/ML 및 Python 워크로드를 훨씬 쉽게 개발, 실험 및 확장할 수 있도록 해 줍니다. 수천 곳의 조직이 Ray를 사용하여 ML 및 Python 애플리케이션을 확장하고 있으며, Anyscale Platform을 활용하여 이러한 애플리케이션을 그 어느 때보다 빠르게 구축 및 테스트하고 프로덕션 환경에 배포하는 조직이 갈수록 늘어나고 있습니다”라고 말합니다.

AI 개발자부터 ML 실무자, 데이터 사이언티스트 및 엔지니어에 이르기까지, 모든 실무자가 모델의 개발, 조정 및 훈련부터 추론 및 확장 가능한 모델의 제공에 이르기까지 전체 AI 여정에서 Anyscale Platform이 제공하는 사용 편의성, 확장성 및 개발자 에르고노믹스의 이점을 누릴 수 있습니다.

Anyscale의 사명은 AI/ML 및 Python 워크로드와 AI 애플리케이션의 구축 및 확장을 용이하게 하는 것입니다. Anyscale의 팀은 데이터 사이언티스트와 ML 엔지니어가 프로덕션 ML 시스템 구축에 적합한 프로젝트 구조를 손쉽게 사용할 수 있도록 하여 AI를 민주화합니다. Anyscale이 Ray에 제공하는 것과 같은 확장 가능하고 통합된 개방형 분산 컴퓨팅은 AI의 민주화와 산업화를 실현하는 데 도움이 됩니다.

오픈 소스와 공유 기술을 통해 자유로운 사용을 보장하겠다는 Anyscale의 약속은 분명합니다. Anyscale 팀은 운영을 관리하고, 기여 내용을 검토하고, 커뮤니티를 확장 및 개발하면서 Ray 오픈 소스 커뮤니티를 이끌고 있습니다. 또한 이들은 (OSS) 및 최근에 출시된 Ray 2.1에 가장 크게 기여했습니다.

완성도와 신뢰성이 놓고 쉽게 확장 가능한 ML 모델 구축

2025년에 이르면 클라우드 네이티브 애플리케이션이 신규 애플리케이션의 90%를 차지할 것으로 전망됨에 따라, Anyscale은 클라우드를 차세대 애플리케이션 개발의 기본 특성으로 삼게 될 것으로 예상하고 있습니다. 그리고 차세대 클라우드 인프라가 애플리케이션 개발 및 관리를 용이하게 하는 최적화된 프레임워크가 되기를 기대합니다.

Anyscale은 AWS의 완성도 높은 제품군을 플랫폼의 신속한 개발을 위한 구성 요소로 활용합니다. Anyscale과 Ray는 AWS에서 모든 기능을 지원하며 매우 효율적인 성능과 확장성을 제공합니다. AWS의 방대한 규모가 Anyscale과 Ray에 엄청난 자산이 된다는 점 외에, 대규모 고객 중 일부가 AWS를 오랫동안 사용해왔기 때문에 고객 상호 작용이 용이해진다는 이점도 있습니다.

Rob은 “추론은 모든 ML 프로젝트의 90%를 차지합니다. 기계 학습 팀에는 차세대 ML을 대규모로 제공하는 데 분산 컴퓨팅을 활용할 새로운 방법이 필요합니다. 기계 학습의 황금 시대가 열리고 있습니다. AWS와 Anyscale은 기업이 완성도와 신뢰성이 높고 쉽게 확장할 수 있는 방식으로 ML 모델을 구축할 수 있도록 지원합니다”라고 설명합니다.

Amazon.com 과 AWS는 Ray 커뮤니티와 협력하여 다음과 같은 다양한 AWS 서비스와 Ray를 통합했습니다.

• 세분화된 액세스 제어를 위한 AWS Identity and Access Management(IAM) 
• SSL/TLS 전송 중 암호화를 위한 AWS Certificate Manager(ACM) 
• 저장 데이터 암호화를 위한 AWS Key Management Service(AWS KMS) 
• 객체 스토리지를 위한 Amazon Simple Storage Service(S3) 
• 분산 파일 액세스를 위한 Amazon Elastic File System(Amazon EFS) 
• 관찰성을 위한 Amazon CloudWatch 

배포 단계를 지원하는 Anyscale Platform을 비롯하여, AWS Well-Architected 기계 학습 수명 주기에 적합한 솔루션은 기업이 리소스 프로비저닝 및 관리가 아니라 제품 개발에 더 많은 시간을 할애할 수 있도록 도와줍니다.

클라우드에서 워크로드를 설계하고 운영하기 위한 운영 및 아키텍처 모범 사례를 제공하는 AWS Well-Architected Framework에는 운영 우수성, 보안, 신뢰성, 성능 효율성, 비용 최적화 및 지속 가능성을 위한 원칙이 포함되어 있습니다. 개발자는 Anyscale Platform을 활용하여 성능 효율성을 높일 수 있습니다.

Rob은 “Anyscale은 일반적인 Python ML 코드를 단순화하고 최소 단 두 줄의 코드로 프레임워크에 해당 코드를 적용하도록 도와줍니다. AWS는 업계 최고의 프로덕션 시스템 도구와 가장 광범위하고 심층적인 컴퓨팅 옵션을 갖춘 Anyscale의 놀라운 기반입니다”라고 설명합니다.