Mempercepat penskalaan AI/ML dan pengembangan AI dengan Anyscale dan AWS

Membangun aplikasi kecerdasan buatan (AI) yang didistrubusikan oleh cloud dan dapat diskalakan adalah upaya lintas tim yang membutuhkan manajemen sumber daya yang rumit dan dilengkapi dengan berbagai masalah produksi, seperti perubahan kode, pemfaktoran ulang, penyiapan infrastruktur, dan operasi developer (DevOps) yang kompleks. Upaya tersebut dapat membingungkan proses pengembangan, memperlambat waktu masuk pasar, dan membuat developer tidak fokus pada inovasi produk.

“Dengan kurangnya jalur pengembangan hingga produksi yang mapan, beberapa perkiraan menempatkan tingkat kegagalan proyek pengembangan AI hampir 50%,” jelas Rob Ferguson, Amazon Web Services (AWS) global head of AI dan machine learning (ML) untuk startup.

Di situlah Anyscale, Ray (kerangka kerja komputasi terpadu dan terdistribusi pertama untuk penskalaan beban kerja ML atau Python), dan Platform Anyscale (sebuah platform Ray yang terkelola penuh yang disediakan oleh pencipta Ray) membantu tim AI mempercepat pengembangan dan eksperimen, serta dengan mudah menskalakan aplikasi untuk memastikan kesuksesan proyek AI mereka.

Ray lahir di University of California Berkeley di RISELab dan dijadikan sumber terbuka pada tahun 2017. Saat ini, Ray diadopsi secara luas oleh organisasi secara global untuk mengembangkan aplikasi AI dan Python dalam skala besar.

Tingkatkan skalabilitas dan ergonomi developer dengan Platform Anyscale

Untuk memajukan pengembangan dan penskalaan AI bagi setiap organisasi, Platform Anyscale memperluas kemampuan Ray dengan memungkinkan developer dan tim lintas fungsi untuk mempercepat eksperimen dan mempercepat pengembangan aplikasi ML dalam skala besar. Platform Anyscale dan Ray meningkatkan kecepatan developer dengan menyediakan komputasi yang dapat diskalakan untuk penyerapan dan prapemrosesan data, pelatihan ML, penyetelan hiperparameter, penyajian model, dan banyak lagi, sekaligus berintegrasi tanpa hambatan dengan ekosistem ML lainnya.

Platform Anyscale secara signifikan memperluas kemampuan Ray. Anyscale Workspaces memberi pengalaman pengembangan yang terpadu dan tanpa hambatan bagi developer untuk menskalakan beban kerja ML dari laptop ke cloud tanpa perubahan kode. Developer sekarang dapat memanfaatkan satu lingkungan untuk membangun, menguji, dan melakukan deployment beban kerja ke produksi sekaligus memanfaatkan alat yang sudah mereka pernah gunakan. Platform Anyscale meningkatkan kecepatan iterasi dengan mengurangi waktu penyiapan klaster sebesar 5X melalui Ray. Terakhir, Platform Anyscale menyediakan observabilitas, pemantauan, dan penjadwalan tugas di luar kebiasaan.

“Kemampuan Platform Anyscale jauh melampaui kemampuan Ray dan membuat pengembangan beban kerja AI/ML dan Python, eksperimen, dan penskalaan menjadi lebih mudah,” kata Ion Stoica, co-founder dan executive chairman of Anyscale. “Ribuan organisasi mengandalkan Ray untuk menskalakan aplikasi ML dan Python mereka, dan semakin banyak organisasi memanfaatkan Platform Anyscale untuk membangun, menguji, dan melakukan deployment aplikasi ini ke produksi lebih cepat dari sebelumnya.”

Dari developer AI, praktisi ML, hingga ilmuwan data dan rekayasawan; semua kontributor dapat memperoleh manfaat dari kemudahan, skalabilitas, dan ergonomi developer yang disediakan Platform Anyscale untuk perjalanan AI penuh: mulai dari pengembangan model, penyetelan, dan pelatihan hingga inferensi dan penyajian model yang dapat diskalakan.

Misi Anyscale adalah untuk memudahkan pembangunan dan penskalaan beban kerja AI/ML dan Python, serta aplikasi AI. Tim mereka mendemokratisasikan AI dengan mempermudah ilmuwan data dan rekayasawan ML untuk bekerja dengan struktur proyek yang masuk akal guna membangun sistem ML produksi. Komputasi terdistribusi yang dapat diskalakan, terpadu, dan terbuka, seperti yang ditawarkan Anyscale untuk Ray, membantu mengarah pada demokratisasi massa dan industrialisasi AI.

Komitmen Anyscale untuk sumber terbuka dan kebebasan teknologi bersama sudah terbukti: Tim Anyscale memimpin komunitas sumber terbuka Ray dengan mengelola operasi, meninjau kontribusi, serta menumbuhkan dan mengembangkan komunitas. Selain itu, tim Anyscale adalah kontributor terbesar untuk (OSS) dan baru-baru ini merilis Ray 2.1.

Membangun model ML yang matang, andal, dan mudah diskalakan

Dengan adanya 90% aplikasi baru yang diharapkan menjadi cloud-native pada tahun 2025, Anyscale membayangkan cloud sebagai substrat default di mana aplikasi generasi berikutnya akan dikembangkan. Mereka mengharapkan infrastruktur cloud generasi berikutnya akan menjadi kerangka kerja yang dioptimalkan yang memudahkan pengembangan dan manajemen aplikasi.

Anyscale memanfaatkan rangkaian produk AWS yang matang sebagai komponen untuk pengembangan platform mereka yang cepat. Anyscale dan Ray memiliki fitur lengkap di AWS, dengan performa dan penskalaan yang sangat efisien. Selain skala AWS yang menjadi aset luar biasa bagi Anyscale dan Ray, beberapa pelanggan terbesar mereka memiliki sejarah panjang dalam menggunakan AWS dan ini memfasilitasi interaksi pelanggan mereka.

“Inferensi adalah 90% dari setiap proyek ML. Tim machine learning membutuhkan cara baru untuk bekerja dengan komputasi terdistribusi untuk menghadirkan ML generasi berikutnya dalam skala besar,” jelas Rob. “Era keemasan machine learning sedang berlangsung dan AWS dan Anyscale membantu perusahaan untuk membangun model ML seperti yang seharusnya: matang, andal, dan mudah diskalakan.”

Amazon.com dan AWS telah bekerja dengan komunitas Ray untuk mengintegrasikan Ray dengan banyak layanan AWS, termasuk:

• AWS Identity and Access Management (IAM) untuk kontrol akses yang terperinci
• AWS Certificate Manager (ACM) untuk enkripsi bergerak SSL/TLS
• AWS Key Management Service (AWS KMS) untuk enkripsi diam
• Amazon Simple Storage Service (Amazon S3) untuk penyimpanan objek
• Amazon Elastic File System (Amazon EFS) untuk akses file terdistribusi
• Amazon CloudWatch untuk observabilitas

Solusi yang sesuai dengan Siklus Hidup Machine Learning AWS Well-Architected, seperti Platform Anyscale untuk tahap deployment, dapat membantu perusahaan menghabiskan lebih banyak waktu untuk pengembangan produk daripada penyediaan dan pengelolaan sumber daya.

Kerangka Kerja AWS Well-Architected, yang menyediakan praktik terbaik operasional dan arsitektur untuk merancang dan mengoperasikan beban kerja di cloud, mencakup pilar untuk keunggulan operasional, keamanan, keandalan, efisiensi performa, optimisasi biaya, dan keberlanjutan. Dengan platform Anyscale, developer dapat meningkatkan efisiensi performa mereka.

“Anyscale menyederhanakan kode ML Python yang khas dan membantunya masuk ke dalam kerangka kerja hanya dalam dua baris kode,” jelas Rob. “AWS adalah rumah yang luar biasa bagi Anyscale dengan alat-alat terdepan di industri untuk sistem produksi serta opsi komputasi terluas dan terdalam.”