Bagaimana Emerald Cloud Lab Merevolusi Laboratorium Menggunakan AWS

Posting tamu oleh Ben Smith, VP of Engineering dan Kevin J. Hou, Scientific Computing Engineer, Emerald Cloud Lab

Emerald Cloud Lab (ECL) menyediakan akses ke laboratorium yang sangat otomatis, dilengkapi dengan lebih dari 200 instrumen ilmiah unik, untuk setiap ilmuwan yang memiliki komputer dan koneksi internet. Laboratorium basah kami–meja lab gambar, bahan kimia berbahaya, jas lab, dan kacamata pengaman–memiliki kemampuan eksperimental yang beragam dengan penekanan pada bioteknologi, serta mendukung berbagai korporasi termasuk pengembangan obat, produk konsumen, dan penelitian akademis.

Platform kami memungkinkan para ilmuwan untuk merancang, melaksanakan, menganalisis, dan menginterpretasikan eksperimen laboratorium basah mereka dari mana saja di seluruh dunia. Para ilmuwan cukup mengirimkan sampel mereka–apa pun mulai dari tabung reaksi dan pelat kultur sel hingga produk komersial–ke ECL serta merancang protokol eksperimental melalui antarmuka perangkat lunak. Eksperimen ini kemudian dijalankan persis seperti yang ditentukan dalam alur kerja ECL. Setelah eksperimen selesai, para ilmuwan dapat menganalisis dan menginterpretasikan data mereka dalam antarmuka perangkat lunak yang sama dan diakhiri dengan catatan pelaksanaan serta hasil eksperimental yang terstruktur dengan baik, mudah dinavigasi, dan lengkap. ECL menawarkan banyak sekali manfaat bagi para ilmuwan di universitas, perusahaan farmasi besar, dan perusahaan rintisan, seperti:

Pengurangan Pengeluaran Modal – Sebagian besar biaya penelitian bioteknologi biasanya terletak pada pembangunan dan pengoperasian laboratorium. Pembelian dan pemasangan masing-masing instrumen bisa memakan waktu berbulan-bulan, dan total biaya peralatan yang diperlukan bisa mencapai lebih dari 10 juta USD. Selain itu, masih ada biaya berkelanjutan terkait pemesanan bahan habis pakai, pemeliharaan instrumen, serta kualifikasi pelaksanaan. Emerald Cloud Lab menawarkan akses selama satu tahun ke laboratorium terkelola penuh yang dilengkapi dengan instrumentasi mutakhir seharga kurang dari biaya di muka untuk satu instrumen. Hal ini secara signifikan menurunkan biaya entri bagi perusahaan rintisan yang ingin melakukan penelitian baru dan inovatif.

Efisiensi – Perkembangan ilmiah sering kali terhambat oleh kompleksitas desain eksperimental dan operasi yang diperlukan untuk menjalankannya. Saat ini, banyak ilmuwan menghabiskan 80% atau lebih waktu mereka untuk mengelola logistik sains (memesan bahan, mengatur instrumen, menunggu instrumen berjalan, dll.) alih-alih untuk sains itu sendiri (membentuk hipotesis, merancang eksperimen, menganalisis hasil, dll.). ECL memungkinkan para ilmuwan untuk fokus pada sains, menyerahkan logistik kepada ECL, dengan keyakinan bahwa eksperimen mereka akan dilakukan persis seperti yang ditentukan.

Selain itu, Emerald Cloud Lab menggunakan kombinasi otomatisasi laboratorium dan efisiensi operasional yang didorong teknologi untuk memberikan throughput eksperimental yang tidak dapat dicapai di laboratorium tradisional. Laboratorium cloud beroperasi selama 24/7, serta dengan memanfaatkan skala ekonomis ini, dapat meningkatkan hasil ilmiah sekaligus mempertahankan biaya pengoperasian yang rendah. Semua ini terwujud dalam peningkatan jumlah eksperimen sebanyak 5-8x lipat yang dapat dilakukan oleh seorang ilmuwan dengan menggunakan ECL dibandingkan dengan laboratorium tradisional.

Reproduksibilitas – Mereproduksi hasil eksperimental merupakan salah satu tantangan utama dalam penelitian ilmiah. Hasil yang tidak dapat direproduksi biasanya disebabkan oleh instrumentasi yang tidak dapat diandalkan, protokol yang tidak terdokumentasi dengan baik, dan data yang hilang atau tidak lengkap. Emerald Cloud Lab mengatasi masalah ini menggunakan integrasi yang kuat dengan teknologi. Misalnya, kami menggunakan robotic liquid handler untuk persiapan bahan kimia yang tepat, dan perangkat lunak terintegrasi untuk memastikan pengukuran detail (misalnya suhu, berat, volume) dicatat ke dalam buku catatan laboratorium digital untuk setiap operasi yang dilakukan di laboratorium. Kombinasi otomatisasi, pemantauan ekstensif, serta operasi prosedural ini memastikan tidak ada data yang hilang dan semua protokol terdokumentasi dengan baik. Selanjutnya, protokol eksperimental diabstraksikan dalam Symbolic Lab Language (SLL) kami, untuk memastikan bahwa pengulangan eksperimen dengan pengaturan yang sama itu sesederhana menjalankan ulang beberapa baris kode.

Mengapa AWS?

Seiring dengan berkembangnya laboratorium cloud kami untuk memenuhi permintaan yang terus meningkat, kami menghadapi kebutuhan yang semakin meningkat untuk komputasi yang dapat diskalakan dan sesuai permintaan. Hal ini didorong oleh penambahan instrumen pada laboratorium fisik dan peningkatan penelitian yang didorong pelanggan, tempat pekerjaan intensif komputasi seperti simulasi serta analisis gambar telah diintegrasikan ke dalam alur kerja eksperimental. Layanan AWS nirserver terkelola penuh merupakan solusi yang sempurna untuk mengatasi kebutuhan yang terus meningkat ini. Skalabilitas yang melekat dan struktur biaya bayar per penggunaan dari layanan ini memberikan keuntungan utama bagi bisnis kami yang berkembang pesat, dan memungkinkan kami untuk berkembang tanpa hambatan untuk memenuhi permintaan komputasional yang terus meningkat.

Untuk memenuhi kebutuhan yang dijelaskan di atas, kami membangun Manifold, arsitektur berbasis layanan mikro yang berjalan di AWS Fargate, yang kami gunakan untuk menyediakan komputasi asinkron sesuai permintaan bagi pengguna internal dan eksternal Emerald Cloud Lab. Manifold memungkinkan pengguna untuk menjalankan kode arbitrer dalam kontainer dengan akses penuh ke API dan basis data laboratorium kami, yaitu dengan akses penuh ke laboratorium cloud serta data eksperimental.

Sejak deployment penuh pada bulan November 2021, Manifold telah mengaktifkan otomatisasi penuh skrip lab rutin, seperti pemeriksaan inventaris, kualifikasi instrumen, dan penjadwalan eksperimen. Jika sebelumnya kami mengalami kesulitan untuk menjalankan ~1.000 skrip/minggu secara andal dengan sumber daya komputasi yang kami miliki di on-premise, AWS telah memungkinkan kami untuk menskalakan hingga ~5.000 skrip/minggu di cloud tanpa hambatan. Hal ini telah memperluas cakupan otomatisasi di lab, yang memungkinkan tugas rutin berjalan lebih sering dengan lebih sedikit kesalahan. Yang penting, migrasi infrastruktur lab rutin kami ke AWS juga memungkinkan kami mencapai waktu aktif 100% pada layanan komputasi jarak jauh, yang memungkinkan arsitektur komputasional kami dapat tetap berfungsi meskipun terjadi peristiwa tak terduga seperti pemadaman listrik dan penutupan lab.

Arsitektur Manifold

Pada tingkat tinggi, Manifold terdiri dari API yang memungkinkan pengguna menentukan tugas komputasi, dan komponen AWS backend yang menjadwalkan dan menjalankan tugas-tugas ini. Pengguna kami berinteraksi dengan layanan ini melalui aplikasi desktop serta peramban, tempat mereka melakukan panggilan API (dalam Symbolic Lab Language) untuk mengunggah definisi tugas ke basis data internal kami, Constellation. Untuk menghubungkan unggahan tugas ini ke komponen kami yang lain, kami menggunakan Amazon Kinesis untuk mengalirkan perubahan dari Constellation ke arsitektur nirserver kami yang lain.

Amazon DynamoDB digunakan untuk menyimpan status internal untuk fungsi AWS Lambda.

Selanjutnya, kami menggunakan fungsi AWS Lambda sebagai metode yang ringan dan dapat diskalakan untuk memproses aliran perubahan basis data. Fungsi lambda ini, bersama dengan tabel DynamoDB untuk menyimpan status internal, yang digunakan untuk menyediakan sumber daya dan menjadwalkan tugas. Fungsi lambda kemudian meneruskan tugas komputasi ke layanan komputasi kami, Fargate, menggunakan antrean SQS. Fargate adalah kunci utama dari arsitektur Manifold–kemudahan dalam melakukan deployment kontainer secara cepat dengan berbagai konfigurasi serta izin sangat penting untuk memenuhi kebutuhan komputasional yang beragam, baik bagi pelanggan maupun developer internal kami.

Arsitektur yang didorong basis data yang dijelaskan di atas tidak hanya memungkinkan komputasi asinkron sesuai permintaan, tetapi juga memungkinkan tugas berjalan pada waktu yang dijadwalkan atau sebagai respons terhadap perubahan lain dalam basis data. Secara internal, kami menggunakan layanan Manifold untuk menjalankan tugas rutin, seperti pengujian unit, pemeriksaan sensor, dan skrip pemeliharaan. Infrastruktur yang sama ini juga digunakan untuk menyediakan layanan kepada pelanggan tempat mereka dapat mengirimkan analisis jangka panjang seperti simulasi dan analisis video ke sumber daya terkelola, dengan akses penuh serta integrasi dengan data eksperimental.

Tantangan

Melakukan deployment Manifold mengharuskan kami untuk mengatasi beberapa tantangan yang timbul dari beban variabel dan beragam tugas yang dikirimkan ke layanan ini. Untungnya, AWS memberi kami alat penting untuk mengatasi masalah ini.

Di laboratorium cloud, tugas sering kali dikirimkan dalam lonjakan–misalnya, setelah penyelesaian protokol eksperimental yang panjang, sejumlah besar tugas dapat dikirimkan untuk memproses data eksperimental yang baru dihasilkan. AWS Fargate memungkinkan kami menaikkan dan menurunkan skala komputasi dengan mudah untuk memenuhi permintaan yang berfluktuasi ini. Lebih luas lagi, kami juga memanfaatkan alat pemantauan dan manajemen di AWS, seperti AWS CloudTrail serta Amazon CloudWatch, untuk mengimplementasikan pembatasan laju, yang memperlancar penggunaan dan memungkinkan kami untuk mengatur batas dan prioritas pada pengiriman tugas per pengguna.

Setelah deployment pengujian awal, kami memutuskan bahwa membangun pencatatan yang tangguh ke Manifold akan sangat penting bagi keberhasilannya. Untuk memberikan pengalaman pengguna yang optimal, kami berusaha menciptakan alat bagi pengguna untuk memantau dan mengelola tugas Manifold mereka. Untuk mencapai hal ini, kami mengatur infrastruktur untuk secara selektif mengunggah informasi pencatatan, pembaruan status, serta potensi kesalahan dari Fargate langsung ke basis data Constellation kami. Hal ini memungkinkan kami untuk menyediakan dasbor yang dikurasi kepada pengguna yang menunjukkan status tugas, kemajuan, batas penggunaan, serta kode kesalahan dan jejak untuk debugging komputasi yang dikirimkan pengguna.

Kesimpulan

AWS telah memungkinkan kami untuk membangun Manifold, layanan terpadu untuk komputasi jarak jauh yang mendukung operasi laboratorium dan menyediakan layanan komputasional bagi pelanggan kami. Pergerakan menuju komputasi cloud di Emerald Cloud Lab sudah jelas dan tak terelakkan. Dalam banyak hal, ECL merevolusi laboratorium tradisional secara analog dengan cara AWS merevolusi komputasi. Kemudahan penggunaan, keandalan, dan skalabilitas yang melekat pada layanan AWS telah menjadi pelengkap alami bagi model laboratorium cloud kami sehingga kami dapat memberikan layanan yang luar biasa kepada pelanggan kami saat ini. Selain itu, Manifold akan menjadi katalisator utama untuk pertumbuhan pada masa mendatang, memungkinkan kami untuk memenuhi permintaan komputasi yang terus meningkat dari para pelanggan yang melakukan penelitian ilmiah yang inovatif, dan untuk mendukung operasi kami seiring dengan bertambahnya ukuran dan jumlah fasilitas ECL.