Emerald Cloud Lab は AWS を使用してどのように研究室に革命を起こしているのか

Emerald Cloud Lab、エンジニアリング担当副社長、Ben Smith 氏、および同社、サイエンティフィックコンピューティングエンジニア、Kevin J. Hou 氏によるゲスト投稿

Emerald Cloud Lab (ECL) は、コンピューターとインターネット接続さえあれば、200 種類以上のユニークな科学機器を備えた高度に自動化された研究室へのアクセスを提供します。当社のウェットラボ (写真付きラボベンチ、有害化学物質、ラボコート、安全メガネ) は、バイオテクノロジーに重点を置いた多様な実験機能を備えており、医薬品開発、消費者向け製品、学術研究など、さまざまな企業をサポートしています。

当社のプラットフォームにより、科学者は世界中のどこからでも ウェットラボ実験を設計、実行、分析、および解釈することができます。科学者は、試験管や細胞培養プレートから市販品に至るまで、あらゆるサンプルを ECL に出荷し、ソフトウェアインターフェースを通じて実験プロトコルを設計するだけです。その後、これらの実験は ECL のワークフローで指定されているとおりに実行されます。実験が完了すると、科学者は同じソフトウェアインターフェイスでデータを分析および解釈でき、実験の実行と結果について、適切に構造化され、ナビゲートしやすく、完全な記録が得られます。ECL は、大学、大手製薬会社、スタートアップ企業の科学者に次のような無数のメリットをもたらします。

設備投資の削減 - バイオテクノロジー研究の費用の大部分は、通常、研究室の建設と運営に費やされます。個々の機器の購入と設置には数か月かかることがあり、必要な機器の総費用は1,000 万 USD 以上になることもあります。さらに、消耗品の注文、機器のメンテナンス、適格性評価の実施には継続的な費用がかかります。Emerald Cloud Lab では、1 台の機器を購入するよりも少ない初期費用で、最先端の機器を備えたフルマネージドラボを 1 年間利用できます。これにより、新しく革新的な研究を行いたいスタートアップ企業の参入コストを大幅に削減できます。

効率性 - 実験計画とそれを実行するために必要な操作の両方が非常に複雑なため、科学の進歩が妨げられることがよくあります。今日の多くの科学者は、科学そのもの (仮説の立案、実験の設計、結果の分析など) ではなく、科学のロジスティクスの管理 (材料の注文、機器のセットアップ、機器の稼働を待つなど) に時間の 80% 以上を費やしています。ECL により、科学者は ECL にロジスティクスを任せ、実験が仕様どおりに実施されるという確信を持って、科学に集中することができます。

さらに、Emerald Cloud Lab では、研究室の自動化とテクノロジー主導の運用効率を組み合わせることで、従来の研究室では達成できなかった実験スループットを実現しています。Cloud Lab は 24 時間年中無休で稼働しており、このような規模のメリットを活用することで、運用コストを低く抑えながら科学的な成果を高めることができます。これらすべてにより、科学者が ECL を使用して実行できる実験の数は、従来の研究室と比較して 5〜8 倍に増加しました。

再現性 - 実験結果を再現することは、科学研究の重要な課題のひとつです。再現不可能な結果は通常、機器の信頼性が低い、プロトコルが十分に文書化されていない、データが失われたり不完全だったりすることが原因です。Emerald Cloud Lab では、テクノロジーと緊密に統合することでこれらの問題に対処しています。例えば、精密な化学薬品調製には Robotic liquid handlers を使用し、研究室で行われるすべての操作について、詳細な測定値 (温度、重量、体積など) をデジタルラボノートに記録する統合ソフトウェアを使用しています。この自動化、広範囲にわたるモニタリング、および手順に基づく操作の組み合わせにより、データが失われることはなく、すべてのプロトコルが十分に文書化されます。さらに、実験プロトコルは Symbolic Lab Language (SLL) で抽象化されているため、数行のコードを再実行するのと同じ程簡単に、同じ設定での実験を繰り返すことができます。

AWS が選ばれる理由

Cloud Lab が需要の増加に対応して拡大するにつれ、スケーラブルでオンデマンドなコンピューティングに対するニーズが高まっています。これは、物理的研究室に機器が追加されたことと、シミュレーションや画像解析などの計算量の多い作業を実験のワークフローに統合する顧客主導の研究が増えたことによるものです。サーバーレスでフルマネージドの AWS サービスは、この高まるニーズに対応するのに最適なソリューションでした。これらのサービスに固有のスケーラビリティと従量制料金のコスト構造は、急成長している当社のビジネスに重要な利点をもたらし、増大する計算需要に合わせてシームレスに拡張することができました。

上記のニーズに対応するため、当社は AWS Fargate 上で動作するマイクロサービスベースのアーキテクチャである Manifold を構築しました。これを使用して、Emerald Cloud Lab の内部ユーザーと外部ユーザーの両方にオンデマンドの非同期コンピューティングを提供しています。Manifold を使用すると、ユーザーは研究室の API とデータベースへのフルアクセス、つまり Cloud Lab や実験データへのフルアクセスで、コンテナ化された任意のコードを実行できます。

Manifold は、2021 年 11 月の完全導入以来、在庫チェック、機器適格性評価、実験スケジュールなどの日常的なラボスクリプトの完全デプロイを実現してきました。以前は、オンプレミスにあるコンピューティングリソースでは週に最大 1,000 個のスクリプトを確実に実行することが困難でしたが、AWS ではクラウドで 1 週間あたり 5,000 個のスクリプトまでシームレスにスケールできるようになりました。これにより、研究室の自動化の範囲が広がり、ルーチンタスクをより頻繁に実行でき、エラーも少なくなりました。重要なのは、ルーチンラボのインフラストラクチャを AWS に移行したことで、リモートコンピューティングサービスで 100% のアップタイムを達成できるようになったことです。これにより、停電や研究室のシャットダウンなど、予測できない事態が発生しても、計算アーキテクチャが機能し続けることができるようになりました。

Manifold アーキテクチャ

Manifold はユーザーが計算ジョブを定義できる API と、それらのジョブをスケジュールして実行するバックエンド AWS コンポーネントで高レベルに構成されています。ユーザーはデスクトップアプリやブラウザアプリを通じてこのサービスとやり取りし、そこから (Symbolic Lab 言語で) API コールを行い、ジョブ定義を社内データベースである Constellation にアップロードします。これらのジョブのアップロードを他のコンポーネントに接続するために、Amazon Kinesis を使用して Constellation からサーバーレスアーキテクチャの残りの部分に変更をストリーミングしました。

Amazon DynamoDB は、AWS Lambda 関数の内部の状態を保存するために使用されます。

次に、データベースの変更のストリームを処理する軽量でスケーラブルな方法として AWS Lambda 関数を使用します。これらの Lambda 関数は、内部の状態を保存するための DynamoDB テーブルと組み合わせてリソースをプロビジョニングし、ジョブをスケジュールするために使用されます。次に、Lambda 関数は SQS キューを使用してコンピューティングジョブをコンピューティングサービスの Fargate に渡します。Fargate は Manifold アーキテクチャの要です。さまざまな構成やアクセス許可を持つコンテナを素早く簡単にデプロイできることは、お客様と社内開発者の双方の多様な計算ニーズを満たす上で非常に重要でした。

上記のデータベース主導型アーキテクチャでは、オンデマンドの非同期計算が可能になるだけでなく、スケジュールされた時間に、またはデータベース内の他の変更に応じてジョブを実行することもできます。社内では、Manifold サービスを使用して、ユニットテスト、センサーチェック、メンテナンススクリプトなどの日常的なジョブを実行しています。また、これと同じインフラストラクチャを使用して、シミュレーションやビデオ分析などの長期にわたる分析を、実験データに完全にアクセスして統合できる管理対象リソースに送信できるサービスをお客様に提供しています。

課題

Manifold をデプロイするにあたり、サービスに送信されるジョブの負荷や性質が多様であることから生じるいくつかの課題を克服する必要がありました。幸い、AWS はこれらの問題に対処するための重要なツールを提供してくれました。

Cloud Lab では、ジョブがまとめて送信されることがよくあります。例えば、長い実験プロトコルが完了した後、新しく生成された実験データを処理するために多数のジョブが送信されることがあります。AWS Fargate を使用すれば、こうした変動する需要に合わせてコンピューティングを簡単にスケールアップおよびスケールダウンできます。より広義には、AWS CloudTrail や Amazon CloudWatch などの AWS のモニタリングおよび管理ツールを活用してレート制限を実装しています。これにより、使用がスムーズになり、ユーザーごとにジョブ送信の制限と優先順位を設定できます。

最初のテストデプロイ後、Manifold に堅牢なロギングを組み込むことが成功に不可欠であると判断しました。最適なユーザーエクスペリエンスを提供するために、ユーザーがマニフォールドのジョブをモニタリングおよび管理するためのツールを作成することを目指しました。そのために、ロギング情報、ステータス更新、潜在的なエラーを Fargate から Constellation データベースに直接選択的にアップロードするインフラストラクチャをセットアップしました。これにより、ジョブのステータス、進行状況、使用制限のほか、ユーザーが送信した計算をデバッグするためのエラーコードとトレースを表示する精選されたダッシュボードをユーザーに提供できるようになりました。

まとめ

AWS のおかげで、研究室の運用をサポートし、お客様に計算サービスを提供する、リモートコンピューティングの統合サービスである Manifold を構築することができました。Emerald Cloud Lab でのクラウドコンピューティングへの移行は明らかであり、避けられないものでした。AWS がコンピューティングに革命をもたらしたのと同様に、ECL は多くの点で従来の研究室に革命をもたらしています。AWS サービスの使いやすさ、信頼性、および固有のスケーラビリティは、当社のクラウドラボモデルを当然補完するものであり、既存のお客様に優れたサービスを提供できるようになりました。さらに、Manifold は将来の成長の主要な触媒となり、画期的な科学研究を行うお客様からの高まるコンピューティング需要に応え、ECL 施設の規模と数が拡大する当社の業務をサポートすることができができます。