So revolutioniert Emerald Cloud Lab mithilfe von AWS das Labor

Gastbeitrag von Ben Smith, VP of Engineering, und Kevin J. Hou, Scientific Computing Engineer, Emerald Cloud Lab

Emerald Cloud Lab (ECL) bietet jedem Wissenschaftler mit Computer und Internetverbindung Zugang zu einem hochautomatisierten Labor, das mit über 200 einzigartigen wissenschaftlichen Instrumenten ausgestattet ist. Unser Nasslabor – Labortische, gefährliche Chemikalien, Laborkittel und Schutzbrillen – verfügt über vielfältige experimentelle Möglichkeiten mit Schwerpunkt Biotechnologie und unterstützt eine Vielzahl von Unternehmen, darunter Arzneimittelentwicklung, Konsumgüter und akademische Forschung.

Unsere Plattform ermöglicht es Wissenschaftlern, ihre Nasslabor-Experimente von überall auf der Welt aus zu entwerfen, durchzuführen, zu analysieren und zu interpretieren. Wissenschaftler schicken einfach ihre Proben – von Reagenzgläsern und Zellkulturplatten bis hin zu kommerziellen Produkten – an die ECL und entwerfen experimentelle Protokolle über eine Softwareschnittstelle. Diese Experimente werden dann genau so ausgeführt, wie es in den ECL-Workflows angegeben ist. Sobald die Experimente abgeschlossen sind, können Wissenschaftler ihre Daten in derselben Softwareschnittstelle analysieren und interpretieren und erhalten am Ende eine gut strukturierte, leicht zu navigierende und vollständige Aufzeichnung der Versuchsdurchführung und der Ergebnisse. Das ECL bietet eine Vielzahl von Vorteilen für Wissenschaftler an Universitäten, großen Pharmaunternehmen und Startups, wie zum Beispiel:

Geringere Investitionsausgaben – Der Großteil der Kosten der Biotech-Forschung entfällt in der Regel auf den Bau und Betrieb eines Labors. Die Anschaffung und Installation einzelner Geräte kann Monate dauern, und die Gesamtkosten der erforderlichen Ausrüstung können bis zu 10 Millionen USD betragen. Darüber hinaus fallen laufende Kosten im Zusammenhang mit der Bestellung von Verbrauchsmaterialien, der Wartung von Geräten und der Durchführung von Qualifizierungen an. Das Emerald Cloud Lab bietet ein Jahr lang Zugang zu einem vollständig verwalteten Labor mit hochmodernen Geräten für weniger als die Anschaffungskosten eines einzelnen Geräts. Dies senkt die Einstiegskosten für Startups, die neue und innovative Forschungsarbeiten durchführen möchten, erheblich.

Effizienz – Wissenschaftlicher Fortschritt wird häufig durch die schiere Komplexität sowohl der Versuchsplanung als auch der zu ihrer Durchführung erforderlichen Abläufe behindert. Viele Wissenschaftler verbringen heute 80 % oder mehr ihrer Zeit damit, die Logistik der Wissenschaft zu verwalten (Materialien bestellen, Geräte aufbauen, darauf warten, dass Geräte laufen usw.), anstatt sich mit der Wissenschaft selbst zu befassen (Hypothesen aufstellen, Experimente entwerfen, Ergebnisse analysieren usw.). Das ECL ermöglicht es Wissenschaftlern, sich auf die Wissenschaft zu konzentrieren und die Logistik dem ECL zu überlassen, mit der Gewissheit, dass ihre Experimente genau wie angegeben durchgeführt werden.

Darüber hinaus nutzt das Emerald Cloud Lab eine Kombination aus Laborautomatisierung und technologieorientierter Betriebseffizienz, um einen experimentellen Durchsatz zu erzielen, der in einem herkömmlichen Labor unerreichbar ist. Das Cloud-Labor ist rund um die Uhr in Betrieb und verbessert durch die Nutzung dieser Skaleneffekte die wissenschaftliche Leistung bei gleichzeitig niedrigen Betriebskosten. All dies hat dazu geführt, dass die Anzahl der Experimente, die ein Wissenschaftler mit dem ECL durchführen kann, im Vergleich zu einem herkömmlichen Labor um das 5- bis 8-fache gestiegen ist.

Reproduzierbarkeit – Die Reproduktion experimenteller Ergebnisse ist eine der wichtigsten Herausforderungen der wissenschaftlichen Forschung. Nicht reproduzierbare Ergebnisse werden in der Regel durch unzuverlässige Geräte, unzureichend dokumentierte Protokolle und verlorene oder unvollständige Daten verursacht. Das Emerald Cloud Lab geht diese Probleme mithilfe einer starken Integration mit Technologie an. Zum Beispiel verwenden wir Pipettierroboter für die präzise chemische Zubereitung und integrierte Software, um sicherzustellen, dass detaillierte Messungen (z. B. Temperatur, Gewicht, Volumen) für jeden im Labor durchgeführten Vorgang in digitalen Labornotizbüchern aufgezeichnet werden. Diese Kombination aus Automatisierung, umfassender Überwachung und verfahrenstechnischen Abläufen stellt sicher, dass keine Daten verloren gehen und alle Protokolle gut dokumentiert sind. Darüber hinaus werden experimentelle Protokolle in unserer Symbolic Lab Language (SLL) abstrahiert, wodurch sichergestellt wird, dass die Wiederholung eines Experiments mit identischen Einstellungen so einfach ist wie das erneute Ausführen einiger Codezeilen.

Warum AWS?

Mit der Erweiterung unseres Cloud-Labors, (um der wachsenden Nachfrage gerecht zu werden), sahen wir uns mit einem wachsenden Bedarf an skalierbarem On-Demand-Computing konfrontiert. Dies ist auf die Erweiterung des Labors um weitere Geräte und auf eine Zunahme der kundenorientierten Forschung zurückzuführen, bei der datenverarbeitungsintensive Arbeiten wie Simulationen und Bildanalysen in experimentelle Workflows integriert wurden. Serverless-, vollständig verwaltete AWS-Services waren die perfekte Lösung, um diesem wachsenden Bedarf gerecht zu werden. Die inhärente Skalierbarkeit und nutzungsabhängige Kostenstruktur dieser Services bieten entscheidende Vorteile für unser schnell wachsendes Unternehmen und haben es uns ermöglicht, nahtlos zu expandieren, um den wachsenden Datenverarbeitungsanforderungen gerecht zu werden.

Um den oben beschriebenen Anforderungen gerecht zu werden, haben wir Manifold entwickelt, eine auf Microservices basierende Architektur, die in AWS Fargate läuft und die wir verwenden, um asynchrones On-Demand-Computing für interne und externe Benutzer des Emerald Cloud Lab bereitzustellen. Manifold ermöglicht es Benutzern, beliebigen, containerisierten Code mit vollem Zugriff auf unsere Labor-APIs und Datenbanken auszuführen, d. h. mit vollem Zugriff auf das Cloud-Labor und die experimentellen Daten.

Seit seiner vollständigen Bereitstellung im November 2021 ermöglicht Manifold die vollständige Automatisierung von routinemäßigen Laborskripten wie Inventarprüfungen, Gerätequalifizierungen und Versuchsplanung. Während wir zuvor Schwierigkeiten hatten, zuverlässig ~1 000 Skripte/Woche mit Datenverarbeitungsressourcen auszuführen, die wir vor Ort hatten, ermöglichte uns AWS eine nahtlose Skalierung auf ~5 000 Skripte/Woche in der Cloud. Dadurch wurde der Automatisierungsumfang im Labor erweitert, sodass Routineaufgaben häufiger und mit weniger Fehlern ausgeführt werden können. Die Migration unserer routinemäßigen Laborinfrastruktur zu AWS hat es uns außerdem ermöglicht, eine 100-prozentige Verfügbarkeit unserer Remote-Computing-Services zu erreichen, sodass unsere Datenverarbeitungsarchitektur auch bei unvorhersehbaren Ereignissen wie Stromausfällen und Laborabschaltungen funktionsfähig bleibt.

Manifold-Architektur

Auf einer höheren Ebene besteht Manifold aus einer API, die es Benutzern ermöglicht, Datenverarbeitungsaufträge zu definieren, und Backend-AWS-Komponenten, die diese Aufträge planen und ausführen. Unsere Benutzer interagieren mit dem Service über Desktop- und Browser-Apps, von denen aus sie API-Aufrufe (in der Symbolic Lab Language) tätigen, um Auftragsdefinitionen in unsere interne Datenbank (Constellation) hochzuladen. Um diese Uploads der Aufträge mit den übrigen Komponenten zu verbinden, haben wir Amazon Kinesis verwendet, um Änderungen von Constellation auf den Rest unserer Serverless-Architektur zu streamen.

Amazon DynamoDB wird verwendet, um den internen Status der AWS-Lambda-Funktionen zu speichern.

Als Nächstes verwenden wir AWS-Lambda-Funktionen als einfache, skalierbare Methode, um den Strom von Datenbankänderungen zu verarbeiten. Diese Lambda-Funktionen werden in Verbindung mit DynamoDB-Tabellen zum Speichern des internen Zustands verwendet, um Ressourcen bereitzustellen und Aufträge zu planen. Die Lambda-Funktionen übergeben dann Datenverarbeitungsaufträge mithilfe einer SQS-Warteschlange an unseren Datenverarbeitungsservice Fargate. Fargate ist der Grundpfeiler der Manifold-Architektur – die einfache schnelle Bereitstellung von Containern mit unterschiedlichen Konfigurationen und Berechtigungen war entscheidend, um die unterschiedlichen Datenverarbeitungsanforderungen sowohl unserer Kunden als auch unserer internen Entwickler zu erfüllen.

Die oben beschriebene datenbankgestützte Architektur ermöglicht nicht nur asynchrone Berechnungen auf Abruf, sondern ermöglicht auch die Ausführung von Aufträgen zu geplanten Zeiten oder als Reaktion auf andere Änderungen in der Datenbank. Intern verwenden wir den Manifold-Service, um Routineaufgaben wie Komponententests, Sensorprüfungen und Wartungsskripte auszuführen. Dieselbe Infrastruktur wird auch verwendet, um Kunden einen Service anzubieten, bei dem sie langfristige Analysen wie Simulationen und Videoanalysen an verwaltete Ressourcen senden können, wobei der Zugriff auf experimentelle Daten und deren Integration vollständig gewährleistet ist.

Herausforderungen

Der Einsatz von Manifold erforderte, dass wir mehrere Herausforderungen bewältigen mussten, die sich aus der variablen Belastung und der Vielfalt der für den Service eingereichten Aufträge ergaben. Zum Glück hat uns AWS wichtige Tools zur Lösung dieser Probleme zur Verfügung gestellt.

Im Cloud-Labor werden Aufträge oft in Schüben eingereicht – zum Beispiel kann nach Abschluss eines langen Versuchsprotokolls eine große Anzahl von Aufträgen eingereicht werden, um die neu generierten Versuchsdaten zu verarbeiten. Mit AWS Fargate können wir die Datenverarbeitungsleistung mühelos hoch- und herunterskalieren, um diesen schwankenden Anforderungen gerecht zu werden. Allgemeiner gesagt haben wir auch die Überwachungs- und Verwaltungstools in AWS wie AWS CloudTrail und Amazon CloudWatch genutzt, um eine Ratenbegrenzung zu implementieren, die die Nutzung vereinfacht und es uns ermöglicht, EInschränkungen und Prioritäten für die Einreichung von Aufträgen pro Benutzer festzulegen.

Nach unseren ersten Testbereitstellungen stellten wir fest, dass der Aufbau einer robusten Protokollierung in Manifold für den Erfolg entscheidend sein würde. Um ein optimales Benutzererlebnis zu bieten, wollten wir Tools entwickeln, mit denen Benutzer ihre Manifold-Aufträge überwachen und verwalten können. Um dies zu erreichen, haben wir eine Infrastruktur eingerichtet, um Protokollinformationen, Statusaktualisierungen und potenzielle Fehler selektiv von Fargate direkt in unsere Constellation-Datenbank hochzuladen. Auf diese Weise konnten wir Benutzern kuratierte Dashboards zur Verfügung stellen, in denen Auftragsstatus, Fortschritt, Nutzungsbeschränkungen sowie Fehlercodes und Nachverfolgungen für das Debuggen von Berechnungen angezeigt werden, die von Benutzern übermittelt wurden.

Fazit

AWS hat es uns ermöglicht, Manifold zu entwickeln, einen einheitlichen Service für Remote-Computing, der den Laborbetrieb unterstützt und Rechen-Services für unsere Kunden bereitstellt. Die Umstellung auf Cloud-Computing im Emerald Cloud Lab war offensichtlich und unvermeidlich – in vielerlei Hinsicht revolutioniert das ECL das traditionelle Labor, ähnlich wie AWS das Computing revolutioniert hat. Die Benutzerfreundlichkeit, Zuverlässigkeit und inhärente Skalierbarkeit der AWS-Services war eine natürliche Ergänzung zu unserem Cloud-Lab-Modell und ermöglichte es uns, unseren aktuellen Kunden einen außergewöhnlichen Service zu bieten. Darüber hinaus wird Manifold ein wichtiger Katalysator für zukünftiges Wachstum sein, der es uns ermöglicht, die wachsende Computernachfrage von Kunden zu befriedigen, die bahnbrechende wissenschaftliche Forschung betreiben, und unseren Betrieb zu unterstützen, wenn wir die Größe und Anzahl der ECL-Einrichtungen erhöhen.