In che modo Emerald Cloud Lab sta rivoluzionando il laboratorio utilizzando AWS

Articolo ospite di Ben Smith, VP of Engineering e Kevin J. Hou, Scientific Computing Engineer presso Emerald Cloud Lab

Emerald Cloud Lab (ECL) fornisce l'accesso a un laboratorio altamente automatizzato, dotato di oltre 200 strumenti scientifici unici, a qualsiasi scienziato dotato di computer e connessione Internet. Il nostro wet lab (banchi da laboratorio per immagini, sostanze chimiche pericolose, camici da laboratorio e occhiali di sicurezza) ha diverse capacità sperimentali con particolare attenzione alle biotecnologie, e supporta una varietà di imprese, tra cui lo sviluppo di farmaci, i prodotti di consumo e la ricerca accademica.

La nostra piattaforma consente agli scienziati di progettare, eseguire, analizzare e interpretare i loro esperimenti in wet-lab da qualsiasi parte del mondo. Gli scienziati spediscono semplicemente i loro campioni, da provette e piastre per colture cellulari a prodotti commerciali, all'ECL e progettano protocolli sperimentali tramite un'interfaccia software. Questi esperimenti vengono quindi eseguiti esattamente come specificato nei flussi di lavoro ECL. Una volta completati gli esperimenti, gli scienziati possono analizzare e interpretare i propri dati nella stessa interfaccia software e ottenere una registrazione ben strutturata, facilmente navigabile e completa dell'esecuzione e dei risultati sperimentali. L'ECL offre moltissimi vantaggi per gli scienziati delle università, delle grandi aziende farmaceutiche e delle startup, come:

Spese in conto capitale ridotte: la maggior parte del costo della ricerca biotecnologica consiste in genere nella costruzione e nella gestione di un laboratorio. L'acquisto e l'installazione dei singoli strumenti possono richiedere mesi e il costo totale delle apparecchiature necessarie può superare i 10 milioni di dollari. Inoltre, ci sono costi continui associati all'ordinazione dei materiali di consumo, alla manutenzione degli strumenti e all'esecuzione delle qualifiche. L'Emerald Cloud Lab offre un anno di accesso a un laboratorio completamente gestito con strumentazione all'avanguardia a un costo inferiore al costo iniziale di un singolo strumento. Ciò riduce notevolmente il costo di accesso per le startup che desiderano condurre ricerche nuove e innovative.

Efficienza: il progresso scientifico è spesso ostacolato dalla pura complessità della progettazione sperimentale e delle operazioni necessarie per eseguirla. Molti scienziati oggi dedicano l'80% o più del loro tempo a gestire la logistica della scienza (ordinare materiali, impostare gli strumenti, aspettare che gli strumenti eseguano i processi, ecc.) anziché la scienza stessa (formulare ipotesi, progettare esperimenti, analizzare i risultati, ecc.). L'ECL consente agli scienziati di concentrarsi sulla scienza, occupandosi della logistica e garantendo che gli esperimenti vengano eseguiti esattamente come specificato.

Inoltre, l'Emerald Cloud Lab utilizza una combinazione di automazione di laboratorio ed efficienza operativa basata sulla tecnologia per fornire un throughput sperimentale irraggiungibile in un laboratorio tradizionale. Il laboratorio cloud opera 24 ore su 24, 7 giorni su 7 e, sfruttando queste economie di scala, migliora la produzione scientifica preservando al contempo bassi costi operativi. Tutto ciò si è tradotto in un aumento di 5-8 volte del numero di esperimenti che uno scienziato può eseguire utilizzando l'ECL rispetto a un laboratorio tradizionale.

Riproducibilità: la riproduzione dei risultati sperimentali è una delle sfide tipiche della ricerca scientifica. I risultati non riproducibili sono in genere causati da strumentazione inaffidabile, protocolli non sufficientemente documentati e dati persi o incompleti. L'Emerald Cloud Lab risolve questi problemi utilizzando una forte integrazione con la tecnologia. Ad esempio, utilizziamo dei manipolatori robotici di liquidi per una preparazione chimica precisa e software integrato per garantire che le misurazioni dettagliate (ad esempio temperatura, peso, volume) vengano registrate su quaderni di laboratorio digitali per ogni operazione eseguita in laboratorio. Questa combinazione di automazione, monitoraggio esteso e operazioni procedurali garantisce che non vengano persi dati e che tutti i protocolli siano ben documentati. Inoltre, i protocolli sperimentali sono astratti nel nostro Symbolic Lab Language (SLL), assicurando che la ripetizione di un esperimento con impostazioni identiche sia semplice quanto la riesecuzione di alcune righe di codice.

Perché AWS?

Con l'espansione del nostro laboratorio cloud per soddisfare la crescente domanda, abbiamo dovuto far fronte a una crescente necessità di calcolo scalabile e on-demand. Ciò è stato determinato dall'aggiunta di strumenti al laboratorio fisico e da un aumento della ricerca orientata al cliente, in cui lavori ad alta intensità di calcolo come simulazioni e analisi delle immagini sono stati integrati nei flussi di lavoro sperimentali. I servizi AWS serverless e completamente gestiti erano la soluzione perfetta per rispondere a questa crescente esigenza. La scalabilità intrinseca e la struttura dei costi basata sul pagamento in base all'utilizzo di questi servizi offrono vantaggi chiave per la nostra azienda in rapida crescita e ci hanno consentito di espanderci senza problemi per soddisfare le crescenti esigenze di calcolo.

Per soddisfare le esigenze sopra descritte, abbiamo creato Manifold, un'architettura basata su microservizi eseguita su AWS Fargate, che utilizziamo per fornire un'elaborazione asincrona on-demand per utenti interni ed esterni di Emerald Cloud Lab. Manifold consente agli utenti di eseguire un codice arbitrario e containerizzato con accesso completo alle API e al database del nostro laboratorio, ovvero con pieno accesso al laboratorio cloud e ai dati sperimentali.

Dalla sua completa implementazione nel novembre 2021, Manifold ha permesso la completa automazione degli script di laboratorio di routine, come i controlli dell'inventario, le qualifiche degli strumenti e la programmazione degli esperimenti. Mentre prima avevamo difficoltà a eseguire in modo affidabile circa 1.000 script a settimana con le risorse di calcolo che avevamo on-premises, AWS ci ha permesso di passare senza problemi a circa 5.000 script a settimana nel cloud. Questo ha ampliato la portata dell'automazione in laboratorio, consentendo di eseguire le attività di routine più frequentemente e con meno errori. E soprattutto, la migrazione dell'infrastruttura di routine del laboratorio su AWS ci ha permesso di ottenere un tempo di attività del 100% sui nostri servizi di calcolo remoti, consentendo alla nostra architettura di calcolo di rimanere funzionale anche in caso di eventi imprevedibili come interruzioni di corrente e arresti del laboratorio.

Architettura multiforme

In linea di massima, Manifold è costituito da un'API che consente agli utenti di definire lavori di calcolo e componenti AWS di backend che pianificano ed eseguono questi lavori. I nostri utenti interagiscono con il servizio tramite app desktop e browser, dalle quali effettuano chiamate API (nel Symbolic Lab Language) per caricare le definizioni dei lavori nel nostro database interno, Constellation. Per collegare questi caricamenti di lavoro al resto dei nostri componenti, abbiamo utilizzato Amazon Kinesis per trasmettere le modifiche da Constellation al resto della nostra architettura serverless.

Utilizziamo Amazon DynamoDB per memorizzare lo stato interno delle funzioni AWS Lambda.

Successivamente, utilizziamo le funzioni AWS Lambda come metodo agile e scalabile per elaborare il flusso di modifiche al database. Queste funzioni Lambda, insieme alle tabelle DynamoDB per l'archiviazione interna, vengono utilizzate per fornire risorse e pianificare i lavori. Le funzioni Lambda passano quindi i lavori di calcolo al nostro servizio di calcolo, Fargate, utilizzando una coda SQS. Fargate è la chiave di volta dell'architettura Manifold: la facilità di implementazione rapida di container con configurazioni e autorizzazioni diverse è stata fondamentale per soddisfare le diverse esigenze di calcolo sia dei nostri clienti che degli sviluppatori interni.

L'architettura basata sul database descritta sopra non solo consente calcoli asincroni on demand, ma consente anche l'esecuzione dei lavori in orari pianificati o in risposta ad altre modifiche nel database. Internamente, utilizziamo il servizio Manifold per eseguire lavori di routine come test di unità, controlli dei sensori e script di manutenzione. Questa stessa infrastruttura viene utilizzata, inoltre, per fornire ai clienti un servizio in cui possono inviare analisi di lunga durata, come simulazioni e analisi video, alle risorse gestite, ottenendo accesso e integrazione completi con i dati sperimentali.

Sfide

L'implementazione di Manifold ci ha richiesto di superare diverse sfide derivanti dal carico variabile e dalla diversa natura dei lavori sottoposti al servizio. Fortunatamente, AWS ci ha fornito degli strumenti fondamentali per risolvere questi problemi.

Nel laboratorio cloud, i lavori vengono spesso inviati a raffica: ad esempio, dopo il completamento di un lungo protocollo sperimentale, è possibile inviare un gran numero di lavori per elaborare i dati sperimentali appena generati. AWS Fargate ci consente facilmente di aumentare e ridurre verticalmente l'elaborazione per soddisfare queste esigenze fluttuanti. Più in generale, abbiamo anche sfruttato gli strumenti di monitoraggio e gestione di AWS, come AWS CloudTrail e Amazon CloudWatch, per implementare la limitazione della velocità, che semplifica l'utilizzo e ci consente di impostare limiti e priorità nell'invio dei lavori in base all'utente.

Dopo le nostre prime implementazioni di test, abbiamo constatato che la creazione di una procedura efficace di registrazione in Manifold sarebbe stata fondamentale per il suo successo. Per fornire un'esperienza utente ottimale, abbiamo cercato di creare degli strumenti che consentissero agli utenti di monitorare e gestire i loro lavori Manifold. A tale scopo, abbiamo creato un'infrastruttura per caricare selettivamente le informazioni di registrazione, gli aggiornamenti di stato e i potenziali errori da Fargate direttamente nel nostro database Constellation. Questo ci ha permesso di fornire agli utenti delle dashboard curate che mostrano lo stato del lavoro, l'avanzamento, i limiti di utilizzo, nonché codici e tracce di errore per il debug dei calcoli inviati dagli utenti.

Conclusioni

AWS ci ha permesso di creare Manifold, un servizio unificato per il calcolo remoto che supporta le operazioni di laboratorio e fornisce servizi di calcolo per i nostri clienti. Il passaggio al cloud computing presso l'Emerald Cloud Lab è stato ovvio e inevitabile: l'ECL sta rivoluzionando in molti modi il laboratorio tradizionale in modo analogo a come AWS ha rivoluzionato l'informatica. La facilità d'uso, l'affidabilità e la scalabilità intrinseca dei servizi AWS sono state un complemento naturale al nostro modello di laboratorio cloud, consentendoci di fornire un servizio eccezionale ai nostri attuali clienti. Inoltre, Manifold sarà un catalizzatore chiave per la crescita futura, consentendoci di soddisfare la crescente domanda di elaborazione da parte dei clienti che conducono ricerche scientifiche innovative e di supportare le nostre operazioni mentre aumentiamo le dimensioni e il numero di strutture ECL.