Cómo Emerald Cloud Lab revoluciona el laboratorio con AWS

Publicación invitada de Ben Smith, VP de Engineering, y Kevin J. Hou, Scientific Computing Engineer, Emerald Cloud Lab

Emerald Cloud Lab (ECL) brinda acceso a un laboratorio altamente automatizado, equipado con más de 200 piezas únicas de instrumentación científica, a cualquier científico con un equipo y conexión a Internet. Nuestro laboratorio húmedo (con mesas de laboratorio, productos químicos peligrosos, batas de laboratorio y gafas de seguridad) cuenta con diversas capacidades experimentales, especialmente en el ámbito de la biotecnología, y apoya a diversas empresas, por ejemplo, de desarrollo de fármacos, productos de consumo e investigación académica.

Nuestra plataforma permite a los científicos diseñar, ejecutar, analizar e interpretar los experimentos de laboratorio húmedo desde cualquier parte del mundo. Los científicos tan solo tienen que enviar las muestras (desde tubos de ensayo y placas de cultivo celular hasta productos comerciales) a ECL y diseñar protocolos experimentales a través de una interfaz de software. A continuación, estos experimentos se ejecutan exactamente como se especifica en los flujos de trabajo de ECL. Una vez finalizados los experimentos, los científicos pueden analizar e interpretar los datos en la misma interfaz de software y obtener un registro completo, bien estructurado y de fácil navegación, de la ejecución y los resultados del experimento. ECL ofrece una gama de beneficios para los científicos de las universidades, las grandes empresas farmacéuticas y las startups, como:

Reducción de los gastos de capital: la mayor parte del costo de la investigación biotecnológica corresponde normalmente a construir y operar un laboratorio. La compra e instalación de instrumentos individuales puede tardar meses, y el costo total de los equipos requeridos puede superar los 10 millones USD. Además, existen costos continuos asociados al pedido de consumibles, el mantenimiento de los instrumentos y las cualificaciones. Emerald Cloud Lab ofrece un año de acceso a un laboratorio completamente administrado con instrumentación de vanguardia por menos del costo inicial de un solo instrumento. Esto reduce sustancialmente el costo de entrada para las nuevas empresas que desean llevar a cabo investigaciones nuevas e innovadoras.

Eficiencia: el progreso científico a menudo se ve obstaculizado por la enorme complejidad tanto del diseño experimental como de las operaciones necesarias para ejecutarlo. Hoy en día, muchos científicos dedican el 80 % o más del tiempo a administrar la logística de la ciencia (pedir materiales, configurar los instrumentos, esperar a que los instrumentos funcionen, etc.) en lugar de dedicarse a la ciencia en sí (formular hipótesis, diseñar experimentos, analizar los resultados, etc.). ECL permite a los científicos centrarse en la ciencia y dejar la logística en manos de ECL, con la confianza de que los experimentos se llevarán a cabo exactamente como se ha especificado.

Además, Emerald Cloud Lab utiliza una combinación de automatización de laboratorio y eficiencia operativa basada en la tecnología para proporcionar un rendimiento experimental inalcanzable en un laboratorio tradicional. El laboratorio en la nube funciona las 24 horas del día, los 7 días de la semana y, al aprovechar estas economías de escala, se mejora la producción científica a la par que se preservan los bajos costos operativos. Todo esto se ha traducido en un aumento entre 5 y 8 veces mayor en el número de experimentos que un científico puede realizar con ECL en comparación con un laboratorio tradicional.

Reproducibilidad: la capacidad de reproducir los resultados de los experimentos es uno de los retos más importantes de la investigación científica. Por lo general, la causa de que los resultados no se puedan reproducir reside en instrumentos poco fiables, protocolos insuficientemente documentados y datos perdidos o incompletos. Emerald Cloud Lab aborda estos problemas al integrar la tecnología. Por ejemplo, utilizamos manipuladores de líquidos robotizados para preparar con precisión los productos químicos, así como software integrado para garantizar que las mediciones detalladas (por ejemplo, temperatura, peso, volumen) se registran en cuadernos de laboratorio digitales para cada operación realizada en el laboratorio. Esta combinación de automatización, supervisión exhaustiva y operaciones de procedimiento garantiza que no se pierda ningún dato y que todos los protocolos queden bien documentados. Además, los protocolos experimentales se abstraen en nuestro lenguaje simbólico de laboratorio (SLL), lo que permite repetir experimentos con los mismos parámetros con tan solo volver a ejecutar unas pocas líneas de código.

¿Por qué AWS?

A medida que nuestro laboratorio en la nube se expande para satisfacer la creciente demanda, nos enfrentamos a una necesidad cada vez mayor de contar con computación escalable y bajo demanda. Esto se debe a la incorporación de instrumentos al laboratorio físico y al aumento de la investigación orientada a los clientes, en la que el trabajo que requiere un uso intensivo de los recursos de computación, como las simulaciones y el análisis de imágenes, se ha integrado en los flujos de trabajo experimentales. Los servicios de AWS completamente administrados y sin servidor eran la solución perfecta para abordar esta creciente necesidad. La escalabilidad inherente y la estructura de costos de pago por uso de estos servicios ofrecen ventajas clave para nuestra empresa en rápido crecimiento y nos han permitido expandirnos sin problemas para satisfacer las crecientes demandas computacionales.

Para abordar las necesidades descritas anteriormente, creamos Manifold, una arquitectura basada en microservicios que se ejecuta en AWS Fargate, que utilizamos para proporcionar computación asíncrona bajo demanda a los usuarios internos y externos de Emerald Cloud Lab. Manifold permite a los usuarios ejecutar código arbitrario en contenedores con acceso total a las API y bases de datos de nuestro laboratorio, es decir, con acceso total al laboratorio en la nube y a los datos experimentales.

Desde su implementación completa en noviembre de 2021, Manifold ha permitido la automatización total de las secuencias de comandos de laboratorio rutinarias, como las verificaciones de inventario, las calificaciones de los instrumentos y la programación de experimentos. Mientras que antes teníamos dificultades para ejecutar de forma fiable unas 1000 secuencias de comandos por semana con los recursos de computación que teníamos localmente, AWS nos ha permitido escalar sin problemas hasta unas 5000 secuencias de comandos por semana en la nube. Esto ha ampliado el alcance de la automatización en el laboratorio, lo que ha permitido que las tareas rutinarias se ejecuten con más frecuencia y con menos errores. Es importante destacar que al migrar nuestra infraestructura de laboratorio rutinaria a AWS, también hemos podido lograr un tiempo de actividad del 100 % en nuestros servicios de computación remota, lo que ha permitido que nuestra arquitectura computacional siga funcionando durante eventos impredecibles, como cortes de energía y cierres de laboratorios.

Arquitectura de Manifold

En un nivel alto, Manifold consiste en una API que permite a los usuarios definir trabajos de computación y componentes de AWS de backend que programan y ejecutan estos trabajos. Nuestros usuarios interactúan con el servicio a través de aplicaciones de escritorio y de navegador, desde las que realizan llamadas a la API (en el lenguaje simbólico de laboratorio) para cargar las definiciones de los trabajos en nuestra base de datos interna, Constellation. Para conectar estas cargas de trabajo con el resto de nuestros componentes, utilizamos Amazon Kinesis para transmitir los cambios de Constellation al resto de nuestra arquitectura sin servidor.

Amazon DynamoDB se utiliza para almacenar el estado interno de las funciones de AWS Lambda.

A continuación, utilizamos las funciones de AWS Lambda como un método ligero y escalable para procesar el flujo de cambios en la base de datos. Estas funciones de Lambda, junto con las tablas de DynamoDB para almacenar el estado interno, se utilizan para aprovisionar recursos y programar trabajos. A continuación, las funciones de Lambda transfieren los trabajos de computación a nuestro servicio de computación, Fargate, mediante una cola de SQS. Fargate es la piedra angular de la arquitectura de Manifold: la facilidad de implementar rápidamente contenedores con diferentes configuraciones y permisos ha sido fundamental para satisfacer las diversas necesidades computacionales tanto de nuestros clientes como de los desarrolladores internos.

La arquitectura basada en bases de datos descrita anteriormente no solo permite realizar cálculos asíncronos bajo demanda, sino que también permite que los trabajos se ejecuten a horas programadas o en respuesta a otros cambios en la base de datos. Internamente, utilizamos el servicio Manifold para ejecutar tareas rutinarias, como pruebas unitarias, comprobaciones de sensores y secuencias de comandos de mantenimiento. Esta misma infraestructura también se utiliza para ofrecer a los clientes un servicio en el que pueden enviar análisis de larga duración, como simulaciones y análisis de video, a los recursos administrados, con pleno acceso e integración con los datos experimentales.

Desafíos

La implementación de Manifold nos obligó a superar varios desafíos derivados de la carga variable y la naturaleza diversa de los trabajos enviados al servicio. Afortunadamente, AWS nos proporcionó herramientas cruciales para abordar estos problemas.

En el laboratorio en la nube, los trabajos a menudo se envían en ráfagas; por ejemplo, después de completar un protocolo experimental largo, se pueden enviar una gran cantidad de trabajos para procesar los datos experimentales recién generados. AWS Fargate nos permite escalar y desescalar verticalmente la computación sin esfuerzo para cumplir con estas demandas fluctuantes. En términos más generales, también hemos aprovechado las herramientas de supervisión y administración de AWS, como AWS CloudTrail y Amazon CloudWatch, para implementar la limitación de velocidad, lo que facilita el uso y nos permite establecer límites y prioridades en la presentación de trabajos por usuario.

Tras las implementaciones de nuestras pruebas iniciales, determinamos que crear un registro sólido en Manifold sería fundamental para su éxito. Para ofrecer una experiencia de usuario óptima, nos propusimos crear herramientas para que los usuarios supervisaran y administraran sus tareas en Manifold. Para lograrlo, configuramos una infraestructura para cargar de forma selectiva la información de registro, las actualizaciones de estado y los posibles errores de Fargate directamente a nuestra base de datos de Constellation. Esto nos ha permitido ofrecer a los usuarios paneles de control seleccionados que muestran el estado de los trabajos, el progreso y los límites de uso, así como los códigos de error y los seguimientos para depurar los cálculos enviados por los usuarios.

Conclusión

AWS nos ha permitido crear Manifold, un servicio unificado para la computación remota que respalda las operaciones de laboratorio y proporciona servicios computacionales a nuestros clientes. La transición hacia la computación en la nube en Emerald Cloud Lab ha sido obvia e inevitable. En muchos sentidos, ECL está revolucionando el laboratorio tradicional de la misma forma en que AWS ha revolucionado la computación. La facilidad de uso, la fiabilidad y la escalabilidad inherente de los servicios de AWS han sido un complemento natural de nuestro modelo de laboratorio en la nube, lo que nos ha permitido ofrecer un servicio excepcional a nuestros clientes actuales. Además, Manifold será un catalizador clave para el crecimiento futuro, ya que nos permitirá satisfacer la creciente demanda de computación de los clientes que llevan a cabo investigaciones científicas innovadoras y respaldar nuestras operaciones a medida que aumentamos el tamaño y la cantidad de instalaciones en ECL.