Emerald Cloud Lab이 AWS를 활용하여 실험실을 혁신하는 방법

게스트 작성자: Emerald Cloud Lab VP of Engineering Ben Smith, Scientific Computing Engineer Kevin J. Hou

Emerald Cloud Lab(ECL)은 컴퓨터와 인터넷 연결을 갖춘 과학자라면 누구나 200여 개의 고유한 과학 장비를 갖춘 고도로 자동화된 실험실을 이용할 수 있는 서비스를 제공합니다. ECL의 웨트 랩(wet lab; 실험용 작업대, 유해 화학물질, 실험 가운, 보안경 등이 있는 실험실)은 생명공학에 중점을 둔 다양한 실험 능력을 갖추고 있으며 약물 개발, 소비재 및 학술 연구를 비롯하여 다양한 분야의 기업을 지원합니다.

저희 플랫폼을 통해 과학자들은 세계 어디서나 웨트 랩 실험을 설계, 실행, 분석 및 해석할 수 있습니다. 과학자들은 시험관 및 세포 배양 플레이트부터 상용 제품에 이르기까지 모든 샘플을 ECL로 보내고 소프트웨어 인터페이스를 통해 실험 프로토콜을 설계하기만 하면 됩니다. 그러면 실험은 ECL 워크플로에 지정된 대로 정확하게 실행됩니다. 실험이 완료되면 과학자들은 동일한 소프트웨어 인터페이스에서 데이터를 분석하고 해석할 수 있으며 실험 실행과 결과에 대한 체계적이고 탐색하기 쉬운 완전한 기록을 얻을 수 있습니다. ECL은 대학, 대형 제약 회사 및 스타트업 과학자에게 다음과 같은 수많은 이점을 제공합니다.

자본 지출 절감 - 생명공학 연구 비용의 대부분은 일반적으로 실험실 건설 및 운영에 사용됩니다. 개별 장비를 구매하고 설치하는 데 몇 개월이 걸릴 수 있으며 필요한 장비의 총 비용은 1,000만달러를 초과할 수 있습니다. 게다가 소모품 주문, 장비 유지 관리 및 검증 수행과 관련하여 비용이 계속 발생합니다. Emerald Cloud Lab에서는 단일 장비를 구매하는 초기 비용보다 적은 비용으로 최첨단 장비를 갖춘 완전관리형 실험실을 1년 동안 이용할 수 있습니다. 이는 새롭고 혁신적인 연구를 수행하고자 하는 스타트업의 진입 비용을 크게 낮춰줍니다.

효율성 - 실험 설계와 이를 실행하는 데 요구되는 운영의 복잡성으로 인해 과학적 진보가 지연되는 경우가 많습니다. 오늘날 많은 과학자들은 작업 시간의 80% 이상을 과학 자체(가설 수립, 실험 설계, 결과 분석 등)가 아니라 과학의 제반 관리 작업(재료 주문, 기기 설정, 기기 작동 대기 등)에 허비합니다. ECL에서는 과학자들이 실험이 지정된 대로 정확하게 수행될 것이라는 확신을 가지고 과학 자체에 집중하면서 제반 관리는 ECL에 맡길 수 있습니다.

또한 Emerald Cloud Lab은 실험실 자동화와 기술로 실현되는 운영 효율성을 결합하여 기존 실험실에서는 달성할 수 없는 실험 처리량을 제공합니다. Cloud Lab은 연중무휴로 운영되며 이 같은 규모의 경제를 활용하여 운영 비용을 낮게 유지하면서 과학적 성과를 개선해 줍니다. 이 모든 이점 덕분에 과학자는 ECL을 사용할 때 기존 실험실에 비해 실험을 5~8배 더 많이 수행할 수 있습니다.

재현성 - 실험 결과를 재현하는 것은 과학 연구의 가장 큰 과제 중 하나입니다. 재현할 수 없는 결과는 일반적으로 신뢰할 수 없는 장비, 충분히 문서화되지 않은 프로토콜, 손실되거나 불완전한 데이터로 인해 발생합니다. Emerald Cloud Lab은 기술과의 긴밀한 통합을 통해 이러한 문제를 해결합니다. 예를 들어 정밀한 화학물질을 준비하는 데 로봇 액체 처리기를 사용하고 실험실에서 수행되는 모든 작업에서 세부 측정 결과(예: 온도, 무게, 부피)를 디지털 실험실 노트북에 기록하는 통합 소프트웨어를 사용할 수 있습니다. 이러한 자동화, 광범위한 모니터링 및 절차적 운영이 결합되어 데이터가 손실되지 않고 모든 프로토콜이 효과적으로 문서화됩니다. 또한 실험 프로토콜이 Symbolic Lab Language(SLL)에서 추상화되므로 코드 몇 줄만 다시 실행하면 간단하게 같은 설정으로 실험을 반복할 수 있습니다.

AWS를 선택하는 이유

증가하는 수요를 지원하기 위해 Cloud Lab이 확장됨에 따라 확장 가능한 온디맨드 컴퓨팅에 대한 요구도 커졌습니다. 이는 물리적 실험실에 장비를 추가하고 시뮬레이션 및 이미지 분석과 같은 컴퓨팅 집약적 작업이 실험 워크플로에 통합된 고객 주도 연구가 증가한 데 기인합니다. 완전관리형 서버리스 AWS 서비스는 이러한 증가하는 요구 사항을 해결할 수 있는 완벽한 솔루션이었습니다. 이러한 서비스의 고유한 확장성과 종량제 비용 구조는 빠르게 성장하는 비즈니스에 중요한 이점을 제공하며 이를 통해 증가하는 컴퓨팅 수요에 맞춰 원활하게 확장할 수 있었습니다.

위에서 설명한 요구 사항을 해결하기 위해 저희는 AWS Fargate에서 실행되는 마이크로서비스 기반 아키텍처인 Manifold를 빌드했습니다. 이 아키텍처는 Emerald Cloud Lab의 내부 및 외부 사용자 모두에게 온디맨드 비동기 컴퓨팅을 제공하는 데 사용됩니다. Manifold를 사용하면 실험실 API 및 데이터베이스에 대한 전체 액세스, 즉 Cloud Lab 및 실험 데이터에 대한 전체 액세스 권한을 사용하여 컨테이너화된 임의의 코드를 실행할 수 있습니다.

Manifold는 2021년 11월에 정식 배포된 후 재고 확인, 장비 검증, 실험 스케줄링과 같은 일상적인 실험실 스크립트의 완전 자동화를 지원해 오고 있습니다. 이전의 온프레미스 컴퓨팅 리소스로는 스크립트 최대 1,000개를 안정적으로 실행하기가 어려웠지만 AWS를 사용하면서 클라우드에서 스크립트를 매주 최대 5,000개까지 실행하도록 원활하게 확장할 수 있게 되었습니다. 그 덕분에 실험실의 자동화 범위가 확대되어 일상적인 작업을 더 자주 실행하고 오류를 줄일 수 있게 되었습니다. 무엇보다도 일상적으로 사용되는 실험실 인프라를 AWS로 마이그레이션하면서 원격 컴퓨팅 서비스의 100% 가동 시간을 달성할 수 있게 되었고 정전 및 실험실 가동 중단과 같은 예기치 못한 상황에서도 컴퓨팅 아키텍처가 제 기능을 유지할 수 있게 되었습니다.

Manifold 아키텍처

크게 보면 Manifold는 사용자가 컴퓨팅 작업을 정의할 수 있는 API와 이러한 작업을 예약하고 실행하는 백엔드 AWS 구성 요소로 구성됩니다. 사용자는 데스크톱 및 브라우저 앱을 통해 서비스와 상호 작용하며 앱에서 Symbolic Lab 언어로 API를 호출하여 작업 정의를 내부 데이터베이스인 Constellation에 업로드합니다. 이러한 작업 업로드를 나머지 구성 요소에 연결하기 위해 저희는 Amazon Kinesis를 사용하여 Constellation에서 나머지 서버리스 아키텍처로 변경 사항을 스트리밍했습니다.

Amazon DynamoDB는 AWS Lambda 함수의 내부 상태를 저장하는 데 사용됩니다.

다음으로, AWS Lambda 함수를 경량화하고 확장 가능한 수단으로 사용하여 데이터베이스 변경 스트림을 처리합니다. 이러한 Lambda 함수는 내부 상태를 저장하는 DynamoDB 테이블과 함께 리소스를 프로비저닝하고 작업을 예약하는 데 사용됩니다. 그런 다음 Lambda 함수는 SQS 대기열을 사용하여 컴퓨팅 작업을 컴퓨팅 서비스인 Fargate에 전달합니다. Fargate는 Manifold 아키텍처의 핵심 구성 요소입니다. 고객과 내부 개발자 모두의 다양한 컴퓨팅 요구 사항을 충족하기 위해서는 다양한 구성과 권한을 가진 컨테이너를 신속하게 배포할 수 있는 사용 편의성이 매우 중요했습니다.

위에서 설명한 데이터베이스 기반 아키텍처는 온디맨드 비동기 계산을 지원할 뿐만 아니라 예약된 시간에 또는 데이터베이스의 다른 변경 사항에 대한 응답으로서 작업을 실행할 수 있습니다. 내부적으로는 Manifold 서비스를 사용하여 유닛 테스트, 센서 점검 및 유지 관리 스크립트와 같은 일상적인 작업을 실행합니다. 또한 동일한 인프라를 사용하여 시뮬레이션 및 비디오 분석과 같은 장기 실행 분석 데이터를 관리 리소스에 제출할 수 있고 실험 데이터에 대한 전체 액세스 권한과 통합 기능을 지원하는 서비스를 고객에게 제공합니다.

당면 과제

Manifold를 배포하는 과정에서 저희는 서비스에 제출되는 작업의 다양한 특성과 다양한 부하로 인해 발생하는 몇 가지 문제를 해결해야 했습니다. 다행히 AWS는 이러한 문제를 해결할 수 있는 중요한 도구를 제공했습니다.

Cloud Lab에서는 작업이 대량으로 제출되는 경우가 많습니다. 일례로 긴 실험 프로토콜을 완료한 후 새로 생성된 실험 데이터를 처리하기 위해 많은 수의 작업이 제출될 수 있습니다. AWS Fargate를 사용하면 이러한 급변하는 수요에 맞춰 손쉽게 컴퓨팅을 확장 및 축소할 수 있습니다. 더 넓게 보자면 AWS CloudTrail 및 Amazon CloudWatch와 같은 AWS의 모니터링 및 관리 도구를 활용하여 일종의 속도 제한을 구현했습니다. 이를 통해 사용량을 줄이고 사용자별로 작업 제출에 대한 제한 및 우선 순위를 설정할 수 있습니다.

초기 테스트 배포 이후 Manifold에 강력한 로깅 기능을 빌드하는 것이 성공을 거두는 데 있어 매우 중요하다는 결론을 내렸습니다. 최적의 사용자 경험을 제공하기 위해 저희는 사용자가 Manifold 작업을 모니터링하고 관리할 수 있는 도구를 만들고자 했습니다. 이를 위해 Fargate에서 Constellation 데이터베이스에 직접 로깅 정보, 상태 업데이트 및 잠재적 오류를 선택적으로 업로드하는 인프라를 빌드했습니다. 이를 통해 작업 상태, 진행 상황, 사용량 한도는 물론 사용자가 제출한 계산 결과를 디버깅하는 데 필요한 오류 코드와 추적 정보를 보여주는 큐레이트된 대시보드를 사용자에게 제공할 수 있었습니다.

결론

AWS 덕분에 실험실 운영을 지원하고 고객에게 컴퓨팅 서비스를 제공하는 원격 컴퓨팅용 통합 서비스인 Manifold를 구축할 수 있었습니다. Emerald Cloud Lab에서 클라우드 컴퓨팅으로의 전환은 당연하고 피할 수 없는 일이었습니다. ECL은 여러 면에서 AWS가 컴퓨팅을 혁신한 방식과 유사하게 기존 실험실을 혁신하고 있습니다. AWS 서비스의 사용 편의성, 신뢰성 및 독보적인 확장성이 Cloud Lab 모델을 자연스럽게 보완해준 덕분에, 현재 고객에게 탁월한 서비스를 제공할 수 있게 되었습니다. 무엇보다, Manifold는 미래 성장의 핵심 촉매제가 될 것입니다. 이를 통해 획기적인 과학 연구를 수행하는 고객의 증가하는 컴퓨팅 수요를 충족하고, ECL 시설의 규모와 수를 늘리면서 운영을 지원할 수 있습니다.