Meeting.ai, Amazon Bedrock을 사용하여 시간이 많이 소요되는 회의 작업을 자동화

전화 회의, 스탠드업 회의, 정수기 주변에서 간단한 대화 등 회의는 대부분의 직장 생활의 기본입니다. 우리는 모두 새 프로젝트 요약 확인, 재무 보고서 발표, 새로운 아이디어 워크숍 등 다양한 상황에서 수신함에 새로운 초대가 들어오고 캘린더에 새 예약이 표시되는 것을 보는 데 익숙합니다.

그러나 업무 생활은 빠르게 변화하기 때문에 참석한 회의의 내용을 적절하게 처리하고 논의한 내용을 메모하여 검토하고 녹화물을 다시 찾아보거나 즉시 필요한 인사이트를 찾아낼 시간을 확보하기가 간단한 것은 아닙니다. 자카르타에 본사를 둔 인도네시아 스타트업인 Meeting.ai는 메모 작성과 같이 시간이 많이 소요되는 활동을 자동화하여 이러한 상황을 바꾸고 있습니다.

생성형 인공 지능(AI)에 기반을 둔 Meeting.ai 덕분에 사용자는 회의에 더 많은 시간을 할애하고 회의 이후에 중요한 내용을 회상하는 데 걸리는 시간을 줄일 수 있습니다. 다른 대규모 언어 모델(LLM)의 성능에 만족하지 못했던 Meeting.ai 팀은 Amazon Bedrock에 Claude 3 Sonnet과 Haiku를 구현하기로 결정했습니다. 이제 이 스타트업은 비용을 33% 절감하면서 업계 최고 수준의 정확도로 회의 요약을 생성할 수 있습니다.

강의실에서 회의실까지

Meeting.ai는 원래 Bahasa.ai로 명명되었으며, 2017년 Hokiman Kurniawan, Fathur Rachman Widhiantoko, Samsul Rahmadani에 의해 설립되었습니다. 이 세 사람은 대학에서 함께 수학을 공부하면서 친구가 되었으며 공용어인 바하사 인도네시아어로 된 초창기 LLM을 만들었습니다. 그 당시까지만 해도 인도네시아 전역에서 사용되는 언어의 미묘한 차이와 복잡성 때문에 바하사 LLM은 개발하기 어렵다고 입증되었습니다.

CEO인 Hokiman은 “인도네시아의 인구는 33개 지역에 2억 7천만 명이 넘으며 매우 다양한 억양, 지역 방언, 현지 용어가 존재합니다.”라고 말합니다. “인도네시아가 하나의 공용어를 쓴다고 말하지만 실제로 우리도 수백 개(정확히 말하면 700개 이상)의 현지 언어를 가지고 있습니다. 가장 큰 언어는 자바어와 순다어이고, 사람들은 서로 대화할 때 종종 여러 언어를 혼합하여 사용합니다.”

이러한 수준의 복잡성을 처리할 수 있는 모델을 개발하려면 많은 데이터가 필요합니다. Hokiman은 “지난 7년 동안 3만 시간이 넘는 음성 데이터를 수집했습니다.”고 전합니다. 팀이 바하사 인도네시아어 용으로 간단한 언어 모델을 만들자 소문이 빠르게 퍼졌습니다. 이 스타트업은 얼마 지나지 않아 고객 서비스 사용 사례에 필요한 자연어 전문 지식을 갖춘 회사를 찾는, 동남아시아에서 가장 큰 규모를 자랑하는 인도네시아 제약사를 첫 고객으로 유치하게 되었습니다.

당시 이 회사는 주로 AI 및 자연어에 대한 컨설팅 서비스를 제공했습니다. Hokiman은 “우리에게는 제품이 없었지만 솔루션이 있었습니다.”라고 말합니다. 하지만 2023년에 Meeting.ai 도구가 출시되면서 모든 것이 바뀌었습니다.

지능형 자동화와 시장 최고의 정확성 만남

Meeting.ai는 생성형 AI 기반 회의 도우미로 사용자가 회의 관련 작업에 소요되는 시간을 줄일 수 있도록 도와줍니다. 이 프로그램은 회사의 독자적인 바하사 인도네시아어 LLM을 사용하여 개발되었습니다. Hokiman은 “당사의 도구는 회의를 자동으로 기록, 전사, 요약하므로 시간을 절약하고 업무 생산성을 높일 수 있습니다.”고 설명합니다.

Google Meet, Zoom, Microsoft Teams와 같은 인기 회의 서비스와의 원활한 통합을 통해 Meeting.ai는 주로 인도네시아에 기반을 둔 7만 명 이상의 사용자층을 빠르게 유치할 수 있었습니다. 기본 제공되는 유사 기능들과 달리 이 도구는 오프라인 회의에도 사용할 수 있습니다. Hokiman은 “오프라인 기능이 이미 전체 제품 사용률의 50% 이상을 차지하고 있습니다.”고 말합니다.

Meeting.ai 의 또 다른 주요 차별화 요소는 인도네시아어로 정확도 97%의 전사를 제공한다는 것입니다. 이는 시장에 있는 모든 도구 중 가장 높은 수치입니다. “비격식적인 발언을 할 수 있고, 속어를 사용하더라도 AI가 알아들을 수 있다는 사실을 깨닫고 고객이 환호하는 모습을 종종 볼 수 있습니다. 보통 바하사 인도네시아어에 이러한 수준의 AI 지원을 기대하지 않으니까요. 정말 즐거운 순간이죠.”

회의에 유래 없는 기술적 발전을 적용

Meeting.ai 팀은 대학 시절부터 AWS와 함께 일해 왔기 때문에 도구 구축을 도와줄 파트너를 찾을 때 선택은 자연스러웠습니다. Hokiman은 “AWS가 훌륭한 파트너인 이유는 두 가지입니다. 첫째, 제대로 작동하는 기술이 있으면 사람들이 제대 사용하게 된다는 것입니다. 지금까지 사용한 모든 AWS 제품이 제대로 작동했습니다.”라고 말합니다. “두 번째는 사람입니다. 제품만으로도 훌륭하지만, 사람이 사는 세상에서는 새로운 모델과 전문 지식에 대한 접근이 사람들과의 관계로 귀결됩니다. AWS는 정말 많은 도움을 주었습니다.”

Meeting.ai를 이루는 아키텍처는 성능 저하 없이 비용을 제어하는 데 도움이 되는 여러 AWS 서비스를 결합합니다. 예를 들어, 팀은 업계 최고의 가격 대비 성능을 제공하는 NVIDIA T4 GPU를 사용해 AI 작업자를 위한 프라이머리 노드 풀로 Amazon EC2 G4 인스턴스를 사용하기로 결정했습니다. 마찬가지로 Amazon Elastic Kubernetes Service(EKS)는 비용 효율적인 컴퓨팅 리소스 프로비저닝과 자동 Kubernetes 애플리케이션 확장을 보장합니다. 또한 팀은 최근에 Amazon Bedrock을 구현했습니다. Amazon Bedrock은 안전하게 실험하고 비공개로 사용자 지정할 수 있는 다양한 고성능 파운데이션 모델(FM)을 제공하는 완전 관리형 서비스입니다. 이를 통해 비용을 크게 절감했을 뿐만 아니라 Meeting.ai에서 생성한 요약의 정확도도 개선할 수 있었습니다.

단일 소스에서 모두 액세스할 수 있는 고성능 LLM

생성형 AI는 빠른 속도로 진화하고 있으며 새로운 모델과 서비스가 출시되면 Meeting.ai 같은 도구가 최신 릴리스를 따라잡아 경쟁 우위를 확보할 수 있습니다. Meeting.ai에서 제공하는 요약 기능이 기존에 의존했던 LLM 서비스는 팀이 원하는 품질과 정확성을 충족하지 못했습니다. Anthropic의 새로운 Claude 3 모델이 Amazon Bedrock에서 출시될 것이라는 소식이 전해지자 이 팀은 기회를 잡았습니다.

Hokiman은 “이전에 인도네시아에서 AWS에서 지역 관리자로 일했던 대학 시절 멘토에게 즉시 연락했습니다.”라고 말합니다. “당시에 비공개였던 모델에 액세스할 수 있도록 도와줄 AWS쪽 사람을 소개해 줄 수 있는지 물었습니다. 일주일 만에 해당 액세스 권한이 주어졌습니다.”

Amazon Bedrock 구현은 개발자 두 명만 참여하여 약 3주 만에 완료되는 간단한 프로세스였습니다. Hokiman은 “마치 다양한 모델을 테스트하고 실험할 수 있는 단일 마켓플레이스와 같은 통합된 경험이라고 말할 수 있습니다. 새 모델이 출시되면 Amazon Bedrock에서 쉽게 액세스할 수 있습니다.”라고 말합니다.

Amazon Bedrock에서 Claude 3를 손에 넣은 후 팀은 Sonnet과 Haiku 모델의 품질을 테스트하기 시작했습니다.

테스트. 비교. 선택.

Meeting.ai 팀은 먼저 회사 내부 회의 녹화본과 YouTube에서 제공되는 팟캐스트 동영상으로 구성된 테스트 데이터세트를 수집했습니다. 그런 다음 원본 LLM과 선택한 Claude 3 모델을 모두 사용하여 해당 데이터 샘플을 처리했습니다. 원래 LLM에서 사용하던 것과 동일한 프롬프트로 테스트를 시작할 수 있었기 때문에 팀은 새로운 프롬프트를 설계하는 대신 적합한 모델을 식별하는 데 더 많은 시간을 투자할 수 있었습니다.

팀은 곧 Claude 3 Haiku 모델을 통해 생성된 요약의 품질이 이전 모델보다 더 우수하다는 것을 알게 되었습니다. Hokiman은 “Claude 3은 일반적으로 훨씬 더 효율적이며 다른 모델에서는 할 수 없는 작업을 수행할 수 있습니다. 또한 Haiku 모델은 다른 모델보다 크기가 훨씬 작기 때문에 훨씬 더 저렴하게 사용할 수 있습니다”라고 말합니다. “우리는 항상 성능과 비용의 균형을 맞추려고 노력하고 있으며, Haiku는 두 가지를 모두 제공합니다.”

현재 대부분의 Meeting.ai 사용 사례에 Haiku가 사용되고 있으며 이를 통해 팀은 비용을 33% 이상 절감할 수 있었습니다. 직원과 리더 간의 일대일 회의를 통한 업무 성과 요약과 같이 좀 더 구체적인 기타 사용 사례의 경우 Meeting.ai는 Claude 3 Sonnet 모델도 활용합니다.

성능 및 효율성 면에서 성장

Claude 3 모델은 20만 개의 많은 컨텍스트 윈도우을 제공하므로 출력을 생성할 때 더 많은 데이터와 정보를 고려할 수 있습니다. 이를 통해 Meeting.ai는 이전 모델에서 수행한 것보다 훨씬 더 정확한 회의 요약을 제공할 수 있습니다. 또한 이전 LLM 모델, 특히 바하사 인도네시아어에서 하기 어려웠던 중요한 토론 요점과 일상적인 대화를 도구가 자동으로 구분할 수 있게 해줍니다.

컨텍스트 윈도우가 길어지는 또 다른 이점은 고객이 결과를 훨씬 더 빠르게, 정확히 말하면 최대 1,200% 빠르게 얻을 수 있다는 것입니다. 2시간 분량의 회의 녹취록의 경우, 요약에 약 12개의 LLM API 요청이 필요했던 이전 모델에 비해 Meeting.ai는 하나의 LLM API 요청만 있으면 됩니다. Hokiman은 “요청이 많을수록 더 많은 비용이 발생합니다. 경우에 따라 이전 모델로 동일한 작업을 완료하는 데 Claude 3에 비해 두 배 더 높은 비용이 들 수 있습니다.”라고 말합니다.

Meeting.ai 팀은 또한 지침을 따를 때 Claude 3이 더 공손하고 신뢰할 수 있다는 것을 알게 되었습니다. 예를 들어, Haiku와 Sonnet 모델 모두 요청 시 일관되게 JSON 형식으로 응답을 제공할 수 있습니다.

회의의 재구성 - 온라인과 오프라인 모두에서

앞으로 Meeting.ai 팀은 전 세계로 확대하고 도구 기능을 확장할 예정입니다. 곧 실시간 메모 작성 기능을 출시할 예정이며 이를 통해 사용자는 오프라인 회의를 녹화하지 않고도 내용을 전사하고 요약할 수 있습니다. 그 외에도 팀은 사용자들이 Meeting.ai 를 통해 회의를 할 수 있는 미래를 구상하고 있습니다.

Hokiman은 “현재 사용자가 AI에 질문을 할 수 있도록 통합 음성 모델을 개발 중입니다.”라고 말합니다. “스탠드업 미팅처럼 반복되는 일을 AI에 아웃소싱하여 팀이 회의에 소요되는 시간을 줄이고 업무에 더 많은 시간을 할애하는 것도 기대하고 있습니다.”

Meeting.ai 팀이 제품을 계속 발전시킴에 따라서 AWS는 팀이 항상 최신 LLM에 액세스하고 어떤 모델이 자신과 고객에게 적합한지 자유롭게 찾을 수 있도록 돕고 있습니다. Hokiman은 “AWS는 빠르게 진화하는 생성형 AI 세계에 보조를 맞출 수 있는 믿을 수 있는 파트너입니다. 새 모델이 출시되면 쉽게 전환할 수 있습니다. 우리에게 필요한 모든 것이 바로 Bedrock에 있습니다.”라고 말합니다.