SaaS 설립자 시리즈: 유니콘의 지위를 향한 Dremio의 여정

게스트 게시물 저자: AWS Afza Wajid, Bill Tarr, Mark Birch

참여 및 인텔리전스 시스템이 확산됨에 따라 데이터 인사이트를 제공하는 데 중점을 두는 현대적 조직이 증가하고 있습니다. 그러나 데이터를 효과적으로 분석하려면 데이터를 분석하기 전에 서로 다른 스토리지 시스템의 데이터를 중앙 집중화하는 전문 기술과 비용이 높은 사용자 지정 코드가 필요합니다. Hadoop과 같은 오픈 소스 분산 데이터 스토리지 프레임워크의 출현으로 개발자가 분산 데이터 소스를 직접 쿼리하는 것은 가능해졌지만 데이터 사이언티스트와 분석가는 여전히 셀프 서비스 방식으로 데이터에서 가치를 도출할 수 없었습니다.

시리즈 D 자금으로 2015년에 설립된 유니콘 Startup인 Dremio는 데이터 소비자가 페타바이트 규모의 클라우드 데이터 레이크 스토리지를 직접 쿼리할 수 있는 고성능, 고효율 쿼리 엔진으로 분석 스택을 단순화하는 동시에 대규모 데이터 전송과 공급업체 종속에서 벗어나 보안 위험을 완화합니다. 또한 데이터 소스를 인텔리전스 도구에 연결해 주는 시맨틱 셀프 서비스 계층은 데이터 사이언티스트와 분석가가 가치를 창출하는 데 소모하는 시간을 줄여줍니다. Dremio는 이제 고객 경험을 단순화하는 서비스형 클라우드 네이티브 데이터 레이크인 Dremio Cloud를 출시하여 솔루션의 범위를 확장하고 있습니다.

AWS SaaS Factory 팀은 Dremio의 설립자이자 Chief Product Officer인 Tomer Shiran을 초대하여 서비스형 소프트웨어를 향한 Dremio의 여정에 대해 이야기를 나누고 AWS에서 SaaS 및 서비스형 플랫폼(PaaS) 오퍼링을 구축하는 기업에 중요한 몇 가지 교훈을 들어보았습니다. 엔터프라이즈 소프트웨어 분야에서 15년 이상의 경력을 쌓은 기업가인 Shiran은 Hewlett Packard, Microsoft 및 IBM Research에서 제품 관리 및 엔지니어링 부문에서 직책을 맡았었습니다. Dremio에 입사하기 전에는 MapR에서 Product 부문 VP로 재직하면서 직원 수가 5명이던 회사를 400명에 가까운 직원과 수백 곳의 기업 고객을 보유한 회사로 성장시키는 데 기여했습니다. 유니콘 지위를 획득하기 위한 Dremio의 여정에 대해 자세히 알아보려면 계속 읽어보세요.

SaaS Factory: 오늘 시간을 내어 대화에 참여해 주셔서 감사합니다. 먼저 Dremio의 설립 가치 제안에 대해 간단히 말씀해 주시겠어요?

Tomer Shiran: 누구나 더 많은 데이터를 원합니다. 하지만 데이터가 많을수록 데이터에서 의미 있는 인사이트를 효율적으로 도출하기가 어려워집니다. Amazon S3와 같은 클라우드 데이터 레이크 스토리지는 저렴하고 확장 가능하며 관리가 간단하기 때문에 대용량 데이터를 저장하는 데 가장 많이 사용되는 스토리지가 되었습니다. 그러나 기업에서 이러한 데이터를 분석하려면 데이터를 전용 데이터 웨어하우스로 이동하고 복사해야 했습니다. 이 프로세스는 비용이 많이 들고, 복잡하며, 위험하고, 유연성이 떨어집니다.

Dremio의 데이터 레이크 엔진은 클라우드 데이터 레이크 스토리지와 데이터 소비자 사이에 배치되므로 데이터를 독점적 데이터 웨어하우스에 복사한 다음 집계 테이블, 추출, 큐브 또는 기타 파생물을 생성할 필요 없이 고성능 대시보드 및 대화형 분석을 위해 데이터를 직접 쿼리할 수 있습니다. 또한 Dremio를 사용하면 데이터 분석가가 셀프 서비스 방식으로 데이터 세트를 검색, 선별, 분석 및 공유할 수 있고, 데이터 팀은 공유 시맨틱 계층을 통해 데이터 보안 및 거버넌스를 중앙 집중화할 수 있습니다. 이와 같은 간소화된 데이터 아키텍처는 데이터 보안을 강화하고 공급업체 종속에서 벗어나는 동시에 가치 창출 시간을 줄여줍니다.

보다 광범위하게 말해, Dremio 가치 제안의 핵심은 오픈 소스 혁신과 업계 사고 리더십입니다. 예를 들어 Apache Arrow는 원래 자체 내부 메모리 형식이었는데 오픈 소스로 제공하기로 결정했습니다. 지금은 매달 2,000만 건 이상의 다운로드를 기록하면서 인 메모리 컴퓨팅의 표준이 되었습니다. 최근에는 Git와 유사한 버전 제어를 데이터 레이크에 도입하여 데이터 엔지니어링, 데이터 과학 및 분석의 민첩성을 가속화하는 Project Nessie를 만들었습니다.

SaaS Factory: 이번 주에 Dremio Cloud가 출시되었는데요. 이 고유한 아키텍처 접근 방식을 선택한 이유를 알려주세요.

Tomer Shiran: Dremio Cloud는 클라우드 네이티브 데이터 레이크 쿼리 엔진입니다. 서비스 형태로 제공되고 고객 워크로드에 맞춰 규모가 조정됩니다. 시스템 설정과 관리에 신경 쓸 필요 없이 데이터에서 가치를 창출하는 데 집중할 수 있는 완전 관리형 서비스를 원하는 기업이 늘고 있기 때문에 Dremio SaaS 오퍼링을 개발한 것은 자연스러운 진전이었습니다.

Dremio Cloud를 사용하면 Amazon S3에서 직접 높은 동시성과 짧은 지연 시간으로 쿼리를 실행할 수 있습니다. 또한 분석가와 데이터 사이언티스트는 시맨틱 계층에서 일관되고 안전하게 데이터를 사용할 수 있습니다. Dremio Cloud는 상시 작동 컨트롤 플레인과 데이터 영역으로 구성되는데, 컨트롤 플레인은 클라이언트에서 쿼리를 수신하고 쿼리 계획 및 엔진 관리를 담당하며 데이터 영역은 쿼리 실행을 담당하는 컴퓨팅 엔진으로 구성됩니다.

Dremio Cloud 고객 경험의 중심으로, 다중 테넌트 컨트롤 플레인은 사용자 인터페이스, REST API, 데이터 쿼리 엔드포인트를 포함한 모든 클라이언트 대면 상호 작용을 호스팅합니다. Dremio Cloud로 분석을 실행하려는 비즈니스 사용자는 선호하는 BI 도구(예: Tableau, Power BI, SageMaker, Looker 또는 Jupyter Notebook)를 app.dremio.cloud의 컨트롤 플레인에 연결할 수 있습니다. 컨트롤 플레인은 쿼리 실행을 고객의 AWS 계정에 자동으로 프로비저닝되는 컴퓨팅 엔진에 안전하게 위임하므로 고객 계정 내에서 모든 데이터 처리가 이루어집니다.

데이터 영역 아키텍처는 다양한 워크로드를 지원하는 적정 규모의 컴퓨팅 엔진 여러 개로 구성되어 있습니다. 이 다중 엔진 아키텍처를 기반으로 구축된 Dremio Cloud에는 워크로드 크기에 따라 엔진을 동적으로 확장할 수 있는 기능을 도입했기 때문에 일관된 성능을 유지하면서 모든 수준의 동시성을 처리할 수 있습니다. 모든 데이터는 고객 계정 내에서 저장 및 처리되고 전송 및 저장 중에 암호화되므로 고객이 데이터를 완벽하게 제어할 수 있습니다. 또한 데이터 영역으로의 인바운드 연결이 없으므로 방화벽/보안 그룹에 구멍이 생기지 않습니다. 이러한 기능은 더 강력한 보안 및 거버넌스 사례로 연결됩니다.

이 접근 방식에는 쿼리 성능을 크게 향상시키기 위해 엔드 투 엔드 Apache Arrow를 사용하는 등의 상당한 기술 혁신이 필요했습니다. Arrow가 없으면 데이터 구조의 직렬화 및 역직렬화 효율이 떨어지고 결과적으로 메모리와 CPU 리소스가 낭비됩니다. Dremio는 Arrow를 통해 열 기반 데이터 구조의 이점을 인 메모리 컴퓨팅과 결합하여 성능상의 이점과 복합 데이터 및 동적 스키마의 유연성을 제공할 수 있습니다.

SaaS Factory: 핵심 고객은 누구인가요? Dremio Cloud의 도입으로 이 상황은 어떻게 달라질까요?

Tomer Shiran: Dremio는 항상 기업 데이터를 전략적으로 사용하고자 하는 모든 회사에 적합하도록 설계되었습니다. Standard Chartered Bank와 같은 금융 기관, Johnson & Johnson과 같은 제약 회사, Honeywell과 같은 제조업체 등 모든 업계의 수백 개 기업이 Dremio를 사용하여 클라우드 데이터 레이크를 강화하고 있습니다. Amazon은 Dremio를 사용하여 공급망 데이터와 같은 내부 데이터 레이크의 데이터를 분석하고 이를 기반으로 비즈니스 인텔리전스를 구동합니다.

그렇지만 Dremio Cloud는 양방향으로 확장할 수 있도록 설계되었습니다. 따라서 분석할 데이터는 많지만 자체 데이터 인프라를 운영할 리소스가 꼭 필요한 것은 아니거나 힘들게 모은 벤처 자금을 클라우드 데이터 웨어하우스에 낭비하지 않으려는 벤처 기반 Startup에서 효과적으로 사용할 수 있습니다.

SaaS Factory: SaaS 제품을 추가하려면 포괄적인 비즈니스 및 조직 혁신이 필요합니다. SaaS 비즈니스 및 제공 모델에 더 잘 맞도록 조직의 다양한 기능을 어떻게 발전시켜 왔나요?

Tomer Shiran: 맞습니다. 제품 엔지니어링 측면에서는 수십만 개의 자동 테스트와 포괄적인 CI/CD 프로세스를 만들었습니다. Google 및 Salesforce와 같은 회사의 리더들과 함께 사이트 신뢰성 엔지니어링(SRE), DevOps 및 보안 팀을 포함하도록 제품 개발 조직을 확장했습니다. 그 결과 이제 Dremio Cloud의 업데이트를 매일 릴리스할 수 있게 되었습니다.

Product Engineering 팀을 변경하는 것에 더해 회사 내 Customer Facing 팀을 조정하여 셀프 서비스 채택 모델을 지원할 수 있도록 했습니다. Sales 및 Marketing 팀은 Dremio Cloud 온라인 서비스를 통해 고급 잠재 고객을 유치하는 데 주력하며, Customer Success 및 Support 팀은 운영 데이터와 자동화를 활용하여 사전 예방적이고 구체적인 지원을 제공함으로써 고객 만족도를 높입니다. 결정적으로 내부에서 회사 자체 데이터에 Dremio를 사용하여 이 모든 것을 지원하고 있습니다.

SaaS Factory: Dremio Cloud를 개발할 때 AWS와 어떻게 협력했나요?

Tomer Shiran: 회사 내의 여러 팀이 Amazon과 파트너십을 맺으면서 항상 특별한 관계를 유지해 왔습니다. Amazon S3, AWS Glue 및 Amazon Lake Formation과 같은 수많은 AWS Service 팀과 긴밀하게 협력하여 서비스 간 통합을 제공하고 새로운 기능을 개발합니다. 또한 AWS Marketplace 팀과 협력하여 마켓플레이스를 통해 Dremio를 배포함으로써 기업 고객이 AWS를 통해 결제하고 제품을 소비할 수 있도록 합니다. Sales 및 Marketing 팀은 AWS 파트너 네트워크 및 AWS 영업 조직과 협력하여 AWS 고객이 Dremio를 통해 차세대 데이터 레이크/레이크하우스를 구축할 수 있도록 지원합니다.

지난 몇 년간은 AWS SaaS Factory 팀과 함께 일할 수 있는 특권을 누리기도 했습니다. Dremio Cloud를 구축하기 위한 여정을 시작했을 때, 우리는 최첨단 기술과 모범 사례를 활용하여 동급 최고의 클라우드 서비스를 만들고 싶었습니다. 지난 10년 동안 AWS의 자체 서비스를 포함하여 수많은 SaaS 및 PaaS 서비스가 AWS에 구축되었는데, 우리는 다른 서비스에서 발생하는 문제와 한계를 피하고 제대로 작동하는 서비스를 활용하고자 했습니다. 이를 위해 SaaS Factory 팀과 협력하여 탁월한 확장성, 보안 및 성능을 제공하는 아키텍처를 개발하고, 모든 부문에서 고객에게 최적화된 SaaS 제공 모델을 보장하기 위해 유연한 사용량 기반 가격 책정 전략을 개발했습니다.

SaaS Factory: 2021년 1월에 있었던 가장 최근의 시리즈 D 펀딩 라운드에 따라 이제 Dremio는 공식적으로 '유니콘'이 되었습니다. 창립자가 되고자 하는 분들에게 어떤 조언을 해주시겠어요?

Tomer Shiran: 여러분이 흥미를 가지는 시장에 확실한 니즈가 있다면 주저하지 말고 자신의 Startup을 시작하세요. 그러나 해당 범주에서 최고의 제품을 구축하는 데 시간을 들여야 합니다. 예를 들어 데이터 인프라 공간에서 견고한 제품을 제공하려면 상당한 양의 지적 재산이 필요합니다. Dremio는 혁신과 고객 성공에 중점을 두고 진정한 차세대 데이터 레이크 엔진이 될 것으로 생각되는 제품을 구축하는 데 5년이라는 시간을 들였습니다. 일단 탄탄한 기반을 구축하고 나면 기하급수적 성장을 더 쉽게 실현할 수 있을 것입니다. 창립 후 6년이 지난 현재, Dremio는 세계 최대 기업 다수의 클라우드 데이터 레이크를 지원하고 있으며 작년에는 2억 USD 이상의 벤처 자금을 지원받았습니다.

Dremio와 AWS는 데이터 관리의 미래와 Dremio Cloud를 통해 우리가 제공하는 혁신에 대해 기대가 큽니다. 더 자세히 알아보고 싶다면 Dremio Cloud 페이지를 확인해 보세요!

AWS SaaS Factory 소개

AWS SaaS Factory는 SaaS 여정의 모든 단계에서 조직을 지원합니다. 새로운 제품을 구축하든, 기존 애플리케이션을 마이그레이션하든, AWS에서 SaaS 솔루션을 최적화하려는 경우든 AWS SaaS Factory Program이 도움이 될 수 있습니다. SaaS 빌더와 운영자라면 계정 담당자에게 연락하여 연계 모델에 대해 문의하고 AWS SaaS Factory 팀과 협력해 보세요.

AWS SaaS Factory Insights Hub를 방문하면 더 많은 기술 및 비즈니스 콘텐츠와 모범 사례를 찾아볼 수 있습니다. 등록하여 AWS의 최신 SaaS 뉴스, 리소스 및 이벤트에 대한 최신 정보를 받아보세요.