Dune builds on AWS to amplify the impact of blockchain data

Startup은 문제에 직면하여 단념하는 것이 아니라, 본인과 다른 모든 사람을 위해 문제를 해결하기 위해 노력하는 두려움 없는 사람들에 의해 설립되는 경우가 많습니다.

2018년에 설립된 web3 분석 유니콘 인 Dune도 그러한 Startup 중 하나입니다. 공동 설립자인 Fredrik Haga와 Mats Olsen은 블록체인을 기반으로 Ethereum 프로토타입을 구축하면서 암호화 데이터 출처 통일되지 않은 것이 web3 개발의 주요 장애물이라는 사실을 깨달았습니다. Dune의 Chief Technology Officer(CTO)이기도 한 Mats는 “구축하는 동안 가장 큰 어려움 중 하나는 블록체인에서 구조화된 정보를 다시 가져오는 것이었습니다. 쓰기에는 최적화되어 있지만 읽기에는 최적화된 데이터베이스가 아니기 때문입니다”라고 설명합니다.

Dune은 블록체인 데이터의 통합 및 분석을 간소화하는 것이 가능하다는 것을 증명하고 있습니다. Dune은 Amazon Web Services(AWS)를 기반으로 구축되어, 사람들이 퍼블릭 블록체인 데이터를 쿼리하고 이를 공유 가능한 대시보드에 집계할 수 있는 웹 기반 플랫폼을 제공합니다. 사용자는 여러 토큰, 지갑 및 프로토콜 에 대한 크로스 체인 데이터(개별 블록체인의 데이터)를 가져와 데이터를 더 투명하고 유용하게 보여주는 대시보드를 구축할 수 있습니다.

처음에 Dune은 암호화 데이터를 가져와 다른 web3 개발자가 쉽게 사용하고 액세스할 수 있도록 하는 데 중점을 두었습니다. Mats는 “이 분야의 Startup들이 '사용자가 몇 명인가?'와 같은 쿼리를 하려면 많은 작업과 엔지니어링 시간을 매번 투자해야 했습니다”라고 설명합니다. Dune은 암호화폐 데이터를 더 쉽게 이해하고 사용할 수 있는 제품을 출시하면서, 데이터의 효용성을 더 높이기 위해 플랫폼에 시각화 및 대시보드 요소를 추가하기 시작했습니다.

Mats는 “암호화폐에서는 많은 사람들이 데이터를 사용할 수 있고 그냥 봐도 된다고 말합니다.데이터를 사용할 수 있는 것은 사실이지만 Dune은 데이터를 실용적으로 사용할 수 있게 해줍니다. 저희가 이 분야에서 투명성과 접근성을 높였다는 데 자부심을 느낍니다”라고 말합니다.

현재 Dune은 커뮤니티 회원들이 만드는 대시보드로 유명하며, 소셜 미디어, 암호화폐 뉴스 웹사이트 및 Dune 자체에서 널리 공유됩니다. Mats는 “암호화폐 업계에서 나타나는 가장 흥미로운 특징 중 하나는 바로 바이럴이라는 측면입니다. 퍼블릭 블록체인 사용 데이터가 제품 소유자뿐만 아니라 투자자, 경쟁업체, 규제 기관에게도 중요한 역할을 하는 소위 이해관계자 폭발이 일어나고 있습니다. 이는 흥미로운 현상입니다”라고 말합니다.

AWS로 마이그레이션하여 구축 및 규모 조정

Mats와 팀은 Dune의 사용자 기반이 확장되고 기술적 니즈가 커짐에 따라 멀티 클라우드 환경에서 올인원 클라우드 제공업체로 마이그레이션할 때가 되었다고 판단했습니다. 이에 Dune은 AWS에 올인하기로 결정했습니다.

Dune이 마이그레이션한 주된 이유 중 하나는 현재와 미래의 요구 사항을 모두 충족할 수 있는 서비스를 갖춘 단일 위치에서 워크로드를 호스팅하기 위해서였습니다. Mats는 “AWS가 다양한 오퍼링을 제공한다는 사실이 저희에게 정말 중요했습니다. 일례로 AWS는 Amazon DynamoDB와 같은 정말 유용한 서비스를 제공합니다. 지금은 이 서비스를 많이 사용하지 않지만 향후 사용할 계획입니다”라고 설명합니다.

AWS는 다른 어떤 클라우드 제공업체보다 많은 완전한 기능을 갖춘 200가지 이상의 서비스를 제공하는 것은 물론, 가장 널리 도입된 클라우드입니다. 대부분의 Startup과 마찬가지로 Dune도 엔지니어가 최대한 빨리 혁신하고 구축할 수 있도록 지원하기를 원합니다.

Mats는 “AWS는 엔지니어링 분야에서 매우 잘 알려져 있고 많은 성과를 거두고 있습니다. 대부분의 엔지니어가 이전에 사용해본 적이 있기 때문에 쉽게 사용할 수 있습니다. 학습 시간이 필요 없기 때문에 정말 유용합니다”라고 말합니다.

Dune은 AWS Migration Acceleration Program (MAP) 과 AWS Activate 를 활용하여 AWS로 마이그레이션했습니다. 크레딧은 Dune이 처음 3개월 동안 비용 없이 AWS로 마이그레이션하는 데 도움이 되었습니다.

현재 Dune의 기술 스택에는 대시보드에 기여하는 엄청난 양의 데이터를 호스팅하기 위해, 어디서나 원하는 양의 데이터를 검색할 수 있는 객체 스토리지인 Amazon Simple Storage Service(S3)가 포함되어 있습니다. Dune은 이 데이터를 처리하기 위해 Apache Spark를 사용한 다음 Trino를 사용하여 데이터를 쿼리합니다. 또한 많은 Kubernetes 클러스터를 실행하기 때문에 대부분의 Dune 애플리케이션은 Amazon Elastic Kubernetes Service(Amazon EKS)를 사용합니다. 안전하고 확장 가능한 고객 자격 증명 및 액세스 관리를 구현하기 위해 Dune은 Amazon Cognito를 사용합니다.

Dune은 AWS를 기반으로 구축함으로써 인프라 및 최적화부터 시장 진출 및 네트워킹에 이르기까지, 모든 분야에서 AWS Startup 팀의 지원을 받습니다. Mats는 “AWS로부터 받은 도움에 항상 만족했습니다. Solutions Architect나 상업적 기회 등의 지원을 받을 수 있어 정말 든든합니다”라고 말합니다.

지출보다 제품에 더 집중

클라우드 비용 문제를 비롯해 모든 측면에서 Dune에게는 데이터가 무엇보다 중요합니다. Mats는 “저희에게 가장 중요한 것은 어디에 비용을 지출하고 그것이 고객에게 얼마나 더 많은 가치를 제공하는지 파악하는 것입니다”라고 말합니다.

Dune은 클라우드 비용을 줄이고 지출의 효율성을 극대화하기 위해 Account 팀과 협력하여 재정적으로 기술 요구 사항에 가장 적합한 옵션을 선택했습니다. 여기에는 AWS Graviton 프로세서와 오픈 소스 Kubernetes 클러스터 오토 스케일러인 Karpenter가 포함되었습니다.

또한 Dune은 Amazon EC2 예약형 인스턴스 에서 온디맨드 사용량과 비교했을 때 26%의 비용을 절감할 수 있었습니다. Zesty 를 사용하여 이러한 인스턴스의 구매를 자동화하고, AWS 컴퓨팅 사용을 위한 유연한 요금 모델인 절감형 플랜을 사용하여 이 목표를 달성했습니다. Mats는 “스팟 인스턴스 는 Kubernetes를 많이 사용하는 저희에게 도움이 되기 때문에 클라우드 비용 절감 전략에서 큰 부분을 차지하고 있습니다”라고 덧붙입니다.

Startup에 무료 도구, 리소스 등을 제공하는 프로그램인 AWS Activate도 Dune이 지출보다 제품에 집중할 수 있도록 하는 데 핵심적인 역할을 합니다. Mats는 “크레딧 덕분에 클라우드 워크로드 최적화에 대한 걱정을 덜 수 있게 되었습니다”라고 말합니다. Dune은 AWS Activate에서 제공받은 크레딧을 사용하여 고객에게 더 나은 제품을 제공하고 혁신을 촉진할 수 있었습니다.

Mats는 “무엇보다 크레딧은 저희가 제품의 시장 적합성에 집중할 수 있게 해주었습니다. 지출 관리에 신경 쓰지 않고 사용자의 니즈에 맞게 제품을 개선하는 데 집중할 수 있었죠. 크레딧 덕분에 신제품의 평가판 사용과 실험에 대한 장벽이 낮아졌습니다. 말하자면, 요금가 바로 청구되지 않았던 덕분이죠”라고 설명합니다.

성공적인 Startup 창업을 위한 교훈

AWS Activate 크레딧을 사용하면서 Dune이 그랬던 것처럼 고객의 문제를 해결하는 제품을 구축하는 것이 첫 번째 규칙입니다. Mat는 “무엇보다 사용자가 중요합니다. 사용자가 없다면 찾아야죠”라고 설명합니다. 사용자를 확보하는 가장 좋은 방법은 여러분 자신뿐만 아니라 해당 분야의 모든 사람들을 위해 문제를 찾아 해결하는 것입니다. Mat는 고객의 피드백과 제품에 대한 장기적 비전의 균형을 유지하는 것만큼 고객의 의견에 귀를 기울이는 것도 중요하다고 조언합니다.

성공적인 Startup을 창업하는 것은 쉬운 과정이 아닙니다. Mats는 “대부분의 Startup은 포기하기 때문에 사라집니다. 경쟁에서 이기려면 게임에 계속 참여해야 합니다”라고 조언합니다. Mats는 초기에 Dune의 팀원들이 거의 1년 동안 무급으로 일했고, 고객이 셋뿐이었으며, 회사가 몇 주 후에 문을 닫을 상황까지 몰리기도 했다고 이야기합니다. 하지만 포기하지 않았고, 투자를 통해 Dune은 구축을 이어가고 성장할 수 있었습니다.

web3의 미래를 함께 구축

Dune의 첫 5년은 신나는 시간이었습니다. Dune은 암호화폐의 두 가지 주요한 소비자 현상인 DeFi(탈중앙화 금융)와 NFT(대체 불가능한 토큰)가 나타나는 동안 데이터 수요를 지원하는 동시에, 불과 3년 만에 아이디어 단계에서 유니콘으로 성장했습니다. Mats는 이제 기술이 web3 혁신, 통화, 사람들의 가치 저장 방식에 기여하는 데 있어 ‘그 어느 때보다 중요한’ 역할을 해야 할 때가 왔다고 말합니다.

Dune은 이 기회를 놓치지 않을 계획입니다. 직원이 40명이 넘는 이 회사는 새로운 기능을 통합하여 사용자들이 암호화폐 데이터를 더욱 쉽게 이용할 수 있도록 지원할 역량을 갖추고 있습니다. Mats는 “사용자의 니즈에 맞게 백엔드에서 컴퓨팅을 확장할 수 있는 능력이 중요합니다. 오토 스케일링을 통해 더 나은 고객 경험을 제공하기 위해 많은 투자를 하고 있습니다”라고 말합니다.

또 어떤 미래가 펼쳐질까요? Mats는 “가장 기대되는 것은 생성형 AI입니다. 6월부터 저는 사용자가 대규모 언어 모델을 통해 SQL을 사용하지 않고도 데이터베이스와 상호 작용할 수 있는 방법을 실험하기 위한 이니셔티브를 진행하기 시작했습니다”라고 말합니다. 소위 Text-to-SQL라고 하는, 자연어 텍스트에서 SQL 쿼리를 생성하는 기능은 Dune의 진입 장벽을 낮춰줄 것입니다. 이 기능을 통해 SQL 작성 및 실행 방법을 모르는 사용자도 데이터베이스와 상호 작용할 수 있습니다.

생성형 AI는 그 어느 때보다 많은 사람들이 크로스 체인 데이터를 집계하고 시각화할 수 있도록 함으로써, web3를 민주화하는 데 도움이 될 수 있는 새로운 수단입니다. Mats는 “오픈 소스 대규모 언어 모델을 실험할 준비가 되면, AWS에서 호스팅하고 미세 조정하는 것이 가장 좋은 옵션입니다”라고 말합니다.

AWS의 도움을 받아 기술 스택을 최적화하는 것이든, 신제품을 개발하는 것이든, 기술 발전을 통해 혁신을 하는 것이든, Mats는 Dune 팀이 미래의 모든 기회에 대응할 준비가 되어 있다는 것을 알고 있습니다.

Mats는 “저희가 다른 여러 회사와 차별화되는 점은 기존 기술을 필요에 맞게 수정할 수 있다는 것입니다. 저희는 오픈소스 도구를 사용하는 것을 두려워하지 않으며, 어려운 도전에도 기꺼이 나섭니다. 이 모든 것이 더 나은 사용자 경험으로 이어집니다”라고 말합니다.