고객 사례/소프트웨어 및 인터넷/미국
Autodesk, Amazon EMR을 사용하여 안정적이고 비용 효율적인 빅 데이터 분석 구축
3D 설계, 엔지니어링 및 엔터테인먼트 소프트웨어 회사인 Autodesk가 어떻게 Amazon EMR로 마이그레이션하고 비용을 절감하면서 성능과 신뢰성을 개선했는지 알아보세요.
개요 | 기회 | 솔루션 | 성과 | 사용된 AWS 서비스 | 아키텍처 다이어그램
제로 서비스 가동 중지 시간 달성
Amazon EMR로 마이그레이션한 후
99.8% 가용성
오픈 소스 워크로드에 대한 가용성
30% 절감
비용 절감
Auto Scaling 구현
성장 과정을 지원
25% 단축
문제 해결에 소요되는 시간
개요
Autodesk에 있어 데이터는 비즈니스 의사 결정과 성장 전략의 원동력입니다. 따라서 빅 데이터 프레임워크의 신뢰성은 성공의 필수 조건이라고 할 수 있습니다. Autodesk는 서드 파티 빅 데이터 솔루션에서 장시간 운영 중단 문제와 효율성 문제가 발생하자, 지속적인 성장을 지원할 수 있는 보다 안정적인 대체 솔루션을 찾아 나섰습니다.
Amazon Web Services(AWS)를 파트너로 선정한 Autodesk는 복잡한 데이터 환경을 오픈 소스 프레임워크를 사용하여 페타바이트 규모의 데이터 처리, 대화형 분석 및 기계 학습(ML)을 지원하는 업계 최고의 클라우드 빅 데이터 솔루션인 Amazon EMR로 성공적으로 마이그레이션했습니다. 이제 장시간 운영 중단이나 가동 중지 없이 빠른 성능으로 고성능 빅 데이터 워크로드를 대규모로 실행할 수 있습니다.
기회 | Amazon EMR을 사용하여 Autodesk의 빅 데이터 처리 개선
1982년에 설립된 Autodesk는 전 세계 1억 명 이상의 고객이 사용하는 3D 설계, 엔지니어링 및 엔터테인먼트 소프트웨어를 만듭니다. AutoCAD 소프트웨어는 건축가, 엔지니어 및 건설 전문가가 정확한 디지털 도면을 작성하도록 지원합니다. Autodesk는 데이터 기반 기업으로서 분석과 인사이트를 활용하여 고객에게 더 나은 솔루션과 기능을 제공합니다. 하지만 서드 파티 빅 데이터 솔루션으로는 성장 속도를 따라갈 수 없었습니다.
Autodesk의 Senior Engineering Manager인 Nick Wilson은 “이전 솔루션에는 신뢰성 문제가 많았습니다. 데이터는 Autodesk 비즈니스의 기본 단위입니다. 저희에게 필요한 신뢰성을 제공하고 성장 속도에 맞추어 확장할 수 있는 새로운 제공업체가 필요했습니다”라고 말합니다.
Autodesk는 신뢰성과 성능을 높여주는 다양한 솔루션을 평가한 끝에 Amazon EMR로 마이그레이션하기로 결정했습니다. Wilson은 “Autodesk는 다양한 AWS 서비스를 활용하고 있으며, 오랫동안 AWS 서비스를 사용해왔습니다. 또한 AWS는 저희가 지불하는 비용보다 더 많은 서비스를 제공했습니다. 서드 파티 제공업체의 모든 워크로드를 Amazon EMR 및 기타 AWS 서비스로 마이그레이션하기 위한 경로를 찾을 수 있었습니다”라고 말합니다.
Amazon EMR로 마이그레이션하면서 비용이 30% 절감되었습니다. 이러한 비용 절감을 달성하면서도 보안 태세를 대폭 강화할 수 있었습니다.”
Anitha Matta
Autodesk, Platform Infrastructure 부문 Engineering Manager
솔루션 | AWS Migration Acceleration Program을 통해 보안 및 신뢰성을 강화하는 동시에 페타바이트 규모의 데이터를 마이그레이션
Autodesk의 빅 데이터 워크로드를 Amazon EMR로 마이그레이션하는 것은 간단한 작업이 아니었습니다. 이 작업에는 각각 다른 코딩 언어를 사용하고 서로 다른 유형의 쿼리를 실행하던 30개 팀의 워크로드를 마이그레이션하는 작업이 포함되었습니다. 또한 Autodesk의 모든 비즈니스 크리티컬 워크로드가 서드 파티 솔루션에서 실행되었기 때문에 이 프로세스를 진행하는 중에 불필요한 중단을 방지해야 했습니다. 복잡한 마이그레이션을 간소화하기 위해 Autodesk는 결과 중심의 방법론을 통해 클라우드 마이그레이션 및 현대화 여정을 가속화하는 데 도움을 주는 AWS Migration Acceleration Program(AWS MAP)에 참여했습니다. AWS MAP에서는 마이그레이션의 기술적 측면에서 Autodesk를 지원했을 뿐만 아니라, 일부 비용을 상쇄할 수 있는 크레딧도 제공했습니다.
Wilson은 “새로운 서비스로 마이그레이션할 때마다, 컴퓨팅 경험이 쌓이기 전까지는 컴퓨팅이 최적화되지 않을 것입니다. AWS MAP 요금 덕분에 마이그레이션이 수익에 미치는 영향을 최소화하면서 원활하게 전환할 수 있었습니다”라고 말합니다.
Autodesk는 오픈 소스 통합 분석 엔진인 Apache Spark를 Amazon EMR에서 실행하면서 기본 컴퓨팅 엔진으로 사용했습니다. Spark 클러스터는 모든 데이터 처리, 추출, 로드, 변환 파이프라인을 지원합니다. Autodesk는 데이터 로드를 처리하기 위해 확장 가능한 고성능 블록 스토리지 서비스인 Amazon Elastic Block Store(Amazon EBS)를 기반으로 한 볼륨을 Spark 인스턴스에 연결합니다. 이 서비스는 1PB에 달하며 매달 증가하는 Autodesk 데이터를 처리하도록 원활하게 확장됩니다. 대시보드를 구동하고 분석 기능을 제공하기 위해 Autodesk는 Amazon EMR에서 오픈 소스 분산 SQL 쿼리 엔진인 Presto를 실행합니다.
Wilson은 “Amazon EMR 기반 Presto는 개발자 흐름의 핵심적인 요소입니다. 우리 팀이 데이터와 상호 작용하고 데이터를 통해 학습하는 데 도움을 주며, 신제품 개발에 도움이 되는 일반적인 비즈니스 인사이트를 제공합니다”라고 말합니다.
Amazon EMR을 도입함으로써 Autodesk는 빅 데이터 서비스의 신뢰성을 대폭 개선했습니다. Apache Spark와 Presto를 사용하는 워크로드의 경우, 99.8%의 가용성을 달성했으며 심각한 운영 중단이나 서비스 가동 중단이 발생하지 않았습니다. 또한 Autodesk는 문제 해결에 소요되는 시간을 25% 단축했습니다.
개발 팀은 이러한 일관된 신뢰성에 매우 만족했고, 이제 비즈니스의 다른 영역에 리소스를 집중할 수 있게 되었습니다. Wilson은 “예전에는 일요일에 회사에서 오는 메시지를 보고 싶지 않았죠. 서드 파티 솔루션에 문제가 발생해 비즈니스 크리티컬 프로세스가 중단되었다는 내용일 테니까요. 이제는 파이프라인이 안정적으로 운영되고, 클러스터가 정상적으로 실행되며, 서비스 수준에 관한 계약을 충족하게 되었습니다. 지금은 마이그레이션 전보다 Amazon EMR에서 훨씬 더 안정적으로 시스템을 실행할 수 있게 되었습니다”라고 말합니다.
아키텍처 다이어그램
그림 1. 작업 제출 및 마이그레이션
그림 1. 작업 제출 및 마이그레이션
전체 화면으로 보려면 클릭하여 확대하세요.
그림 2. 빅 데이터 처리를 위한 Autodesk의 AWS 아키텍처
그림 2. 빅 데이터 처리를 위한 Autodesk의 AWS 아키텍처
전체 화면으로 보려면 클릭하여 확대하세요.
성과 | AWS를 기반으로 빅 데이터 처리의 비용, 성능 및 신뢰성 개선
Autodesk는 빅 데이터 환경을 Amazon EMR로 마이그레이션함으로써 서비스의 신뢰성, 성능 및 비용 효율성을 개선했습니다. Autodesk의 Platform Infrastructure 부문 Engineering Manager인 Anitha Matta는 “Amazon EMR로 마이그레이션함으로써 비용을 30% 절감했습니다. 이러한 비용 절감을 달성하는 동시에 보안 태세를 대폭 강화했습니다”라고 말합니다.
마이그레이션을 시작한 후 Autodesk는 6개월 만에 이전 솔루션과 같은 수준으로 비용을 낮출 수 있었습니다. 클러스터가 Amazon EMR에 명확하게 격리되어 있기 때문에 비용을 유발하는 특정 워크로드를 거의 실시간으로 파악할 수 있습니다. 팀은 이 정보를 사용하여 프로젝트의 투자 수익을 파악하고, 비용 효율성을 개선하기 위한 전략적 결정을 내릴 수 있습니다. 또한 Autodesk는 서드 파티 솔루션과 거의 동일한 가격으로 대규모 데이터 세트를 처리하고 분석하는 동시에, 성능과 신뢰성을 개선할 수 있습니다.
이 회사의 다음 목표는 Apache Spark 클러스터를 업그레이드하고 AWS 클라우드 및 온프레미스 데이터 센터에서 Kubernetes를 실행하는 관리형 서비스인 Amazon Elastic Kubernetes Service(Amazon EKS)를 사용하여 컨테이너화된 아키텍처를 도입하는 것입니다. 또한 Autodesk는 완전히 통합된 개발 환경인 Amazon SageMaker Studio와 같은 ML 서비스를 사용하여 조직 전반에 고급 기능을 통합하고 있습니다.
Wilson은 “2013년부터, 클라우드로의 이전은 Autodesk의 여정에서 큰 부분을 차지했습니다. 이 마이그레이션을 통해, 저희는 통합 및 관리되는 데이터에 적시에 손쉽게 액세스하여 성장을 촉진하고자 했습니다. 그리고 AWS를 사용하여 이 목표를 달성했습니다. AWS에서 중앙 집중식으로 데이터에 액세스할 수 있도록 하면, 제품, 비즈니스, 마케팅, 영업, 재무 등 Autodesk 전반의 여러 팀이 데이터를 이용할 수 있게 됩니다. 따라서 AWS 서비스는 저희 회사의 여러 중요 부문을 지원한다고 할 수 있습니다”라고 말합니다.
Autodesk 소개
Autodesk는 다양한 산업 부문에 걸쳐 소프트웨어 제품 및 서비스를 제공하여 혁신가의 설계 역량을 강화합니다. AutoCAD 소프트웨어는 건축가, 엔지니어 및 건설 전문가가 정확한 도면을 디지털 방식으로 작성하도록 지원합니다.
사용된 AWS 서비스
Amazon EMR
Amazon EMR은 Apache Spark, Apache Hive, Presto와 같은 오픈 소스 프레임워크를 사용하여 페타바이트 규모의 데이터 처리, 대화형 분석, 기계 학습을 지원하는 업계 최고의 클라우드 빅 데이터 솔루션입니다.
Amazon EBS
Amazon Elastic Block Store(Amazon EBS)는 사용이 쉽고 확장 가능한 고성능 블록 스토리지 서비스로서 Amazon Elastic Compute Cloud(Amazon EC2)용으로 설계되었습니다.
AWS Migration Acceleration Program(MAP)
AWS Migration Acceleration Program(MAP)은 수많은 엔터프라이즈 고객을 클라우드로 마이그레이션한 AWS의 경험에 기반을 둔 포괄적이고 검증된 클라우드 마이그레이션 프로그램입니다.
더 많은 Autodesk 성공 사례
시작하기
모든 산업에서 다양한 규모의 조직이 AWS를 통해 매일 비즈니스를 혁신하고 임무를 수행하고 있습니다. 지금 전문가와 상담하고 AWS로의 여정을 시작하세요.