實現零服務停機
遷移到 Amazon EMR 之後
99.8%
開放原始碼工作負載可用性
降低 30%
成本降低
實作自動調整規模
以支援成長
減少 25%
花費在疑難排解的時數
概觀
對 Autodesk 而言,資料是業務決策和成長策略背後的驅動力。因此,大數據架構的可靠性對於他們取得成功至關重要。由於三方大數據解決方案出現長時間停機和效率問題,Autodesk 決定尋求其他更可靠的方案,並希望新的方案可擴展,從而支援其持續成長。
藉助 Amazon Web Services (AWS),Autodesk 成功將其複雜的資料環境遷移到 Amazon EMR,這是一種業界領先的雲端大數據解決方案,適用於 PB 級資料處理、互動式分析和使用開放原始碼架構的機器學習 (ML)。現在,該公司能夠大規模執行高效能大數據工作負載,速度快,並且不會出現長時間的中斷或停機。
機會 | Autodesk 使用 Amazon EMR 改善大數據處理
Autodesk 成立於 1982 年,生產 3D 設計、工程和娛樂軟體,在全球擁有超過 1 億使用者。其 AutoCAD 軟體可協助建築師、工程師和建築專業人士以數位方式建立精確的數位圖紙。作為一家資料驅動型公司,Autodesk 利用分析和洞察為客戶提供更好的解決方案和功能。然而,其使用的第三方大數據解決方案卻無法跟上其成長步伐。
「我們之前的解決方案存在許多可靠性問題,」Autodesk 資深工程經理 Nick Wilson 說道,「資料是 Autodesk 業務的基礎。我們需要一個新的供應商,來提供我們所需的可靠性,並可以隨著我們的成長擴展。」
在評估了不同解決方案的可靠性和效能後,Autodesk 選擇遷移到 Amazon EMR。「Autodesk 儼然是一個 AWS 工作室,我們在很早之前就開始使用 AWS 服務,」Wilson 說道,「AWS 為我們提供了物有所值的服務。我們可以找到將每個工作負載從第三方供應商那裡遷移到 Amazon EMR 和其他 AWS 服務的路徑。」
透過遷移到 Amazon EMR,我們將成本降低了 30%。在成本降低的同時,我們還顯著改善了安全狀態。」
Anitha Matta
Autodesk 的 Engineering Manager of Platform Infrastructure
解決方案 | 藉助 AWS Migration Acceleration Program 計畫遷移數 PB 資料,同時增強安全性和可靠性
將 Autodesk 的大數據工作負載遷移到 Amazon EMR 並不是一項簡單的工作。這項工作涉及遷移來自 30 個不同團隊的工作負載,每個團隊使用不同的程式設計語言並執行不同類型的查詢。此外,Autodesk 的所有關鍵業務工作負載都在第三方解決方案上執行,他們需要避免在此過程中出現不必要的中斷。為了促進此次複雜的遷移,Autodesk 參與了 AWS Migration Acceleration Program (AWS MAP),該計畫透過成果導向的方法協助加速雲端遷移和現代化進程。AWS MAP 計畫不僅在遷移的技術方面支援 Autodesk,而且還提供抵用金抵消部分成本。
「每當遷移到新服務,要等到運轉一段時間之後,運算才會得到最佳化,」Wilson 說道,「藉助 AWS MAP 定價,我們最大限度地減少了遷移對我們利潤的影響,並實現了無縫過渡。」
Autodesk 在 Amazon EMR 上執行開放原始碼統一分析引擎 Apache Spark,作為其主要運算引擎。Spark 叢集支援所有資料處理和擷取、載入與轉換管道。為了處理資料負載,Autodesk 將採用 Amazon Elastic Block Store (Amazon EBS) (可擴展的高效能區塊儲存服務) 技術的磁碟區連接到 Spark 執行個體。這些服務可無縫擴展以處理 Autodesk 的資料,這些資料總計達 1 PB,並且每月都在增長。為了支援儀表板並提供分析服務,Autodesk 在 Amazon EMR 上執行開放原始碼分散式 SQL 查詢引擎 Presto。
「Presto on Amazon EMR 是開發人員流程的基本組成部分,」Wilson 說道,「它協助我們的團隊與資料互動並從中學習,並提供一般業務洞見,可協助我們開發新的產品。」
透過採用 Amazon EMR,Autodesk 大大提高了其大數據服務的可靠性。對於依賴 Apache Spark 和 Presto 的工作負載,該公司實現了 99.8% 的可用性,並且沒有經歷任何重大中斷或服務停機。Autodesk 還將疑難排解時間減少了 25%。
得益於這種一致的可靠性,開發團隊現在可以將資源集中投入到業務的其他領域。「以前,我總不想在週日開啟公司的通訊。我害怕又會看到關鍵業務流程由於第三方解決方案故障而出現中斷的消息,」Wilson 說道,「現在,我們的管道執行穩定,叢集按預期執行,我們達到了服務水準協議的要求。如今,我們在 Amazon EMR 上執行的系統比遷移之前要穩定得多。」
架構圖
圖 1:任務提交和遷移
圖 2:Autodesk 用於大數據處理的 AWS 架構
成果 | 在 AWS 上改善大數據處理的成本、效能和可靠性
透過將其大數據環境遷移到 Amazon EMR,Autodesk 提高了服務的可靠性、效能和成本效率。「透過遷移到 Amazon EMR,我們將成本降低了 30%,」Anitha Matta (Autodesk 的 Engineering Manager of Platform Infrastructure) 說道,「在成本降低的同時,我們還顯著改善了安全狀態。」
開始遷移後,Autodesk 在 6 個月內實現了成本平價。由於其叢集在 Amazon EMR 上明確隔離,因此可以近乎即時地將成本歸因於特定工作負載。利用這些訊息,其團隊可以確定專案的投資回報,並做出策略決策以提高成本效率。Autodesk 還可以處理和分析更大的資料集,同時提高效能和可靠性,而成本與使用之前的第三方解決方案相比並無明顯增長。
他們的下一步是升級其 Apache Spark 叢集,並採用使用 Amazon Elastic Kubernetes Service (Amazon EKS) (用於在 AWS 雲端和內部部署資料中心執行 Kubernetes 的受管服務) 的容器化架構。Autodesk 還使用 ML 服務 (例如完全整合的開發環境 Amazon SageMaker Studio) 來統整整個組織的進階功能。
「自 2013 年以來,Autodesk 的很大一部分工作是向雲端的轉移。透過遷移,我們希望能夠輕鬆存取及時、整合且受管控的資料,從而推動我們的成長,」Wilson 說道,「藉助 AWS 我們實現了這些目標。透過在 AWS 上集中存取資料,包括產品、業務、行銷、銷售和財務團隊在內的 Autodesk 的各個團隊都可以方便使用資料。AWS 服務為我們內部的關鍵職能提供著支援。」
Autodesk 簡介
Autodesk 提供多個產業軟體產品和服務,為創新者提供設計支援。其 AutoCAD 軟體可協助建築師、工程師和營造專業人士以數位方式建立精確的圖紙。
使用的 AWS 服務
Amazon EMR
Amazon EMR 是領先業界的雲端大數據解決方案,用於使用開放原始碼架構 (如 Apache Spark、Apache Hive 和 Presto) 來進行 PB 級資料處理、互動式分析和機器學習。
Amazon EBS
Amazon Elastic Block Store (Amazon EBS) 是易於使用、可擴展的高效能區塊儲存服務,專為與 Amazon Elastic Compute Cloud (Amazon EC2) 搭配使用而設計。
AWS Migration Acceleration Program (MAP)
AWS Migration Acceleration Program (MAP) 是一項全方位且久經驗證的雲端遷移計畫,借鑑了 AWS 成千上萬企業客戶遷移至雲端的經驗。
更多 Autodesk 案例
開始使用
各行各業各種規模的組織每天都在使用 AWS 來變革其業務和履行其使命。聯絡我們的專家,立即開始您的專屬 AWS 雲端之旅。