與 AWS 進行資料整合

無論資料位於何處,都能連線至資料並對全部資料採取行動

概觀

最具影響力的資料驅動型洞察來自於對您的業務和客戶的全面了解。只有在跨多個部門、服務、內部部署工具和第三方應用程式連接資料來源的資料時,才能實現這一點。

透過 AWS 整合資料,無論資料位於何處,都能輕鬆連接並對所有資料採用行動。透過 AWS 資料整合功能,您可以將來自多個來源的資料整合在一起;您可以轉換、操作並管理資料,跨資料湖和資料倉儲交付高品質的資料。

觀看 re:Invent 2023 大會關於新發佈產品的內容

AWS 宣布四項零 ETL 整合,旨在跨資料存放區進行資料存取和分析時,能夠更加快速輕鬆

資料整合圖形

使用 AWS 進行資料整合的優勢

您的資料來源廣泛,格式多樣,包括第三方託管應用程式、內部部署資料存放區和營運資料存放區。AWS 服務可連線至數百個資料來源,包括第三方軟體即服務 (SaaS)、內部部署和其他雲端。只要將資料連接或移動到資料湖、倉儲和資料庫中,就能在整個組織內安全地使用這些資料。
AWS Glue 是眾多 AWS 資料整合服務之一,它將主要資料整合功能整合到一起,包括資料探索、擷取、轉換和載入 (ETL)、清理、轉換和集中式編目。它是無伺服器服務,可根據需要自動佈建和管理工作人員。
AWS 提供的工具可滿足資料工程師、ETL 開發人員和業務分析師的需求,協助各種技術水準的使用者以互動的方式探索和處理資料。您可以使用 AWS Glue Studio 中的拖放介面以視覺化方式轉換資料、使用資料準備工具 AWS Glue DataBrew 清理和標準化資料,以及使用您偏好的整合式開發環境 (IDE) 或筆記型電腦測試資料。
通常,組織必須支持各種資料處理架構,例如 ETL、反向 ETL 和擷取、載入和轉換 (ELT),以及批次、微批次和串流等各不相同的工作負載。AWS 為所有架構和工作負載提供靈活的支援,並利用開放原始碼標準來實現可攜性。

使用 AWS 解決資料整合挑戰

AWS 可協助您從儲存資料的任何地方存取和整合資料,讓資料整合團隊專注於高價值活動,以儘可能發揮資料的最大價值。

AWS Glue 能讓您輕鬆探索、準備和整合任何規模的所有資料。AWS Database Migration Service 可協助將資料庫和分析工作負載快速、安全地遷移至 AWS,並且將停機時間降至最低,達到零資料遺失率。Amazon Managed Workflows for Apache Airflow (MWAA) 為 Apache Airflow 提供安全、高度可用的受管工作流程協同運作。AWS Data Exchange 與來自 300 多家資料供應商和 3,500 多個資料產品的第三方資料連線。

針對需要轉換資料、標準化資料、在從原始資料存放區擷取資料前檢查資料品質,或縮小資料表欄、列或資料大小的複雜使用案例,AWS Glue 能讓您更輕鬆地準備和整合資料。

針對定期重複 ETL 的常見使用案例,您可以使用 AWS 零 ETL 功能,如此一來就無需建置和管理 ETL 管道。透過 AWS 零 ETL 功能,您可以直接從 Amazon Managed Streaming for Apache Kafka 擷取串流資料至 Amazon Redshift,並透過 Amazon Redshift 近乎即時地分析 Amazon Aurora 資料,還能進一步執行更多功能。

企業中的不同使用者與資料互動的技術能力各不相同,如果沒有合適工具,他們就可能無法與資料互動。

AWS 為所有使用者類型 (從開發人員到業務使用者) 提供特定技能的介面和任務編寫工具。AWS Glue Studio 會自動產生 ETL 程式碼,讓 ETL 開發人員和業務分析師透過無程式碼介面來轉換資料。AWS Glue 還能讓開發人員和工程師使用自己偏好的整合式開發環境 (IDE)、筆記型電腦和處理引擎。Amazon Managed Workflows for Apache Airflow 能讓科學家和工程師協調端對端資料管道。

AWS 能夠為各種工作負載提供支援,而無需鎖定。

您無需成為 Apache Spark 專家,AWS Glue Studio 可協助您撰寫高度可擴展的 ETL 任務,並將結構化和非結構化資料載入資料倉儲和資料湖。Amazon Managed Streaming for Apache Kafka (MSK) 和 Amazon Kinesis 能讓您輕鬆即時擷取和處理串流資料。其他常見工作負載包括批次資料轉換、資料庫複寫、從 SaaS 擷取資料、團隊間共享資料,以及訂閱第三方資料。

AWS Glue – 發現、準備和整合任何規模的所有資料

適用於資料整合的 AWS Q – 採用 生成式 AI 技術的 AWS Glue 功能,可讓您使用自然語言建立資料整合作業。

適用於 Apache Airflow 的 Amazon Managed Workflows - 為 Apache Airflow 提供安全、高度可用的受管工作流程協同運作。

Amazon AppFlow - 自動化軟體即服務 (SaaS) 和 AWS 服務之間的資料流

Amazon Aurora 與 Amazon Redshift 的零 ETL 整合 - 針對 Aurora 中的 PB 級交易資料執行近乎即時的分析和 ML 運算

Amazon Aurora 與 Amazon Redshift 的零 ETL 整合

Amazon DynamoDB 與 Amazon Redshift 的零 ETL 整合

Amazon RDS for MySQL 與 Amazon Redshift 的零 ETL 整合

Amazon DynamoDB 與 Amazon OpenSearch Service 的零 ETL 整合

AWS Database Migration Service - 快速、安全地將資料庫和分析工作負載遷移至 AWS,並且將停機時間降至最低,達到零資料遺失率

Amazon Athena – 輕鬆、靈活地在資料所在位置分析 PB 級資料

Amazon Redshift – 雲端資料倉儲的最高性價比

AWS Lake Formation – 在幾天內建置、管理和保護資料湖

AWS Data Exchange – 輕鬆尋找、訂閱及使用雲端中的第三方資料

AWS Glue 目錄 — 在 AWS 雲端中儲存、註解和共用中繼資料

Amazon DataZone – 使用內建管控功能,解鎖跨組織界限的資料

最新消息

  • 日期 (最新到最舊)
找不到結果
1