Amazon Data Firehose

リアルタイムストリームをデータレイク、ウェアハウス、分析サービスに確実にロードする

利点

ストリーミングデータを簡単にキャプチャ、変換、およびロードします。数回クリックするだけで、配信ストリームを作成し、送信先を選択して、リアルタイムデータのストリーミングを開始できます。

継続的な管理なしで、コンピューティング、メモリ、およびネットワークリソースを自動的にプロビジョニングおよびスケールします。

生のストリーミングデータを Apache Parquet などの形式に変換し、ストリーミングデータを動的に分割します。独自の処理パイプラインを構築する必要はありません。

仕組み

Amazon Data Firehose は、データストリームを数秒以内に取得および変換し、データレイク、データウェアハウス、分析サービスに配信するための極めて簡単な方法を提供します。Amazon Data Firehose を利用するには、ソース、宛先、および必要な変換を使用してストリームを設定します。Amazon Data Firehose はストリームを継続的に処理し、利用可能なデータ量に基づいて自動的にスケールして、数秒以内に配信します。

Amazon Managed Streaming for Kafka (MSK) のトピック、Kinesis Data Streams のストリームなどのデータストリームのソースを選択するか、または Firehose Direct PUT API を使用してデータを書き込みます。Amazon Data Firehose は 20 以上の AWS サービスに統合するため、Databases (プレビュー)、Amazon CloudWatch Logs、AWS WAF ウェブ ACL ログ、AWS Network Firewall ログ、Amazon SNS、AWS IoT などのソースからストリームを設定できます。

Parquet や ORC などの形式へのデータストリームの変換、データの解凍、独自の AWS Lambda 関数を使用したカスタムデータ変換の実行、または別の場所に配信することを目的とした、属性に基づく入力レコードの動的パーティショニングのいずれかを指定します。

Amazon S3、Amazon OpenSearch Service、Amazon Redshift、Splunk、Snowflake、Apache Iceberg Tables、Amazon S3 Tables (プレビュー) やカスタム HTTP エンドポイントなど、ストリームの送信先を選択します。

Amazon Data Firehose の詳細については、Amazon Data Firehose のドキュメントをご覧ください。

ユースケース

データを Amazon S3 にストリーミングし、分析に必要な形式にデータを変換します。処理パイプラインを構築する必要はありません。

サポートされている Security Information and Event Management (SIEM) ツールを使用して、ネットワークセキュリティをリアルタイムでモニタリングし、潜在的な脅威が発生したときにアラートを作成します。

機械学習 (ML) モデルを使用してデータストリームを強化し、データを分析して、ストリームが送信先に移動する際に推論エンドポイントを予測します。


AWS の詳細を見る