Amazon S3 Tables

Amazon S3 Tables は、Apache Iceberg サポートが組み込まれた初めてのクラウドオブジェクトストアを提供し、表形式データの大規模な保存を効率的に行えるようにします。S3 Tables は、汎用の S3 バケットに保存されているセルフマネージド型の Iceberg テーブルと比較して、クエリパフォーマンスが最大 3 倍速く、1 秒あたりのトランザクション数が最大 10 倍多いため、特に分析ワークロードに最適化されています。S3 Tables が Apache Iceberg 標準をサポートしているため、Amazon Athena、Redshift、EMR、Apache Spark などの一般的な AWS およびサードパーティーのクエリエンジンを使用して、表形式のデータを簡単にクエリできます。S3 Tables を使用して、毎日の購入取引、ストリーミングセンサーデータ、広告インプレッションなどの表形式のデータを S3 の Iceberg テーブルとして保存し、自動テーブルメンテナンスを使用してデータの変化に応じてパフォーマンスとコストを最適化します。 詳細についてはブログ記事をお読みください

S3 Tables は、構造化データを Apache Parquet 形式で保存するための専用の S3 ストレージを提供します。テーブルバケット内では、テーブルをファーストクラスのリソースとして直接 S3 に作成できます。これらのテーブルは、ID ベースまたはリソースベースのポリシーで定義されたテーブルレベルの許可で保護でき、Apache Iceberg 標準をサポートするアプリケーションまたはツールによってアクセスできます。テーブルバケットにテーブルを作成すると、S3 内の基盤となるデータは Parquet データとして保存されます。その後、S3 は、その Parquet データをアプリケーションでクエリ可能にするために必要なメタデータを維持します。テーブルバケットには、テーブルバケット内のテーブルの Iceberg メタデータを操作および更新するためにクエリエンジンによって使用されるクライアントライブラリが含まれています。このライブラリは、テーブルオペレーション用の更新された S3 API と連携して、複数のクライアントが安全に、データをテーブルに読み書きできるようにします。時間が経過する中で、S3 は、オブジェクトを書き換える (あるいは「圧縮」する) ことによって、基盤となる Parquet データを自動的に最適化します。圧縮により、S3 上のデータが最適化され、クエリのパフォーマンスが改善し、コストを最小限に抑えることができます。 詳細については、ユーザーガイドをお読みください。