P5 インスタンスは、合計で最大 640 GB の HBM3 GPU メモリを備えた最大 8 個の NVIDIA H100 GPU (インスタンスあたり) を搭載しています。P5e インスタンスは、合計で最大 1,128 GB の HBM3e GPU メモリを備えた最大 8 個の NVIDIA H200 GPU (インスタンスあたり) を搭載しています。両方のインスタンスは、最大 900 GB/秒の NVSwitch GPU インターコネクト (各インスタンスで合計 3.6 TB/秒の二分バンド幅) をサポートしているため、各 GPU は同じインスタンス内の他のすべての GPU とシングルホップレイテンシーで通信できます。

NVIDIA H100 および H200 GPU には、FP8 と 16 ビット計算をインテリジェントに管理して動的に選択する新しいトランスフォーマーエンジンが搭載されています。前世代の A100 GPU と比較すると、この機能により、LLM での DL トレーニングがさらに高速化されます。HPC ワークロード向けに、NVIDIA H100 および H200 GPU には、A100 GPU と比較して動的プログラミングアルゴリズムをさらに加速させる新しい DPX 命令が備わっています。

P5 および P5e インスタンスは、最大 3,200 Gbps の EFAv2 ネットワーキングを提供します。EFAv2 は、分散型トレーニングワークロードにおける集合的な通信パフォーマンスで最大 50% の改善を提供します。また、EFAv2 を NVIDIA GPUDirect RDMA と組み合わせると、オペレーティングシステムバイパスによりサーバー間の低レイテンシーの GPU 間通信も可能になります。

P5 および P5e インスタンスは Amazon FSx for Lustre ファイルシステムをサポートしているため、大規模な DL および HPC ワークロードに必要な数百 GB/秒のスループットと数百万 IOPS でデータにアクセスできます。各 P5 および P5e インスタンスは、最大 30 TB のローカル NVMe SSD ストレージもサポートし、大規模なデータセットへの高速アクセスを実現します。また、Amazon Simple Storage Service (Amazon S3) では、費用対効果の高いストレージを事実上無制限に使用できます。

SageMaker は、ML モデルを構築、トレーニング、およびデプロイするためのフルマネージドサービスです。P5 インスタンスと一緒に使用すると、クラスターやデータパイプラインの設定を気にすることなく、数十、数百、数千の GPU に簡単にスケールし、あらゆる規模でモデルを迅速にトレーニングできます。

DLAMI は、その規模を問わず、クラウドで DL を加速するためのインフラストラクチャとツールを ML の実践者と研究者に提供します。 Deep Learning Containers は、深層学習フレームワークがプリインストールされた Docker イメージであり、環境の構築と最適化をゼロから行う複雑なプロセスをスキップして、カスタム ML 環境のデプロイを合理化します。

コンテナオーケストレーションサービスを通じて独自のコンテナ化されたワークロードを管理したい場合は、Amazon EKS または Amazon ECS を利用して P5 インスタンスをデプロイできます。