Com as GPUs NVIDIA A100 Tensor Core de última geração, cada instância P4d oferece, em média, performance de aprendizado profundo (DL) 2,5 vezes melhor em comparação com instâncias P3 da geração anterior. Os EC2 UltraClusters de instâncias P4d ajudam desenvolvedores, cientistas de dados e pesquisadores a executar workloads de ML e HPC mais complexas, dando acesso à performance de classe de supercomputação sem custos iniciais ou compromissos de longo prazo. O tempo de treinamento reduzido com instâncias P4d aumenta a produtividade, ajudando desenvolvedores a se concentrarem em sua missão principal de desenvolver inteligência de ML em aplicações comerciais.

Os desenvolvedores podem escalar perfeitamente para até milhares de GPUs com EC2 UltraClusters de instâncias P4d. Alto throughput, redes de baixa latência com suporte para redes de instância de 400 Gbps, Elastic Fabric Adapter (EFA) e tecnologia GPUDirect RDMA ajudam a treinar rapidamente modelos de ML usando técnicas de aumento da escala horizontal/distribuídas. O EFA usa a NVIDIA Collective Communications Library (NCCL) para escalar para milhares de GPUs, e a tecnologia GPUDirect RDMA permite a comunicação de GPU para GPU de baixa latência entre instâncias P4d.

As instâncias P4d oferecem custo até 60% inferior para treinar modelos de ML em comparação com as instâncias P3. Além disso, as instâncias P4d estão disponíveis para compra como instâncias spot. As instâncias spot utilizam a capacidade de instâncias do EC2 não utilizadas e podem reduzir substancialmente os custos do EC2 em até 90% em relação aos preços sob demanda. Com a diminuição do custo de treinamento de ML com instâncias P4d, os orçamentos podem ser realocados para desenvolver mais inteligência de ML em aplicações comerciais.

As AMIs de deep learning da AWS (DLAMI) e os contêineres de deep learning da Amazon facilitam a implantação de ambientes de DL P4d em minutos, pois contêm as bibliotecas e ferramentas de framework de DL necessárias. Também é possível adicionar mais facilmente suas próprias bibliotecas e ferramentas a essas imagens. As instâncias P4d são compatíveis com frameworks de ML mais usados, como TensorFlow, PyTorch e MXNet. Além disso, as instâncias P4d são compatíveis com os principais serviços da AWS para ML, gerenciamento e orquestração, como Amazon SageMaker, Amazon Elastic Kubernetes Service (Amazon EKS), Amazon Elastic Container Service (Amazon ECS), AWS Batch e AWS ParallelCluster.

As GPUs NVIDIA A100 Tensor Core oferecem aceleração sem precedentes em escala para ML e HPC. A terceira geração de Tensor Cores do NVIDIA A100 agiliza todas as workloads de precisão, acelerando o tempo de obtenção de insights e de comercialização. Cada GPU A100 oferece performance de computação 2,5 vezes superior em comparação com a GPU V100 da geração anterior e vem com 40 GB de memória de GPU HBM2 (em instâncias P4d) ou 80 GB de HBM2e (em instâncias P4de) de alta performance. Uma memória de GPU maior beneficia em particular as workloads em treinamento sobre grandes conjuntos de dados de dados de alta resolução. As GPUs NVIDIA A100 utilizam throughput de interconexão da GPU NVSwitch para que cada GPU possa se comunicar com todas as outras GPUs na mesma instância com o mesmo throughput bidirecional de 600 GB/s e com latência de salto único.

As instâncias P4d oferecem redes de 400 Gbps para ajudar os clientes a aumentar a escala horizontalmente de suas workloads distribuídas, como treinamento de vários nós de forma mais eficiente, com redes de alto throughput entre instâncias P4d, bem como entre uma instância P4d e serviços de armazenamento, como o Amazon Simple Storage Service (Amazon S3) e FSx para Lustre. O EFA é uma interface de rede personalizada criada pela AWS para ajudar a escalar aplicações de ML e HPC para milhares de GPUs. Para reduzir ainda mais a latência, o EFA é acoplado ao NVIDIA GPUDirect RDMA para habilitar a comunicação de GPU para GPU de baixa latência entre servidores com desvio de sistema operacional.

Alcance um alto throughput em escala de petabytes, armazenamento de baixa latência com FSx para Lustre ou armazenamento com bom custo-benefício praticamente ilimitado com o Amazon S3 a velocidades de 400 Gbps. Para workloads que precisam acessar rapidamente grandes conjuntos de dados, cada instância P4d também inclui armazenamento SSD baseado em NVMe de 8 TB com throughput de leitura de 16 GB/s.

As instâncias P4d são desenvolvidas no AWS Nitro System, que é uma coleção complexa de blocos de criação que transferem muitas das funções tradicionais de virtualização para hardware e software dedicados para entregar altos níveis de performance, disponibilidade e segurança, além de reduzir a sobrecarga da virtualização.

O Amazon SageMaker é um serviço totalmente gerenciado para criar, treinar e implantar modelos de ML. Quando usado em conjunto com as instâncias P4d, os clientes podem escalar facilmente para dezenas, centenas ou milhares de GPUs a fim de treinar rapidamente um modelo em qualquer escala, sem se preocupar com a configuração de clusters e pipelines de dados.

A DLAMI disponibiliza para profissionais e pesquisadores de ML a infraestrutura e as ferramentas necessárias para acelerar o DL na nuvem em qualquer escala. Os contêineres do Deep Learning consistem em imagens do Docker com frameworks de DL pré-instalados para facilitar a rápida implantação de ambientes personalizados de ML, evitando que você tenha de se preocupar com o processo complicado de criar e otimizar ambientes do zero.

Se preferir gerenciar suas próprias workloads em contêineres por meio de serviços de orquestração de contêineres, você pode implantar instâncias P4d com o Amazon EKS ou o Amazon ECS.