Amazon SageMaker HyperPod

Riduci il tempo di addestramento dei modelli di base fino al 40% e scala in modo efficiente su più di mille acceleratori di IA
Nozioni di base su SageMaker HyperPod

Che cos'è SageMaker HyperPod?

Amazon SageMaker HyperPod rimuove i carichi indifferenziati necessari per lo sviluppo e l'ottimizzazione dell'infrastruttura di machine learning (ML). È preconfigurato con le librerie di addestramento distribuite di SageMaker che dividono automaticamente i carichi di lavoro tra più di mille acceleratori IA, in modo che possano essere elaborati in parallelo per migliorare le prestazioni del modello. SageMaker HyperPod garantisce un addestramento di FM senza interruzioni tramite checkpoint di salvataggio periodico. Rileva automaticamente il guasto hardware quando si verifica, ripara o sostituisce l'istanza difettosa e riprende l'addestramento dall'ultimo checkpoint di salvataggio, rimuovendo la necessità di gestire manualmente il processo. L'ambiente resiliente consente di addestrare modelli per settimane o mesi in un ambiente distribuito senza interruzioni, riducendo il tempo di addestramento fino al 40%. Inoltre, SageMaker HyperPod è altamente personalizzabile e consente di eseguire e scalare in modo efficace i carichi di lavoro FM e di condividere con facilità la capacità di calcolo tra carichi di lavoro diversi, dall'addestramento su larga scala all'inferenza.

Vantaggi di SageMaker HyperPod

Amazon SageMaker HyperPod è preconfigurato con le librerie di addestramento distribuite di Amazon SageMaker, che consentono di suddividere automaticamente i modelli e i set di dati di addestramento tra le istanze del cluster AWS per permettere di dimensionare in modo efficiente i carichi di lavoro di addestramento.
Le librerie di addestramento distribuite di Amazon SageMaker ottimizzano il lavoro di addestramento per l'infrastruttura di rete AWS e la topologia del cluster attraverso due tecniche: parallelismo dei dati e parallelismo dei modelli. Il parallelismo dei modelli divide i modelli troppo grandi per inserirli in parti più piccole all'interno di una singola GPU, prima di distribuirli su più GPU da addestrare. Il parallelismo dei dati divide set di dati di grandi dimensioni per addestrarli contemporaneamente al fine di migliorare la velocità di addestramento.
SageMaker HyperPod consente un ambiente di addestramento più resiliente grazie alla capacità di rilevare, diagnosticare e ripristinare automaticamente i guasti, permettendo così l'addestramento continuo degli FM per mesi.