Q: Amazon SageMaker Neo란 무엇입니까?
Amazon SageMaker Neo를 사용하면 개발자가 엣지에서 지원되는 디바이스 및 클라우드의 SageMaker에서 추론을 위해 기계 학습(ML) 모델을 최적화할 수 있습니다.
ML 추론은 훈련된 기계 학습 모델을 사용하여 예측하는 프로세스입니다. 높은 정확도를 위해 모델을 훈련한 후에 개발자는 높은 성능을 위해 모델을 튜닝하는 데 많은 시간과 노력을 들이곤 합니다. 클라우드에서 추론을 수행하는 경우 종종 개발자는 더 높은 처리량을 달성하기 위해 더 높은 비용을 들여 강력한 처리 기능과 많은 메모리를 제공하는 대규모 인스턴스에 의존합니다. 컴퓨팅 및 메모리가 제한된 엣지 디바이스에서 추론을 수행하는 경우 종종 개발자는 디바이스 하드웨어 제한 사항 내에서 허용 가능한 성능을 달성하기 위해 수개월에 걸쳐 수동으로 모델을 튜닝할 수도 있습니다.
Amazon SageMaker Neo는 클라우드 인스턴스 및 엣지 디바이스에서의 추론을 위해 기계 학습 모델을 자동으로 최적화하여 정확도를 떨어뜨리지 않고도 빠른 실행 속도를 지원합니다. DarkNet, Keras, MXNet, PyTorch, TensorFlow, TensorFlow-Lite, ONNX 또는 XGBoost에 이미 구축되어 Amazon SageMaker나 다른 위치에서 훈련된 기계 학습 모델부터 시작해볼 수 있습니다. 그런 다음, 대상 하드웨어 플랫폼을 선택합니다. SageMaker 호스팅 인스턴스나 Ambarella, Apple, ARM, 인텔, MediaTek, Nvidia, NXP, Qualcomm, RockChip 또는 Texas Instruments의 프로세서에 기반한 엣지 디바이스가 이에 해당할 수 있습니다. 한 번만 클릭하면 SageMaker Neo에서 훈련된 모델을 최적화하고 실행 파일로 컴파일합니다. 컴파일러는 기계 학습 모델을 사용하여 클라우드 인스턴스 또는 엣지 디바이스에서 모델의 최고 가용 성능을 끌어낼 수 있는 성능 최적화를 적용합니다. 그리고, SageMaker 엔드포인트 또는 지원되는 엣지 디바이스로 모델을 배포하고 예측을 시작합니다.
클라우드에서 추론하는 경우 SageMaker Neo는 SageMaker 호스팅에서 추론이 최적화된 컨테이너를 생성하여 추론 속도를 가속화하고 비용을 절감합니다. 엣지에서 추론하는 경우 SageMaker Neo는 선택한 운영 체제 및 프로세서 하드웨어에 대한 모델을 자동으로 튜닝하여 개발자는 수개월에 걸친 수동 튜닝에서 벗어날 수 있습니다.
Amazon SageMaker Neo는 Apache TVM 및 파트너가 제공하는 컴파일러 및 가속화 라이브러리를 사용하여 지정된 모델 및 하드웨어 대상에 대해 최상의 가용 플랫폼을 제공합니다. AWS는 Apache 소프트웨어 라이선스를 통해 Apache TVM 프로젝트에 컴파일러 코드를 제공하고 Neo-AI 오픈 소스 프로젝트에 런타임 코드를 제공하여 프로세서 공급업체와 디바이스 제작자가 공통된 초소형 런타임에서 빠르게 혁신할 수 있도록 지원합니다.