AWS IoT Greengrass ML 推論

部署針對在 IoT Greengrass 裝置上執行最佳化的 ML 模型

為什麼應該使用 IoT Greengrass ML 推論？

AWS IoT Greengrass 可讓您輕鬆使用在雲端建立、訓練和優化的模型，在本地裝置上執行機器學習 (ML) 推論。AWS IoT Greengrass 讓您使用在 Amazon SageMaker 中訓練過的機器學習模型，或使用儲存於 Amazon S3 中自行預先訓練過的模型的靈活性。

機器學習使用從現有資料學習的統計演算法，這個過程稱為培訓，以便對新資料做出各種決策，這個過程稱為推論。在訓練期間找出資料中的模式和關係，以建立模型。之後，系統可以透過這個模型對以前沒有遇到過的資料做出明智的決定。優化模型會壓縮模型尺寸，使它能快速執行。訓練及優化 ML 模型需要大量的運算資源，因此非常適合在雲端進行。但是，推論一般需要很少的運算能力，並且通常在新的資料可用時即時完成。以非常短的延遲時間獲得推論結果非常重要，以確保 IoT 應用程式能夠快速回應本機事件。

AWS IoT Greengrass 為您提供兩全其美的解決方案。您使用在雲端建立、訓練和優化的機器學習模型，然後在本機裝置執行推論。例如，您可以在 SageMaker 中建立一個用於場景偵測分析的預測模型，針對在任何相機上執行進行優化，然後將它部署，以便預測可疑活動，並送出提醒訊號。從 AWS IoT Greengrass 上執行的推論收集的資料可以送回 SageMaker，加上標籤，並用來持續改進機器學習模型的品質。

優勢

靈活

AWS IoT Greengrass 包含預先建立的 Amazon SageMaker Neo Deep Learning Runtime (DLR)、Apache MXNet、TensorFlow 和採用 Intel Atom 技術的 Chainer 裝置用套件、NVIDIA Jetson TX2 和 Raspberry Pi，因此您無需從頭開始建立和設定您的裝置的機器學習架構。此外，它也可以和其他的熱門架構搭配使用，包括 PyTorch 與 Caffe2。如果您搭配 AWS IoT Greengrass 使用 Amazon SageMaker Neo，在這些架構中寫入的模型會轉換成能夠在任何包含 Neo 執行時間的 AWS IoT Greengrass 裝置上執行的可攜式程式碼，因此您無須在邊緣做額外的調校。

只需幾個快速步驟即可將模型部署到連線裝置

AWS IoT Greengrass 可讓您輕鬆地將機器學習模型從雲端部署到您的裝置。只需在 AWS IoT Greengrass 主控台中按幾下，即可在 Amazon SageMaker 或 Amazon S3 中找到經過訓練的模型、選擇您想要的模型，然後將其部署到目標裝置。您的模型將會部署到所選的連線裝置。

加速推論效能

透過 Amazon SageMaker 和 Neo 深度學習編譯器的整合，您可以部署具有優化執行時間的機器學習模型，執行速度最高可達手動調校或使用機器學習架構的兩倍。AWS IoT Greengrass 也提供常見機器學習架構和目標裝置 (例如 Nvidia Jetson TX2 電路板) 的預先建置執行時間，讓您可以存取硬體加速器 (例如裝置上的 GPU)。

在更多裝置上執行推論

使用 Amazon SageMaker 與 Neo 編譯器的整合時，優化模型所需的記憶體使用量不到十分之一，因此可以在資源受限的裝置 (例如居家安全相機和傳動器) 上執行。

在連線裝置上輕鬆執行推論

在執行 AWS IoT Greengrass 的裝置上本機執行推論，能降低將裝置資料傳送至雲端進行預測的延遲和成本。您是在裝置上直接執行推論，而不是將所有資料送到雲端執行機器學習推論。

建立更準確的模型

您可以使用 AWS IoT Greengrass 執行推論和擷取結果、偵測極端值，並將資料送回雲端和 Amazon SageMaker，將它重新分類、標記和用於模型重新訓練，以改善機器學習模型的正確性。

使用案例

預測性工業維護

製造商面臨的價格壓力不斷增加，他們正在尋找更新的方法協助提高廠房的營運效率。無法即時偵測製造生產線上的問題，可能會造成時間和資源的浪費。AWS IoT Greengrass 可協助您及早發現設備故障和廠房問題。採用 IoT Greengrass 技術的工業閘道可持續監控感應器資料 (例如振動、噪音等級)、預測異常情況並採取相關措施，例如傳送提醒或停止設備，以最大限度地減少損失。

精準農業

農業正經歷兩大中斷危機。首先，世界人口持續增長導致糧食的需求超過產量。其次，氣候變化導致不可預測的天氣條件，影響農作物產量。AWS IoT Greengrass 可協助農業轉型並為客戶創造新價值。將採用 AWS IoT Greengrass 技術的攝影機安裝在溫室和農場，可以處理植物、農作物的影像和安裝在土壤中的感應器資料，不僅可以偵測溫度、濕度和養份高低變化等環境異常，還可以觸發提醒。

安全性

監控攝影機製造商正在尋找新的方法，讓裝置更加智慧並實現威脅偵測功能的自動化。AWS IoT Greengrass 可協助改進監控攝影機的功能。啟用 AWS IoT Greengrass 的攝影機可以持續掃描園區，以找出場景是否改變 (例如訪客) 並傳送提醒。這些攝影機能夠在本機快速執行場景偵測分析，並僅在需要時才將資料傳送至雲端。

零售和觀光旅遊

零售商、郵輪公司和遊樂園正在投資 IoT 應用程式，以提供更好的客戶服務。例如，您可以在遊樂園執行物件偵測模型以記錄訪客數量。攝影機可以找出訪客，並在本機持續計算人數，無需將大量的影片資料傳送到雲端，這通常會因遊樂園的網際網路頻寬限制而帶來很大的挑戰。這個解決方案可以預測熱門主題樂園遊樂設施的等待時間，協助改善客戶體驗。

影片處理

AWS IoT Greengrass 可以部署在連線裝置上，例如安全監控攝影機、交通攝影機、穿戴式攝影機和醫學造影設備，協助它們在本機進行預測。使用 AWS IoT Greengrass，您可以在裝置上直接部署和執行臉部辨識、物件偵測和影像密度等機器學習模型。例如，交通攝影機可以統計通過路口的自行車、車輛和行人數量，並偵測何時需要調整交通信號，以優化交通流量並保護人們的安全。