Amazon Bedrock 中的 Meta Llama

使用 Llama 打造 AI 的美好未來

Llama 3.3 簡介

Llama 3.3 是一種純文字 70B 指令調整模型,用於純文字應用程式時,相對於 Llama 3.1 70B 和 Llama 3.2 90B,可提供增強的效能。Llama 3.3 70B 提供與 Llama 3.1 405B 類似的效能,同時只需一小部分運算資源。

Llama 3.3 70B 憑藉全面的訓練,能夠在各種任務中獲得強大的理解和產生能力。此模型支援專為內容建立、企業應用程式和研究而設計的高效能對話式 AI,提供進階語言理解功能,包括文字總結、分類、情緒分析和程式碼產生。

Llama 3.2 90B 是 Meta 最先進的模型,非常適合用於企業級應用程式。Llama 3.2 是首個支援視覺任務的 Llama 模型,具有全新的模型架構,可將影像編碼器呈現整合至語言模型中。此模型在一般知識、長篇文字產生、多語言翻譯、編碼、數學,以及進階推理方面表現出色。此外,它還引入了影像推理功能,可進行複雜的影像理解和視覺推理。此模型非常適合以下使用案例:影像字幕、影像文字擷取、視覺化依據、視覺問題回答和視覺推理,以及文件視覺問題回答。

Llama 3.2 11B 非常適合用於內容建立、對話式 AI、語言理解,以及需要視覺推理的企業應用程式。該模型可示範文字摘要、情感分析、程式碼產生和遵循指示方面的強大效能,並增加了影像推理的相關功能。此模型非常適合以下使用案例:影像字幕、影像文字擷取、視覺化依據、視覺問題回答和視覺推理,以及文件視覺問題回答。

Llama 3.2 3B 透過在裝置上處理,提供更具個人化的 AI 體驗。Llama 3.2 3B 專為需要低延遲推論,以及有限運算資源的應用程式設計。它在處理文字總結、分類和語言翻譯任務方面表現出色。此模型非常適合以下使用案例:行動裝置 AI 驅動性書寫助理和客服應用程式。

Llama 3.2 1B 是 Llama 3.2 模型系列中最輕量的模型,非常適合用於邊緣裝置和行動應用程式的擷取和總結。該模型支援裝置上的 AI 功能,同時為使用者的隱私權提供保護並最大限度地減少延遲。此模型非常適合以下使用案例:個人資訊管理和多語言知識擷取。

優勢

Llama 3.2 透過在裝置上處理,提供更具個人化的 AI 體驗。Llama 3.2 模型的設計旨在提升效率、降低延遲並改善效能,使其適合廣泛的運用。
128K 上下文長度允許 Llama 擷取資料中更多細微的關聯性。
透過線上公有資料來源中的 15 萬億字符訓練 Llama 模型,使其更準確地理解語言複雜性。
Llama 3.2 是多語言的工具,支援八種語言,包括英語、德語、法語、意大利語、葡萄牙語、印度語、西班牙語和泰語。
Amazon Bedrock 的受管 API 使 Llama 模型的使用比以往更加容易。各種規模的組織都可以使用 Llama 的強大功能,並且不必擔心基礎設施。由於 Amazon Bedrock 是無伺服器的,因此您不必管理任何基礎設施,而且可以使用已熟悉的 AWS 服務,將 Llama 的生成式 AI 功能安全整合並部署至應用程式中。這代表您能專注於自己最擅長的工作,即建置 AI 應用程式。

認識 Llama

過去十多年來,Meta 一直專注於將各種實用的工具交到開發人員手中,同時促進開發人員、研究人員和組織之間的協作和共同進步。Llama 模型提供多種參數大小,可讓開發人員選擇最適合其需求和推論預算的模型。Amazon Bedrock 中的 Llama 模型為使用者帶來廣泛的可能性,原因在於開發人員無需擔心可擴展性或管理基礎設施。Amazon Bedrock 是開發人員開始使用 Llama 的極簡單統包方式。

使用案例

Llama 模型在處理影像理解和視覺推理、語言細微差別、內容理解以及複雜任務 (例如,視覺資料分析、影像說明文字、對話產生,以及翻譯和對話產生) 方面表現出色,並且可以輕鬆處理多步驟的任務。Llama 模型的其他使用案例是滿足各項任務的最佳選擇,包括複雜的視覺推理和理解、影像文字擷取、視覺依據、文件視覺問題回答、文字總結和準確性、文本分類、情感分析和細微差異推理、語言建模、對話系統、程式碼產生,以及遵循說明。

模型版本

Llama 3.3 70B

純文字 70B 指令調整模型,用於純文字應用程式時,相對於 Llama 3.1 70B 和 Llama 3.2 90B,可提供增強的效能。Llama 3.3 70B 提供與 Llama 3.1 405B 類似的效能,同時只需一小部分運算資源。

字符上限︰128,000

語言:英文、德文、法文、意大利文、葡萄牙文、西班牙文和泰文。

支援微調:否

支援的使用案例:對話式 AI 專用於內容建立、企業應用程式和研究,可提供進階語言理解功能,包括文字總結、分類、情緒分析和程式碼產生。該模型還支援利用模型輸出來改善其他模型,包括合成資料生成和提煉。

Llama 3.2 90B

多模態模型,可同時接受文字和影像輸入和輸出。適用於需要先進的視覺智慧型應用程式,例如影像分析、文件處理、多模態聊天機器人和自主系統。

字符上限︰128,000

語言:英文、德文、法文、意大利文、葡萄牙文、印地文、西班牙文和泰文。

支援微調:否

支援的使用案例:影像理解、視覺推理和多模態互動,可實現影像字幕、影像文字擷取、視覺基礎、視覺化問題回答和文件視覺問題回答等進階應用程式,具有獨特的功能,能夠從視覺和文字輸入中推理並得出結論。

閱讀部落格

Llama 3.2 11B

多模態模型,可同時接受文字和影像輸入和輸出。適用於需要先進的視覺智慧型應用程式,例如影像分析、文件處理和多模態聊天機器人。

字符上限︰128,000

語言:英文、德文、法文、意大利文、葡萄牙文、印地文、西班牙文和泰文。

支援微調:否

支援的使用案例:影像理解、視覺推理和多模態互動,可實現影像字幕、影像文字擷取、視覺基礎、視覺化問題回答和文件視覺問題回答等進階應用程式。

閱讀部落格

Llama 3.2 3B

專為提供高度準確和相關結果而打造的純文字輕量模型。專為需要低延遲推論,以及有限運算資源的應用程式設計。非常適合查詢和提示重寫、行動 AI 驅動型寫作助理和客戶服務應用程式,尤其是在邊緣裝置上,其效率和低延遲可無縫整合至各種應用程式,包括採用行動 AI 技術的寫作助理和客服聊天機器人。

字符上限︰128,000

語言:英文、德文、法文、意大利文、葡萄牙文、印地文、西班牙文和泰文。

支援微調:否

支援的使用案例:進階文字產生、總結、情緒分析、情緒智慧、上下文理解和常識推理。

閱讀部落格

Llama 3.2 1B

專為提供快速準確的回應而打造的純文字輕量模型。非常適合邊緣裝置和行動應用程式。該模型支援裝置上的 AI 功能,同時為使用者的隱私權提供保護並最大限度地減少延遲。

字符上限︰128,000

語言:英文、德文、法文、意大利文、葡萄牙文、印地文、西班牙文和泰文。

支援微調:否

支援的使用案例:多語言對話使用案例,例如個人資訊管理、多語言知識擷取和重寫任務。

閱讀部落格

Llama 3.1 405B

非常適合用於企業級應用程式、研發、綜合資料產生和模型提煉。憑藉在公開預覽版中提供的延遲最佳化推論功能,此模型可提供卓越的效能和可擴展性,讓組織能夠加速其 AI 計畫,同時在各種使用案例中確保高品質輸出。

字符上限
︰128,000

語言:英文、德文、法文、意大利文、葡萄牙文、印地文、西班牙文和泰文。

支援微調:即將推出

支持的使用案例︰一般知識、長格式文字產生、機器翻譯、增強的內容理解、進階推理和決策、模糊性和不確定性的更妥善處理、提升的創造力和多元化、可控性、數學、工具使用、多語言翻譯和編碼。

閱讀部落格

Llama 3.1 70B

非常適合內容建立、對話式 AI、語言理解、研發和企業運用。憑藉在公開預覽版中提供的全新延遲最佳化推論功能,此模型為處理大量文字輸入的 AI 解決方案設定了新的效能基準,讓應用程式能夠更快地做出回應以及更高效地處理較長的查詢。

字符上限:128,000

語言:英文、德文、法文、意大利文、葡萄牙文、印地文、西班牙文和泰文。

支援微調:是

支援的使用案例:文字總結、文字分類、情緒分析和語言翻譯。

閱讀部落格

Llama 3.1 8B

非常適合有限的運算能力和資源、更快的訓練時間和邊緣裝置。

字符上限︰128,000

語言:英文、德文、法文、意大利文、葡萄牙文、印地文、西班牙文和泰文。

支援微調:是

支援的使用案例:文字總結、文字分類、情緒分析和語言翻譯。

閱讀部落格

Llama 3 70B

非常適合內容建立、對話式 AI、語言理解、研發和企業運用。 

字符上限︰8,000

語言︰英文

支援微調:否

支援的使用案例:文字總結和準確性、文字分類和細微差異、情緒分析和細微推理、語言建模、對話系統、程式碼產生以及遵循說明方面表現出色。

閱讀部落格

Llama 3 8B

非常適合有限的運算能力和資源、更快的訓練時間和邊緣裝置。

字符上限︰8,000

語言︰英文

支援微調:否

支援的使用案例:文字總結、文字分類、情緒分析和語言翻譯

閱讀部落格

Llama 2 70B

包含 700 億個參數的經過微調的模型。適用於語言建模、文字產生和對話系統等較大規模的任務。

字符上限:4K

語言:英文

支援微調:是

支援的使用案例:類似助理的聊天

閱讀部落格

Llama 2 13B

包含 130 億個參數的經過微調的模型。適用於文字分類、情緒分析和語言翻譯等較小規模的任務。

字符上限:4K

語言:英文

支援微調:是

支援的使用案例:類似助理的聊天

閱讀部落格

Nomura 使用 Amazon Bedrock 中來自 Meta 的 Llama 模型來大眾化生成式 AI

 

Nomura 執行總監兼企業架構師 Aniruddh Singh 概述該金融機構使用 Amazon Bedrock 和 Meta 的 Llama 模型在全公司範圍內大眾化生成式 AI 的旅程。Amazon Bedrock 提供對 Llama 等領先基礎模型的關鍵存取權,從而實現無縫整合。Llama 為 Nomura 提供重要優勢,包括更快的創新、透明度、偏差防護機制,以及在文字摘要、程式碼產生、日誌分析和文字處理方面的強大效能。 

TaskUs 在 Amazon Bedrock 中使用來自 Meta 的 Llama 模型變革客戶體驗

TaskUs 是為全球最具創新力的公司提供外包數位服務和下一代客戶體驗的領先供應商,協助其客戶展現、保護和發展他們的品牌。該供應商創新的 TaskGPT 平台由 Amazon Bedrock 和 Meta 的 Llama 模型提供支援,賦能團隊成員提供卓越的服務。TaskUs 在 TaskGPT 上建置工具,可利用 Amazon Bedrock 和 Llama 進行經濟高效的釋義、內容產生、理解和複雜任務處理。