Amazon Bedrock 常見問答集

一般問題

Amazon Bedrock 是一項全受管服務,可提供各種業界領先基礎模型(FM)選擇,以及建置生成式 AI 應用程式所需的各種廣泛功能,從而透過安全、隱私和負責任的 AI 簡化開發。透過 Amazon Bedrock 的全方位功能,您可以實驗各種頂尖的 FM,使用微調和擷取擴增產生 (RAG) 等技術透過自己的資料私有自訂這些模型,以及建立可執行複雜業務任務的受管代理程式,從預訂差旅和處理保險索賠到建立廣告宣傳活動和管理庫存,並且全部不需要撰寫任何程式碼。由於 Amazon Bedrock 是無伺服器的,因此您不必管理任何基礎設施,而且可以使用已熟悉的 AWS 服務,將生成式 AI 功能安全整合並部署至應用程式中。

Amazon Bedrock 客戶可以從一些現今可用的最先進 FM 中選擇。這包括來自以下語言和嵌入模型:

  • AI21 Labs:Jurassic – 2 Ultra、Jurassic – 2 Mid
  • Anthropic:Claude 3 Opus、Claude 3 Sonnet、Claude 3 Haiku
  • Cohere:Command R、Command R+、Embed
  • Meta:Llama 3 8B、Llama 3 70B
  • Mistral AI:Mistral 8X7B Instruct、Mistral 7B Instruct、Mistral Large、Mistral Small
  • Stability AI:Stable Diffusion XL 1.0
  • Amazon Titan: Amazon Titan Text Premier、Amazon Titan Text 快捷版、Amazon Titan Text 精簡版、Amazon Titan 文本嵌入、Amazon Titan Text Embeddings V2、Amazon Titan 多模態嵌入、Amazon Titan 圖像生成器

使用 Amazon Bedrock 來建置生成式 AI 應用程式的原因有五個。

  • 領先的 FM 選項:Amazon Bedrock 提供易於使用的開發人員體驗,可使用來自 Amazon 以及 AI21 Labs、Anthropic、Cohere、Meta、Mistral AI 和 Stability AI 等領先 AI 公司的各種高效能 FM。可以在試驗場中快速實驗各種 FM,並使用單個 API 進行推論 (無論您選擇哪種模型),從而可以靈活地使用來自不同供應商的 FM,並在最少量程式碼變更的情況下隨時取得最新模型版本。
  • 使用您的資料輕鬆自訂模型:透過視覺化界面使用自己的資料私有自訂 FM,而無需編寫任何程式碼。只要選取儲存在 Amazon Simple Storage Service (Amazon S3) 中的訓練和驗證資料集,然後視需要調整超參數,以達到最佳的模型效能。
  • 可動態調用 API 以執行任務的全受管代理程式:透過動態呼叫公司系統和 API,打造可執行複雜業務任務的代理程式,從預訂旅行和處理保險索賠到建立廣告宣傳活動、準備稅務申報和管理庫存。Amazon Bedrock 的全受管代理程式延伸了 FM 的推理功能,以分解任務、建立協同運作並執行。
  • 原生支援 RAG,以透過專有資料擴展 FM 的功能:使用 Amazon Bedrock 知識庫,您可以安全地將 FM 連線至資料來源,以便從受管服務中擷取增強功能,擴展 FM 已經極為強大的功能,並使其更進一步了解您的特定網域和組織。
  • 資料安全與合規認證:Amazon Bedrock 提供多種功能來支援安全和隱私要求。Amazon Bedrock 符合服務機構控管 (SOC)、國際標準組織 (ISO)、美國健康保險流通與責任法案 (HIPAA) 等一般合規標準,客戶可以按照一般資料保護規範 (GDPR) 使用 Amazon Bedrock。Amazon Bedrock 已通過 CSA 安全信任保障及風險 (STAR) 第 2 級認證,可驗證 AWS 雲端產品對最佳實務的使用及安全狀態。使用 Amazon Bedrock 時,您的內容不會用於改善基本模型,也不會與任何模型供應商共用。Amazon Bedrock 中的資料在傳輸和保持靜態期間一律會加密,而且您可以選擇性地使用自己的金鑰加密資料。可以將 AWS PrivateLink 與 Amazon Bedrock 搭配使用,在您的 FM 和 Amazon Virtual Private Cloud (Amazon VPC) 之間建立私有連線,而不會將流量暴露到網際網路。

Amazon Bedrock 提供無伺服器體驗,讓您可以快速入門。在 AWS 管理主控台中導覽至 Amazon Bedrock 並在 Playground 中試用基礎模型。您也可以建立代理程式並在主控台中進行測試。確定使用案例後,您可以使用 AWS 工具輕鬆將基礎模型整合到應用程式中,而無需管理任何基礎設施。
Amazon Bedrock 入門課程的連結
Amazon Bedrock 使用者指南的連結

Amazon Bedrock 使用 AWS Lambda 來調用動作,利用 Amazon S3 來訓練和驗證資料,並利用 Amazon CloudWatch 來追蹤指標。

您可以快速開始實作使用案例:

  • 原創新的內容,例如短篇故事、散文、社交媒體貼文以及網頁副本。
  • 在大型資料主體中搜尋、查找與合成資訊並解答問題。
  • 根據語言提示建立關於各種主題、環境和場景的逼真及藝術影像。
  • 使用更相關的情境產品推薦而不是文字比對,幫助客戶找到他們正在查找的內容。
  • 獲取文字內容摘要,如文章、部落格文章、圖書和文件等,以領會大要而無需閱讀完整的內容。
  • 建議符合購物者偏好和過去購買的產品

探索更多生成式 AI 使用案例

Amazon Bedrock 提供了一個 Playground,讓您可以使用對話式聊天介面嘗試各種基礎模型。您可以在其中提供提示或使用主控台內的 Web 介面來提供提示,以使用預訓練模型產生文字或影像,或使用已針對使用案例微調的模型。

有關可使用 Amazon Bedrock 的 AWS 區域的清單,請參閱 Amazon Bedrock 參考指南中的 Amazon Bedrock 端點和配額一節。

您可以使用標記資料或使用持續預先訓練功能在 Amazon Bedrock 上輕鬆微調基礎模型,以使用未標記資料自訂模型。首先,提供訓練和驗證資料集,設定超參數 (次數、批次大小、學習率、預熱步驟),然後提交任務。在幾個小時之後,您就可以使用相同的 API (InvokeModel) 存取經過微調的模型。

可以,您可以訓練公開可用的選定模型並使用自訂模型匯入功能將其匯入 Amazon Bedrock。目前,此功能僅支援 Llama 2/3、Mistral 和 Flan 架構。如需其他資訊,請參閱文件

代理程式

Amazon Bedrock 代理程式是完全受管的功能,可讓開發人員更輕鬆地建立以生成式 AI 為基礎的應用程式,這些應用程式可針對各種使用案例完成複雜的工作,並根據專有知識來源提供最新答案。您無需進行任何手動編碼,只需執行幾個簡短步驟,Amazon Bedrock 代理程式就會自動分解任務並建立協同運作計畫。該代理程式透過 API 安全地連線至公司資料,自動將資料轉換為機器可讀的格式,並使用相關資訊增強請求以產生準確的回應。然後,代理程式可以自動呼叫 API 來回應使用者的請求。例如,製造公司可能希望開發一種生成式 AI 應用程式,該應用程式可以自動追蹤庫存水平、銷售資料、供應鏈資訊,以及建議最佳的再訂購時間點和數量,從而最大化效率。作為全受管的功能,Amazon Bedrock 代理程式消除了管理系統整合和基礎設施佈建這些無差別的繁重工作,讓開發人員能夠在整個組織中充分利用生成式 AI。

您可以使用 Amazon Bedrock 代理程式,將基礎模型安全地連線至貴公司的資料來源。藉助知識庫,您可以使用代理程式授予 Amazon Bedrock 中基礎模型額外的資料存取權,以協助模型產生更相關、內容特定且準確的回應,而無需持續重新訓練 基礎模型。代理程式會根據使用者輸入識別相應的知識庫,擷取相關資訊,並將資訊新增到輸入提示中,為模型提供更多上下文資訊以產生完整的輸出。

Amazon Bedrock 的代理程式可協助您提高工作效率、改善客戶服務體驗,並自動化工作流程 (例如處理保險理賠)。

藉助代理程式,開發人員無需編寫自訂程式碼亦可無縫支援監控、加密、使用者許可、版本控制和 API 調用管理。Amazon Bedrock 代理程式可以自動化使用者請求任務的提示詞工程和協同運作。開發人員可以使用代理程式建立的提示範本作為基準,進一步精簡,以提升使用者體驗。他們可以更新使用者輸入、協同運作計劃和 FM 回應。透過存取提示範本,開發人員可以更好地控制代理程式協同運作。

藉助全受管的代理程式,您不必操心佈建或管理基礎設施,可以更快地將應用程式投入生產。

安全性

由 Amazon Bedrock 處理的任何您的內容都會加密並儲存在您使用 Amazon Bedrock 的 AWS 區域中。

不會。使用者輸入和模型輸出不會與任何模型供應商共用。

Amazon Bedrock 提供多種功能來支援安全和隱私要求。Amazon Bedrock 符合 Fedramp Moderate、服務機構控管 (SOC)、國際標準組織 (ISO)、美國健康保險流通與責任法案 (HIPAA) 等一般合規標準,客戶可以按照一般資料保護規範 (GDPR) 使用 Bedrock。Amazon Bedrock 包含在 SOC 1、2、3 報告的範圍內,讓客戶可以深入了解我們的安全控制。我們透過大規模的 AWS 控制第三方稽核來證明合規性。Amazon Bedrock 是符合 ISO 的 AWS 服務之一,該服務符合 ISO 9001、ISO 27001、ISO 27017、ISO 27018、ISO 27701、ISO 22301 和 ISO 20000 標準。Amazon Bedrock 已通過 CSA 安全信任保障及風險 (STAR) 第 2 級認證,可驗證 AWS 雲端產品對最佳實務的使用及安全狀態。使用 Amazon Bedrock 時,您的內容不會用於改善基本模型,也不會與任何模型供應商共用。您可以使用 AWS PrivateLink 建立從 Amazon VPC 到 Amazon Bedrock 的私有連線,而無需將資料暴露給網際網路流量。

 

不會。AWS 和第三方模型供應商不會使用 Amazon Bedrock 的任何輸入或輸出來訓練 Amazon Titan 或任何第三方模型。

軟體開發套件

Amazon Bedrock 支援執行時期服務的軟體開發套件。iOS 和 Android SDK,以及 Java、JS、Python、CLI、.Net、Ruby、PHP、Go 和 C++ 都支援文字和語音輸入。

所有軟體開發套件都支持串流。

帳單與支援

請參閱 Amazon Bedrock 定價頁面了解最新的定價資訊。

按照您簽訂的 AWS Support 合約,可根據開發人員支援、商業支援和企業支援計劃支援 Amazon Bedrock。

您可以使用 CloudWatch 指標來追蹤輸入和輸出 Token。

自訂

我們針對 Amazon Titan Text Express 和 Amazon Bedrock 上的 Amazon Titan 模型推出持續預先訓練。持續預先訓練可讓您使用大量未標記資料在 Amazon Titan 基礎模型上持續預先訓練。這種類型的訓練將使模型從一般領域語料庫適應更具體的領域語料庫,例如醫學、法律、金融等,同時仍保留 Amazon Titan 基本模型的大部分功能。 

企業可能希望為特定領域中的任務建置模型。可能不會就該特定領域中使用的技術行話訓練基本模型。因此,直接微調基本模型需要大量標記的訓練記錄和較長的訓練時間才能獲得準確的結果。為了減輕這種負擔,客戶可以轉而為持續預先訓練任務提供大量未標記的資料。此任務將使 Amazon Titan 基本模型適應新領域。然後,客戶可以使用標籤明顯更少的訓練記錄且以較短的訓練持續時間將新預先訓練的自訂模型微調到下游任務。 

Amazon Bedrock 持續預先訓練和微調的要求非常相似。因此,我們選擇建立統一的 API,支援持續預先訓練和微調。API 的統一可減少學習曲線,並幫助客戶使用標準功能,例如用於追蹤長期執行之任務的 Amazon EventBridge、用於擷取訓練資料的 Amazon S3 整合、資源標籤和模型加密。 

持續預先訓練可幫助您將 Amazon Titan 模型適應領域特定的資料,同時仍保留 Amazon Titan 模型的基本功能。若要建立持續預先訓練任務,請瀏覽至 Amazon Bedrock 主控台,然後按一下「自訂模型」。 您將導覽至具有兩個索引標籤的自訂模型頁面:模型和訓練任務。兩個索引標籤的右側都提供「自訂模型」下拉式功能表。從下拉式功能表選取「持續預先訓練」以瀏覽至「建立持續預先訓練任務」。 您將提供來源模型、名稱、模型加密、輸入資料、超參數及輸出資料。此外,您可以為該任務提供標籤以及有關 AWS Identity and Access Management (IAM) 角色和資源政策的詳細資訊。

Amazon Titan

Amazon Titan 系列模型為 Amazon Bedrock 所獨有,融合了 Amazon 在 25 年期間各業務部門的 AI 和機器學習創新經驗。Amazon Titan FM 透過全受管的 API,為客戶提供豐富的高效能影像、多模態和文字模型選擇。Amazon Titan 模型由 AWS 建立並在大型資料集上進行預先訓練,是強大的通用模型,並可支援各種使用案例以及負責任的 AI 使用。按原樣使用它們或使用您自己的資料私下自訂。進一步了解 Amazon Titan

若要進一步了解開發和訓練 Amazon Titan FM 所處理的資料,請瀏覽 Amazon Titan 模型訓練與隱私權

檢索增強生成 (RAG)

支援的資料格式包括 .pdf、.txt、.md、.html、.doc 和 .docx、.csv、.xls 和 .xlsx 檔案。檔案必須上傳至 Amazon S3。指出資料在 Amazon S3 中的位置,Amazon Bedrock 知識庫就會負責將整個擷取工作流程移至向量資料庫。

在 Amazon Bedrock 知識庫將文字轉換為內嵌項目之前,其提供三個將文字分塊的選項。 

1.  預設選項:Amazon Bedrock 知識庫會自動將文件分割成多個區塊,每個區塊包含 200 個權杖,確保不會從中間斷開句子。如果文件中包含的權杖數少於 200 個,則不會進一步分割。兩個連續區塊之間保持 20% 的權杖重疊。

2.  固定大小區塊化:在該選項中,您可以指定每個區塊的最大權杖數和 Amazon Bedrock 知識庫區塊之間的重疊百分比,讓您的文件自動分割成多個區塊,確保不會從中間斷開句子。 

3.  每個文件建立一個內嵌項目選項:Amazon Bedrock 會為每個文件建立一個內嵌項目。如果已透過將文件分割成單獨的檔案進行預先處理,並且不希望 Amazon Bedrock 將文件進一步分塊,則該選項適用。

目前,Amazon Bedrock 知識庫使用 Amazon Bedrock 中提供的最新版 Amazon Titan 文本嵌入模型。Titan Text Embeddings V2 模型支援 8,000 個權杖和 100 種以上的語言,並能建立 256、512 和 1,024 等多種維度的嵌入。 

Amazon Bedrock 知識庫負責處理整個擷取工作流程:將文件轉換為內嵌項目 (向量),並將內嵌項目儲存在專門的向量資料庫中。  Amazon Bedrock 知識庫支援向量儲存的熱門資料庫,包括 Amazon OpenSearch Serverless 的向量引擎、Pinecone、Redis Enterprise Cloud、Amazon Aurora (即將推出) 和 MongoDB (即將推出)。如果您尚未擁有現有的向量資料庫,Amazon Bedrock 會為您建立 OpenSearch Serverless 向量存放區。

根據您的使用案例,您可以使用 Amazon EventBridge 在 Amazon S3 與 Amazon Bedrock 知識庫之間建立定期或事件驅動的同步。

模型評估

使用 Amazon Bedrock 上的模型評估,只要幾個簡短步驟即可評估、比較使用案例並為其選擇最佳 FM。Amazon Bedrock 提供自動評估和人工評估選項。您可以使用具有準確性、穩健性和毒性等預先定義指標的自動評估。您可以使用人為評估工作流程來進行主觀或自訂指標,例如親切、風格,以及與 Brand Voice 的一致性。對於人工評估,您可以使用內部員工或由 AWS 管理的團隊作為檢閱者。Amazon Bedrock 上的模型評估提供內建策劃資料集,您也可以使用自有資料集。

您可以使用自動評估來評估各種預先定義的指標,例如準確性、穩健性和毒性。您還可以使用人工評估工作流程來評估主觀或自訂指標,例如親和性、相關性、風格,以及與 brand voice 的一致性。

您可以透過自動評估根據標準條件 (例如準確性、毒性和穩健性) 快速縮小可用 FM 清單的範圍。人工評估通常用於評估更細微或主觀的條件,這些條件需要人為判斷,並且可能不存在自動評估 (例如品牌語音、創意意圖、親和性)。

您可以利用策劃的內建資料集或者使用自有提示資料集,就準確性、穩健性和毒性等指標快速評估 Amazon Bedrock 模型。將提示資料集傳送至 Amazon Bedrock 模型進行推論之後,會使用每個維度的評估演算法對模型回應進行評分。後端引擎將個別提示回應分數彙總為摘要分數,並透過易於理解的視覺報告顯示。

Amazon Bedrock 可讓您只需幾個簡短步驟即可設定人工審查工作流程並帶入內部員工,或使用 AWS 管理的專家團隊來評估模型。使用者可以使用 Amazon Bedrock 的直覺式介面透過按一下豎起大拇指或大拇指朝下、按 1-5 擴展評分、從多個回應中選擇最佳回應或對提示排名來審查模型回應並提供意見回饋。例如,可以向團隊成員展示兩個模型如何回應相同的提示,然後要求其選取顯示更準確、更相關或更有風格特點之輸出的模型。您可藉由自訂團隊評估 UI 上顯示的說明和按鈕,指定對您重要的評估條件。您也可以提供包含範例的詳細說明以及模型評估的整體目標,以便使用者可以相應地調整其工作。此方法對於評估需要人為判斷或更細緻的領域專業知識且無法使用自動評估輕鬆判斷的主觀條件很有用。

負責任的 AI

Amazon Bedrock 防護機制可協助您根據使用案例和負責任 AI 政策為生成式 AI 應用程式實施保護措施。防護機制透過篩選不需要和有害的內容來幫助控制使用者和 FM 之間的互動,並且很快就可以編輯個人身分識別資訊 (PII),從而增強生成式 AI 應用程式中的內容安全和隱私。您可以使用專用於特定使用案例的不同組態建立多個防護機制。此外,您還可以透過防護機制持續監控和分析可能違反客戶定義之政策的使用者輸入和 FM 回應。

您可以使用防護機制定義一組政策,以幫助保護生成式 AI 應用程式。您可以在防護機制中設定下列政策。

  • 拒絕的主題:定義一組在應用程式內容中不需要的主題。例如,可以將網上銀行助理設計為避免提供投資建議。
  • 內容篩選器:設定閾值,以篩選仇恨、辱罵、性和暴力類別的有害內容。
  • 字詞篩選器 (即將推出):定義一組要阻止使用者輸入和 FM 所產生回應的單詞。
  • PII 編輯 (即將推出):選取一組可在 FM 產生的回應中編輯的 PII。根據使用案例,如果使用者輸入包含 PII,您也可以阻止。

防護機制可與 Amazon Bedrock 上所有可用的大型語言模型 (LLM) 一起使用。也可以與經過微調的 FM 以及 Amazon Bedrock 代理程式搭配使用。

有四種內建的防護機制政策,每種都有不同的現成防護措施

  • 內容篩選器:包含 6 個現成類別 (仇恨、侮辱、性、暴力、不當行為 [包括犯罪活動] 和提示攻擊 [越獄和提示注入])。每個類別可進一步自訂篩選的嚴格程度閾值 - 低/中/高。
  • 禁止主題:這些是客戶可使用簡單的自然語言描述來定義的自訂主題
  • 敏感資訊篩選器:內建 30 多種現成的個人身份資訊 (PII)。可透過新增客戶的敏感專有資訊來進一步自訂。
  • 字詞篩選器:內建髒話篩選功能,可透過自訂詞彙進一步自訂。

基礎模型有原生防護措施,這是與每個模型相關聯的預設保護。這些原生防護措施不屬於 Amazon Bedrock 防護機制。Amazon Bedrock 防護機制是額外的自訂防護層,客戶可根據其應用程式需求和負責任 AI 政策選擇性地套用。


作為 Amazon Bedrock 防護機制的一部分,SSN 和電話號碼偵測是 30 多個現成的 PII 的一部分。完整清單請見此處

使用 Amazon Bedrock 防護機制需要單獨付費。它可以同時套用於輸入和輸出。定價位於此處頁面的底部。

是的,客戶可以使用 Amazon Bedrock 防護機制 API 執行自動測試。「測試案例建置器」可能是您在生產環境中部署防護機制之前想要使用的東西。目前還沒有本機測試案例建置器。針對生產流量的持續監控,防護機制提供每個輸入和輸出之所有違規行為的詳細日誌,以便客戶能精細地監控其生成式 AI 應用程式的每個輸入和輸出。這些日誌可儲存在 CloudWatch 或 S3 中,並且可以用於根據客戶的需求建立自訂儀表板。