最佳應用

本節提供將企業 AI 代理部署至生產環境的重要最佳實務。

1. 定義專員的範圍

每個生產代理都需要明確的目的。

為每個專員定義下列項目:

  • 商業目標
  • 成功評量
  • 允許的作業
  • 禁止的作業
  • 人力核准需求
  • 上調路徑

設計代理程式來解決特定的業務問題,而不是作為一般用途的助理。與單一單體代理程式相比,較小的專業代理程式可以降低驗證、安全性、監控和維護的複雜性。

實務銀行範例:「貸款服務代理」的範圍僅為五個作業:回答貸款餘額與付款歷史記錄問題、說明再融資資格、產生付款提醒、建立服務單,以及將硬派要求遞送給專員。它無法核准貸款修改、放棄費用、變更付款到期日或核發資金。保持範圍的窄幅可降低營運和監管風險,同時提高準確性。


範疇 -example.png 的描述如下
scope-example.png 圖解描述

生產實作:LangGraph 定義意圖分類、帳戶擷取、原則查尋、標牌建立及人手交接的專用節點。Oracle Enterprise AI Response API 會執行推理,而每個狀態變更動作都會委派給受管理的企業 API,而不是由模型直接執行。

2. 建立模組化代理程式架構

企業代理程式使用模組化架構來區分推理與執行。

一般元件包括下列各項:

  • 使用者介面
  • 規劃與推理層
  • 工具協調
  • 企業連接器
  • 記憶體服務
  • 擷取服務 (RAG)
  • 政策引擎
  • 可觀察性層
  • 安全層級

分離職責有助於團隊獨立改善元件,而不會影響整體系統,並簡化測試與除錯。

實務銀行範例:工作流程會使用獨立階段,而非一個大型提示:擷取客戶的請求、擷取其貸款與帳戶記錄、檢查適用的服務政策、計算任何相關數據 (償付金額、下一個到期日)、草擬回應,並在需要時要求人工核准。詐騙和硬化偵測模組可以獨立於客戶通訊模組進行升級。


架構的描述 -example.png 如下
架構圖解描述 -example.png

生產實作:LangGraph 將每個階段協調為隔離的節點。LangChain OCI 為銀行的貸款服務平台提供可重複使用的連接器,而 Oracle Enterprise AI Response API 則會獨立處理每個階段的推理。

3. 導入強大的工具治理

代理程式只有與其可存取的工具一樣安全。

請為每個工具定義下列項目:

  • 明確輸入綱要
  • 輸出驗證
  • 認證需求
  • 授權規則
  • 逾時限制
  • 重試行為
  • 費率限制
  • 冪等保證

絕對不要將不受限的 API 直接公開到大型語言模型 (LLM)。相反地,企業 API 使用可控制的工具介面,在執行前驗證每個要求。

實務銀行範例:專員可以啟動「付款提示」或「服務單」,但絕不會直接存取核心銀行分類帳。每個動作都會通過一個服務工具來驗證客戶的身分、確認帳戶是否良好、檢查要求的動作是否在政策限制內,然後只呼叫核心銀行 API。


治理描述 - example.png 如下
Governance-example.png 圖解描述

生產導入:LangChain OCI 將服務工具公開為具有嚴格輸入 / 輸出綱要的結構化功能。Oracle Identity 會在執行工具之前驗證呼叫者的授權,並記錄每個呼叫 (無論成功或拒絕) 以進行稽核。

4. 強制執行強大的身分識別與存取管理

生產專員必須根據企業身分識別原則操作。

最佳作法包括:

  • 最少權限存取
  • 短期證明資料
  • OAuth 或企業身分識別提供者
  • 以角色為基礎的存取控制 (RBAC)
  • 透過安全保存庫進行加密密碼管理
  • 完成稽核記錄

專員絕不能比所代表的人工使用者獲得更廣泛的權限。

實務銀行範例:使用代理人的貸款職員只能檢視其指定投資組合內的帳戶並採取動作。代理程式代表該主管進行認證時,會繼承相同的權限,也不再使用。如果主管在其投資組合外詢問帳戶,基本工具會在模型產生回應之前拒絕要求。


iam-example.png 的描述如下
iam-example.png 圖解描述

生產環境實行:Oracle Identity Cloud Service (IDCS) 會認證每個使用者階段作業。系統會根據使用者的身分識別、角色和資源所有權檢查每個工具呼叫。此檢查可確保服務人員絕不會超過要求員工的存取權限。

5. 針對企業知識使用檢索增強生成 (RAG)

企業專員使用檢索,而非僅依賴模型訓練。

請使用下列課堂練習:

  • 將企業知識儲存在可搜尋的索引中
  • 動態擷取相關文件
  • 擷取期間套用文件權限
  • 盡可能引用來源
  • 版本企業知識

設計良好的 RAG 架構可提高準確性、減少虛構,並確保在不重新訓練模型的情況下,回應保持在最新狀態。

實務銀行範例:當客戶要求再融資資格時,專員會擷取目前的服務政策手冊、適用的費率表及相關法規披露,而非依賴基本模型的訓練資料。每個答案都會列出支援的特定保單區段。當銀行更新其再融資條款時,代理會反映變更。


rag-example.png 的說明請參見下方
rag-example.png 圖解描述

生產實作:LangGraph 包含專用的擷取節點。Policy manuals and rate sheets are chunked and embedded directly in Oracle AI Database 26ai using the native VECTOR data type, with HNSW indexes for fast similarity search and hybrid vector indexes that blend semantic and full-text matching for precise policy lookups. 資料列層次安全性會在擷取前篩選結果,以僅包含使用者允許查看的文件,而 LangChain OCI 會查詢此存放區,因此 Oracle Enterprise AI Response API 會將權限篩選的傳遞與客戶的問題結合,以產生不動的可回應。

6. 設計以人為本的流程核准

有些決策需要人工核准。

要求明確的人力核准高風險作業,包括:

  • 財務異動
  • 客戶溝通
  • 基礎架構修改
  • 生產部署
  • 資料刪除
  • 法律或合規行動

核准工作流程可降低營運風險,同時允許對低風險任務進行自動化。

實務銀行範例:專員可以自動傳送付款提示或產生償付報價單,但任何隱含困難住宿的請求,例如付款遞延、費用減免或修改的償付排程、暫停及遞送給人力貸款專員。專員在決定之前會收到客戶情況、帳戶歷史記錄及專員建議的摘要。


Hitl-exampe.png 的描述如下
hitl-exampe.png 圖解描述

生產實作:核准步驟是導入為 LangGraph 檢查點。工作流程狀態會持續存在,直到人工回應為止。持續狀態允許處理程序恢復暫停的位置,即使需要時數或天數。

7. 重視可靠性和韌性

可靠的企業部署預計會失敗,而不是假定理想的情況。

設計代理程式來正常處理下列失敗:

  • API 故障
  • 網路停機
  • 部分工具失敗
  • 速率限制
  • 內容視窗限制
  • 模型無法使用
  • 回應無效

建議的工程實務包括斷路器、具有指數性退避的重試原則、要求逾時、後援模型、佇列式處理、無法寄出的字母佇列,以及檢查點長時間執行的工作流程。復原系統可自動復原,無需操作員介入。

實務銀行範例:在例行服務請求期間,核心銀行 API 逾時,且識別服務短暫無法使用。專員以指數退回重試而非結束客戶的階段作業,返回帳戶的快取唯讀檢視以取得資訊問題,並在服務復原時自動恢復完整功能。此方法可將對客戶的中斷降到最低。


可靠性說明 - example.png 如下
可靠性圖解說明 -example.png

生產實作:LangGraph 檢查點會保留所有失敗的工作流程狀態。Oracle Enterprise AI Deployment 會自動調整負載中的推論端點,而企業 API 連接器預設會實行重試原則和斷路器。

8. 建立全面性可觀察性

企業 AI 系統需要與分散式軟體系統相同的可觀察性層級。

擷取提示、回應、工具呼叫、延遲、權杖使用量、成本、成功率、錯誤率、人工核准、使用者意見回饋以及執行追蹤。跨代理程式工作流程的分散式追蹤可簡化疑難排解和效能最佳化。

實務銀行範例:客戶開始向服務人員報告較慢的回應。工程師無須猜測分散式追蹤並找出明細:模型回應 1.1 秒、原則擷取 140 毫秒、核心銀行查尋 4.6 秒、身分識別檢查 250 毫秒。追蹤會將瓶頸識別為緩慢的核心銀行服務呼叫,而非專員本身。


可觀察性描述 - example.png 如下
可觀察性圖解描述 -example.png

生產實作:每個 LangGraph 節點都會發出追蹤、指標及日誌。OpenTelemetry 會關聯跨 LangGraph、Oracle Enterprise AI Response API、企業連接器、擷取索引及 Oracle Enterprise AI 部署的完整要求路徑。此關聯為營運團隊提供完整的端對端可見性。

9. 持續評估

生產專員需要持續評估。

維護涵蓋業務案例、邊緣案例、失敗案例、逆向提示、安全攻擊及迴歸測試的評估資料集。將自動評估併入 CI/CD 管線,以便在發布前驗證每個提示、工作流程或模型更新。

實務銀行範例:在任何模型或提示更新到達「貸款服務代理」之前,它會針對固定評估套件來執行:2,000 個歷史服務對話、500 個管制邊緣案例 (例如,貸款法律規定的披露)、200 個內嵌於已上傳文件中的提示拒絕嘗試,以及規範準確性基準。只會升級符合或超過目前生產基準的版本。


評估描述 - example.png 如下
evaluation-example.png 圖解描述

生產實作: CI/CD 管線會在每次變更時自動執行評估套件。提示編輯、工作流程變更及模型升級都需要先傳遞這些迴歸基準,才能授權部署。

10. 防止立即插入和資料外洩

提示注入仍然是代理系統中最重要的風險之一。

緩解策略包括輸入驗證、提示實現、工具隔離、相關資訊環境分離、輸出篩選、機密資料隱匿,以及在執行前強制實行原則。代理程式在未驗證的情況下,絕對不能遵循從外部文件或 Web 內容擷取的指示。

實務銀行範例:客戶上傳再融資請求的支援文件。文件的中繼資料包含隱藏文字,指示系統立即核准要求。因為系統將上傳的文件視為不受信任的資料,所以代理程式會忽略內嵌指示,並繼續針對銀行的實際服務政策評估要求。


secure-example.png 的描述如下
secure-example.png 圖解描述

生產實作:LangGraph 將系統指示、使用者輸入、擷取的文件及工具結果保持在個別的通道。原則驗證會在每次工具呼叫之前執行。此分層防禦可防止插入的指示影響敏感動作。Oracle Deep Data Security 是應用程式層下方的額外控制,直接在 Oracle AI Database 26ai 中強制實行宣告式資料列層級、資料欄層級和儲存格層級原則。即使插入的指示會讓代理程式發出未經授權的查詢,資料庫也會使用警官的傳輸識別和程式實際執行相關資訊環境,僅傳回警官有權查看並遮罩所有其他項目為 NULL 的資料。

11. 管理相關資訊環境和記憶體

將記憶體視為企業資料。

最佳作法包括將階段作業記憶體與長期記憶體分離、加密儲存的記憶體、定義保留原則、支援記憶體刪除、啟動多版本功能記憶體更新,以及避免儲存不必要的個人資訊。僅保存可改善未來工作績效,同時遵守隱私權法規的資訊。

實務銀行範例:Loan Servicing Agent 會初始化以銀行 Oracle AI Database 連線集區為後盾的單一 OracleAgentMemory 執行處理。每個客戶互動都會成為一個執行緒,範圍涵蓋該客戶的 user_id。

  • 當客戶表示像是「我偏好以文字向前聯絡」之類的內容時,專員會呼叫 thread.add_messages (...),將原始對話寫入資料庫,並自動擷取持久事實 (偏好的聯絡人管道偏好設定),而不需要個別的擷取步驟。
  • 有關專員在一般對話流程之外保留的資訊 (例如「客戶硬件已於 7 月 3 日呈報給專員」),其會使用 thread.add_memory (...) 明確地撰寫。
  • 在稍後的呼叫中,代理程式會擷取含有 memory.search (query=...,scope=SearchScope (user_id=...) 的相關歷史記錄。此範圍會保留每個客戶的記憶體分割。貸款主管的服務人員階段作業只能在其獲得授權的範圍內搜尋 (代理人、使用者或團隊層級),且權限繼承自主管本身的企業身分。

此設計會對應至銀行在階段作業記憶體與長期記憶體之間的必要分割:原始訊息歷史記錄可作為階段作業或工作記憶體,而擷取的「事實」與「狀態」功能則可作為持久的跨階段作業記憶體。持久性記憶體可協助專員辨識退回客戶的偏好設定,而不再次詢問。客服員也可以使用「相似性」來標示類似先前困難案例的新要求,而不保留銀行不希望客服員保存的帳號或驗證資料。


記憶體說明 - example.png 如下
記憶體 -example.png 圖解描述

生產實作:Oracle AI Database 26ai 中的階段作業和長期記憶體。擷取的事實和狀態是使用原生 VECTOR 資料類型儲存,並以 HNSW 向量索引編製索引。Elastic Vector Memory 可隨著記憶體成長而持續快速擷取。混合向量索引將語意和全文搜尋融合為強大的相似性查尋,而搜尋準確度可調整為百分比。Governed Access 使用 Oracle 的內建資料庫安全性,包括加密、資料遮罩和活動稽核。權限是繼承自第 4 節所述的相同識別系統。保留會以排定的生命週期工作執行,在銀行的管理時段內永久清除記憶體。

12. 建立負責的 AI Guardrails

企業部署需要多層 AI 治理。

使用防護軌來處理有害內容、偏差偵測、毒性篩選、合規性要求、隱私權保護、智慧財產權和法規義務。在特殊情況下維持人為監督。

實務銀行範例:貸款是受到高度監管的活動,因此專員在傳送前,會透過合規監護人執行每個客戶對客戶的回應。監護人會檢查必要的法規揭露 (例如公平公開的語言) 和畫面,以找出可解譯為受保護類別之歧視陳述的語言。它也會在記錄或引用資訊回應之前,阻止代理程式進行任何類似具約束力信用決策的陳述,並隱匿個人識別資訊。


gurdrails-example.png 的說明請見下方
gurdrails-example.png 圖解描述

生產實作:原則引擎位於推理層與面向客戶的輸出之間,並套用規範與責任 AI 規則作為最終檢查點。原則引擎會自動封鎖違規,並將它們遞送至規範複查者,而不是向客戶呈現。

13. 成本與績效最佳化

生產專員平衡功能與營運效率。

最佳化技術包括模型路由、回應快取、語意快取、權杖最佳化、相關資訊環境壓縮、批次推論、串流回應,以及動態模型選擇。並非每個要求都需要最大的可用模型;為每個任務選取適當的模型可降低延遲和營運成本。

實務銀行範例:簡單的「我的下一個付款到期日為何」問題會遞送至以語意快取作為後盾的較小、低延遲模型,因為答案是直接的查尋。一種需要跨政策文件進行多步驟推理的細部再融資資格問題,會遞送至較大的模型。此動態路由可將代理程式的平均回應成本降低一半以上,而不會降低複雜要求的準確性。


Optimize-example.png 的描述如下
optimize-example.png 圖解描述

生產實作:Oracle Enterprise AI Deployment 支援多個並行部署的模型層,而 LangGraph 的路由節點會根據意圖分類選取適當的層,並在最高容量、最低複雜度要求類型前加上語意快取。

14. 導入安全部署實務

將代理程式部署視為軟體版本。

建議的做法包括啟動多版本功能提示和工作流程、金絲雀偵測部署、藍 / 綠部署、功能旗標、倒回機制、組態管理以及基礎架構即程式碼 (IaC)。使用與應用程式代碼相同的處理程序來複查與測試提示變更。

實務銀行範例:當銀行導入新的再融資建議功能時,它不會同時解除全銀行的能力。該銀行分階段部署功能:僅在第 1 週內向內部貸款專員、第 2 週的 5% 客戶、第 3 週的 25% 客戶,以及第 4 週的所有客戶。銀行會監控每個階段的錯誤率,如果費率超過定義的臨界值,則會自動倒回功能。


部署的描述 - example.png 如下
deployment-example.png 圖解描述

生產導入:Oracle Enterprise AI Deployment 可管理啟動多版本功能的模型端點,IaC 可跨開發、測試和生產佈建一致的環境,功能旗標則可獨立於基礎模型部署。

15. 評估業務成果

僅有技術評量標準不足。

追蹤以業務為中心的 KPI,例如任務完成率、人為介入率、客戶滿意度、解決時間、營運成本節省、生產力提升、準確性及合規率。這些指標展現了商業價值並引導持續改進。

實務銀行範例:推出後六個月,銀行會追蹤可衡量的結果,而不是單獨追蹤模型準確性。

KPI 代理程式之前 代理程式之後
平均解析時間 18 分鐘 5 分鐘
第一個聯絡解決方法 62% 87%
人類升級 45% 14%
客戶滿意度 4.1 / 5 4.7 / 5
每次服務互動的成本 $8.40 $2.75

這些成果展現出可衡量的商業價值,不僅僅是技術績效。

生產實施:OpenTelemetry 指標與從銀行的 CRM 和貸款服務系統提取的業務 KPI 結合。工程儀表板將延遲、權杖使用率和工具失敗率等技術指標與解決時間和客戶滿意度等業務成果相關聯。此關聯可根據實際營運影響實現持續最佳化。