關於使用 Oracle Digital Assistant 建立和管理多代理程式

隨著企業越來越採用生成式 AI (GenAI) 代理來簡化營運並提升客戶體驗，管理這些代理的全方位平台至關重要。組織尋求直觀的使用者介面，在其中設計、部署和協調多個 AI 代理，並視需要將其與 API、工作流程和 GenAI 功能無縫整合。

Oracle 計畫推出 OCI Generative AI Agents Platform。雖然我們期待下一個版本，但客戶專案證明 Oracle Digital Assistant (ODA) 可以非常適合 AI 代理的協調員。ODA 具備強大的 API 連線、多通路部署、流程設計工具和 LLM 區塊，讓企業能夠有效率地管理 AI 代理的整個生命週期。

因此，您可以探索 ODA 如何提供結構化方法來建置、管理及調整 AI 代理。

Oracle Digital Assistant 提供一個完整的生態系統，可透過無縫的 API 整合、多通路部署、LLM 功能和工作流程自動化來建置、管理及調整 AI 代理。透過利用 ODA，企業可以有效地管理 AI 代理的整個生命週期，確保敏捷性、可擴展性和增強的使用者體驗。這也適用於使用非 OCI 技術開發的 AI Agents，在 Bosch 有一個公開的 ODA + OpenAI 範例。

隨著企業持續進行 AI 驅動的轉型，ODA 是功能強大的推動者，簡化了智慧數位助理的部署，同時確保控制、安全性和業務價值。

瞭解使用 Oracle Digital Assistant 建置及管理多代理程式的優點

  • 無縫 API 整合 ODA 提供強大的 API 服務整合功能，讓代理程式能夠與任何後端系統連線。支援 REST API、資料庫互動及外部雲端服務。無需自訂後端開發，即可輕鬆擷取資料及處理交易工作流程。
  • 使用 ODA 建置的多管道部署代理程式可以跨多個管道進行部署，包括 Web、行動、訊息傳遞平台 (WhatsApp、Slack、Teams) 和語音介面。這可確保所有互動接觸點的使用者體驗一致。
  • 適用於無程式碼代理程式開發的視覺化流程設計工具流程設計工具提供低程式碼 / 無程式碼環境，用於設計 AI 導向的對話與工作流程。可讓業務使用者和開發人員快速建置、測試及部署專員，無需進行大量編碼工作。
  • 生成式 AI 整合的 LLM 區塊 ODA 支援大型語言模型 (LLM) 整合，讓 AI 代理能夠在需要時運用 GenAI 功能。組織可以在客服員的工作流程中呼叫任何 LLM (Oracle GenAI、Cohere、Meta 等)。支援提示產生器
  • 集中式提示管理：管理員可以從單一位置管理和更新多個提示，而不需修改流程設計工具，以確保 AI 互動的順暢更新和一致性。
  • 工作流程自動化與協調 AI 代理可以觸發和管理 ODA 或外部工作流程引擎內的工作流程。支援事件導向自動化，啟用動態和回應式專員互動。透過 AI 驅動的工作流程實現人力資源、IT 和客戶支援自動化。
  • 進階分析與監控 ODA 提供內建的分析和報告功能，可追蹤專員的績效和使用者互動。根據即時洞察力和使用者意見回饋啟用最佳化。
  • 安全性與治理 企業級安全性功能可確保符合資料保護法規。以角色為基礎的存取控制 (RBAC) 與稽核日誌，用於治理。

架構

使用 ODA 與 LLM 區塊可讓您建立非常簡單、複雜的架構 (例如 supervisor 1) 的 AI 代理程式。AI 代理可以呼叫工具、知識庫和其他專員，並根據使用者要求以自治方式決定要使用的工具。

雖然您的特定架構可能與本手冊中所提供的架構不同，但此範例代表以 ODA 開發之多代理程式服務的典型實作。在此範例架構中，交談源自應用程式層，此層由 Microsoft Teams 例項與自訂應用程式組成。聊天內容或查詢會導向到 ODA 的通路元件中，然後進入 Skills 聊天機器人。透過使用 ODA，您可以呼叫任何 API；例如，在這種情況下，Oracle Fusion HCM API。接著，流量會從技能聊天機器人移至 GenAI 路由器專員，視交談的主旨而定，將流量導向適當的 HRMS 專員，或者，如果未解決或一般查詢，則導向 RAG 專員。

API 可以使用來自 Fusion 或來自 EBS 套件的任何後端服務，無論是否使用 Oracle Integration 。如此一來，ODA AI 代理即可使用 Oracle Cloud 中幾乎所有類型的 API。如果查詢移至其中一個 HRMS 代理程式，則會處理該查詢，然後透過 Oracle Integration 中介軟體傳送至其中一個適當的 Oracle Fusion ERP 服務；例如，Oracle E-Business Suite 、Oracle Procurement 、Oracle Fusion Cloud Human Capital Management 或 Oracle Cloud ERP 。這些服務會處理查詢並將必要資訊傳回 HRMS 代理程式，然後經由路由器代理程式、技能聊天機器人，接著是通路元件，然後結束 ODA，以連結至其來源的應用程式層。登入後，代理程式可以使用授予登入使用者的權限來呼叫後端的 API。請注意，每個代理程式本身都是對 GenAI 服務進行背景呼叫的程式碼。在此範例中，您可以使用 Fusion 或 MS Teams 登入。

下圖說明此架構：


multi-agent-oda-arch.png 的描述如下
multi-agent-oda-arch.png 圖解描述

多代理 -oda-arch-oracle.zip

此範例架構包含下列元件：
  • 地區

    Oracle Cloud Infrastructure 區域是本地化的地理區域，包含一或多個代管可用性網域的資料中心。區域獨立於其他地區，且遠距離能夠分離它們 (跨國家，甚至是大陸)。

  • Oracle Digital Assistant

    Oracle Digital Assistant 提供一個完整的生態系統，可透過無縫的 API 整合、多通路部署、LLM 功能和工作流程自動化來建置、管理及調整 AI 代理。透過利用 ODA，企業可以有效地管理 AI 代理的整個生命週期，確保敏捷性、可擴展性和增強的使用者體驗。

  • 通道

    通路會將各種訊息傳遞平台上的使用者與數位助理及其各種技能來回進行交談。另外還有用於使用者代理程式呈報與測試的通道。您可以在 ODA 中設定通道，讓使用者公開數位助理和獨立技能。

  • 技能

    技能是專為特定任務集所設計的聊天機器人，可滿足使用者要求。

  • 路由器代理程式

    路由器代理程式是 AI 代理程式，可根據查詢性質，將使用者查詢導向相關且最合適的 AI 代理程式。路由器代理依賴 LLM 根據情境動態分析和路由查詢，無需預先定義的意圖或大量的訓練資料，同時實現零快照功能

  • RAG 代理程式

    RAG 代理結合了檢索增強生成 (RAG) 和 AI 代理的強大功能，以提高資訊檢索和生成任務的準確性、適應性和複雜性。

  • 離開代理程式

    「離開」代理程式可讓使用者在 HCM 後端中預訂假日或離開時間。它會根據使用者的自然語言要求呼叫必要的 API。

  • 信件代理程式

    信函代理是 AI 元件，可協助寫信 (不論是個人、專業或其他)。它運用 AI 功能來產生草稿、個人化內容，甚至建議適當的語言或語氣。

  • 費用代理人

    費用代理可讓您管理和報告費用。

  • 索賠代理人

    「求償」代理程式可讓您管理和報告您的求償。它會根據使用者的自然語言要求呼叫所需的 API。

  • OIC 整合中介軟體

    OCI 整合服務可連接任何應用程式和資料來源，包括 Salesforce、SAP、Shopify、Snowflake 和 Workday，以自動化端對端流程並集中管理。透過預先建置的轉接器和低程式碼自訂功能，提供廣泛的整合項目，簡化移轉至雲端的流程，同時簡化混合雲和多雲作業。

  • OCI GenAI 服務

    OCI Generative AI (GenAI) 是一項完全託管的服務，可將各種語言模型無縫整合至各種使用案例，包括撰寫協助、摘要、分析和交談。

關於 ODA 中其他 LLM 區塊功能

除了列出的元件之外，Oracle Digital Assistant 還提供進階 LLM 區塊功能，可強化 AI 代理程式回應的控制與自訂：

這些功能包括：
  • 強制執行 JSON 格式的 LLM 回應：確保 LLM 回應遵循結構化輸出的預先定義 JSON 綱要。如有需要，事件處理程式可以將 JSON 轉換成易於使用的格式，例如結構化表格或表單。

    附註：

    套用 JSON 格式時，請將使用串流處理設為 False。
  • 重試次數：定義發生驗證錯誤 (實體或 JSON) 時的重試嘗試次數上限。重試提示會反白標示錯誤，並要求 LLM 更正錯誤。如果重試超過限制，對話方塊會遵循錯誤轉換。
  • 重試訊息：當 LLM 因驗證錯誤而重試時通知使用者；例如，增強回應。
  • 驗證自訂處理程式：允許透過在技能中部署的自訂處理程式進行特殊驗證。它可以：
    • 進一步處理 LLM 回應。
    • 評估使用者對不適當內容的要求。
    • 套用相依實體驗證，確保某些值需要或排除其他值。
    您必須在技能設定值中預先設定處理程式。
  • 分析對 LLM 和回應的呼叫。

關於在 Oracle Digital Assistant 中管理 AI 代理程式生命週期

管理 AI 代理生命週期可加總為以下五個階段。

  1. 計畫與設計
    1. 定義 AI 代理程式的使用案例與範圍。
    2. 識別必要的 API 整合和工作流程。
    3. 使用 ODA 的「流程設計工具」設計對話流程。
  2. 開發與整合人員
    1. 設定 API 服務和後端連線。
    2. 為生成式回應導入 LLM 區塊。
    3. 設定意圖辨識和訓練模型，以提高準確度。
  3. 部署與公開
    1. 跨多個通路 (Web、行動裝置、WhatsApp、團隊等) 部署 AI 代理。
    2. 確保安全的存取和認證機制。
  4. 監控與最佳化
    1. 使用 ODA 分析持續監控專員互動。
    2. 透過改進意圖和訓練模型來提高準確度。
    3. 根據即時使用者意見回饋最佳化工作流程。
  5. 規模與維護
    1. 隨著業務需求的演變，新增功能。
    2. 確保定期安全和合規性更新。
    3. 視需要展開至其他業務單位或地理區域。