在 Oracle Cloud Infrastructure 上建置企業級生成式 AI 堆疊

要在 Oracle Cloud Infrastructure (OCI) 上建置端對端生成式 AI 堆疊,需要多層方法來整合企業系統內的人工智慧。

目的是簡化應用程式開發、確保健全的資料整合,以及強化各層的安全措施。它可協助部署 AI 模型、有效管理客戶資料,並結合進階記錄和監控功能,以維持高效能和可靠性。此參考架構還會處理所需的不同元件,並根據所需的回應協調不同的 LLM 以共同運作。

架構

此參考架構描述一個四層 AI 堆疊,以及企業設定內導入企業級 Generative AI 解決方案所需的所有不同元件。

  1. 應用程式層
  2. 存取層次
  3. 跨解決方案的日誌記錄與監控
  4. 由下列五個模組組成的 AI 層:
    • AI 整合
    • 大型語言模型
    • AI 開發
    • 資料整合
    • 相關資訊環境和資料目錄

下列小節說明考量此參考架構的假設性流程:

  1. 要求將來自應用程式至 API 和存取層。
  2. 此層受到 WAF 保護,並使用 OCI Identity and Access Management 和授權原則檢查要求以進行認證。
  3. API 閘道接著會向整合層提出要求,這層包含用於 AI 抽象與協調流程的 LangChain。這一層還包括已列入白名單並對應至適當授權和 LLM 模型版本的提示儲存庫。
  4. 要求會傳送至符合要求類別和提示的 LLM。
  5. 相關資訊環境和用戶歷史記錄是從相關資訊環境資料庫載入。
  6. 必須強化的任一資料位置可從資料目錄存取。
  7. 讓我們說,部分資料仍然遺失,資料整合層會先檢查資料是否已快取,以及是否不會從客戶的資料查詢資料。
  8. LLM 將透過整合進行回應。
  9. 回答將通過 Hallucination 檢查器,Hallucination 檢查器接著會執行逆向人工智慧來驗證回應是否有意義。
  10. 最後,它會透過 API 閘道返回應用程式。

下圖說明此參考架構。



oci-genai-enterprise-arch-oracle.zip

讓我們看看每個區塊圖層的建置區塊:

AI 層
  1. 將 LLM 模組內的 LLM 與其最適合區域的每個 LLM 混合並進行比對。
  2. 資料目錄應根據客戶和不同對話來維護內容,協助不同的 LLM 瞭解在何處找到所需資料。
  3. 資料整合層會存取客戶資料,並快速將其提供給 AI,這包括所需的資料快取和整合。
  4. AI 整合模組、維護 Repo 提示、LangChain 抽象 LLM,以及 Oracle Integration 進行整合。
  5. AI 開發層允許建立模型版本和儲存,以及發展解決方案所需的 DevOps。
日誌記錄和監督層
  1. Hallucination 檢查器會執行逆向 AI 來執行 LLM 輸出,以驗證其透明度。
  2. Application Performance Monitoring 會追蹤效能 SLA。
  3. 記錄和稽核會追蹤生成式 AI 解決方案如何用來觀察系統並識別潛在問題。
API 和存取層
  1. API 閘道允許對 AI 堆疊進行控制存取。
  2. 原則會集中維護,以管理對 LLM 堆疊的存取。
  3. WAF 可保護環境免於潛在的攻擊媒介。
  4. 存取權杖與控制使用 OCI Identity and Access Management 管理。

架構具有下列元件:

  • OCI Generative AI Agents

    OCI Generative AI Agents 是一項完全託管的服務,將大型語言模型 (LLM) 的強大功能與智慧型擷取系統結合,透過搜尋您的知識庫來建立與情境相關的答案。讓您的 AI 應用程式更聰明,而 efficient.OCI Generative AI Agents 支援數種方式來將您的資料上線,然後允許您和您的客戶使用交談介面或 API 與您的資料互動。

  • 一般 AI

    Oracle Cloud Infrastructure Generative AI 是一個完全託管的 OCI 服務,提供一組最先進的可自訂大型語言模型 (LLM),其中涵蓋廣泛的文字產生、摘要、語意搜尋等使用案例。您可以使用測試區試用立即可用的預先訓練模型,或者根據自己在專用 AI 叢集上的資料建立及代管經過微調的自訂模型。

  • 整合

    Oracle Integration 是一個完全受管理的預先設定環境,可讓您整合雲端和內部部署應用程式、將業務流程自動化,以及開發視覺化應用程式。它使用符合 SFTP 規範的檔案伺服器來儲存和擷取檔案,並透過使用數百個轉接器和處方組合與 Oracle 和第三方應用程式連線,讓您與企業對企業交易夥伴交換文件。

  • API 閘道

    Oracle Cloud Infrastructure API Gateway 可讓您發布內含可從您網路存取之專用端點的 API,並視需要向公用網際網路公開。端點支援 API 驗證、要求和回應轉換、CORS、驗證和授權以及要求限制。

  • OCI 資料整合

    Oracle Cloud Infrastructure Data Integration 是一款完全受管理的無伺服器雲端原生服務,可擷取、載入、轉換、清除各種資料來源的資料,並將資料重新調整為目標 Oracle Cloud Infrastructure 服務,例如 Autonomous Data Warehouse 和 Oracle Cloud Infrastructure Object Storage。ETL (擷取轉換載入) 運用 Spark 上完全受管理的橫向擴展處理,而 ELT (擷取載入轉換) 運用 Autonomous Data Warehouse 的完整 SQL 下推功能,將資料移動降到最低,並改善新擷取資料創造價值的時間。使用者使用直觀且無程式碼的使用者介面設計資料整合流程,將整合流程最佳化,以產生最有效率的引擎和協調流程,並自動配置及調整執行環境。Oracle Cloud Infrastructure Data Integration 提供互動式探索和資料準備,並透過定義規則來處理綱要變更,協助資料工程師防止綱要差異。

  • Oracle Exadata Database Service

    Oracle Exadata Database Service 可讓您在雲端中運用 Exadata 的強大功能。Oracle Exadata Database Service 在公有雲和 Cloud@Customer 上針對特定用途建置、最佳化 Oracle Exadata 基礎架構,提供經過實證的 Oracle Database 功能。針對所有 Oracle Database 工作負載,內建雲端自動化、彈性資源擴展、安全性和快速效能,可協助您簡化管理並降低成本。

  • Identity and Access Management (IAM)

    Oracle Cloud Infrastructure Identity and Access Management (IAM) 是 Oracle Cloud Infrastructure (OCI) 和 Oracle Cloud Applications 的存取控制層。IAM API 和使用者介面可讓您管理識別網域和識別網域內的資源。每個 OCI IAM 識別網域都代表獨立的識別與存取管理解決方案,或代表不同的使用者群體。

建議

使用下列建議作為起點。您的需求可能與此處描述的架構不同。
  • Oracle Cloud Infrastructure + 生成式 AI
    生成式 AI 可以推動創新、改善流程,並協助公司以前所未有的成就,但需要正確的方法。Oracle 持續為各地的企業提供最佳的 AI 功能,特別注重高效能模型、將生成式 AI 嵌入堆疊中,以及資料管理、安全性和隱私。Oracle 藉由將 AI 內嵌至整個技術堆疊 (從企業運行的基礎架構到財務、供應鏈和人力資源等各個業務線應用程式),協助組織以主動使用 AI 改善效能,同時節省時間、能源和資源:
    • 我們的核心雲端基礎架構現在包含以 Supercluster 技術為基礎的獨特 AI 基礎架構層,運用最新、最棒的硬體 (包括高效能 GPU),這些都對於有效率地訓練及部署 AI 模型至關重要,尤其是針對大量運算的案例 (例如大型語言處理 (LLP)。此基礎架構旨在最大化 AI 和 GPU 技術的功能,確保企業 AI 工作負載的最佳效能和可擴展性。
    • 除了這個基礎架構之外,我們的資料庫層還將 AI 內嵌在 Oracle Autonomous DatabaseOracle MySQL HeatWave 等產品中,並搭配 AutoML (內建於機器學習中),讓開發人員能夠在應用程式和作業中新增預建模型,而無需成為 ML 等技術專家。
    • 我們的應用程式開發平台提供 AI 服務,例如 Oracle Digital Assistant for Natural Language Processing (NLP)。
    • 此外,Oracle 廣泛的產業應用程式還採用了 AI 模型,這些模型經過訓練,能夠應對從醫療照護和金融服務到零售、製造和公部門等產業的特定挑戰。這使我們能夠獨一無二地幫助客戶優化工作負載,以解決最複雜和策略性的挑戰。
  • LangChain 整合

    您可以使用下列功能,將 OCI Generative AI 新增至以 LangChain 為基礎的實作:

    • 開放原始碼:協助建置或協調 LLM 型應用程式的開放原始碼架構。
    • 定義 LLM 模型與提示:使用偏好的 LLM 模型並定義內容內提示。
    • 索引程式庫:使用立即可用的程式庫來設定 RAG 架構,以進行文字分割、對話 2 SQL 等等。
    • 鏈結、專員及記憶體:使用鏈結與專員設定更複雜的 LLM 工作流程,並使用對話歷史記錄來設定更多內容。

注意事項

實作此參考架構時,請考慮使用這些選項。

  • 跨業務功能的生成式 AI 使用案例

    您可以考慮在不同業務功能中使用生成式 AI 功能,如以下部分範例所述:

    客戶作業
    • 以客戶的產品套件、體驗和語言為基礎的自動化客戶服務。
    • 以對話歷史記錄和來電者內容為基礎的即時 AI 呼叫指令碼。
    • 張貼電訪專員對電訪績效的意見回饋、最佳化未來電訪的方式。

    Marketing

    • 在品牌聲音中為電子商務 (產品說明)、B2B (針對 SEO 最佳化的文章) 產生內容。
    • 根據買方設定檔和使用歷史記錄進行大量個人化搜尋、拓展、客戶培養。
    • 非結構化客戶資料的合成,用於識別新趨勢和角色。

    銷售

    • 根據互動歷史記錄、準客戶資料檔自訂銷售延伸,以釋出銷售代表時間。
    • 引導準客戶從產品到銷售的虛擬銷售代表。
    • 根據現有內容為新客戶量身打造銷售宣傳片。

    產品開發

    • 分析、清理及標註大量資料,例如使用者意見回饋、市場趨勢、日誌。
    • 自動完成編碼和 API,以加快開發、重製和系統整合。
    • 透過建立合成資料和編譯日誌資料來測試自動化。

    策略與財務

    • 來自所得呼叫、分析師報告和其他來源的非結構化資料合成。
    • 自動化複雜的情境繁重流程,例如費用。
    • 透過公共或私人來源大規模監控競爭對手和客戶。
  • AI 向量搜尋與儲存:Oracle Database 23ai 和 Oracle MySQL HeatWave
    磁區是用來代表影像、文件、視訊等的語意內容。
    • 融合式資料庫可讓您在回答問題時同時使用業務資料和向量。
    • 不需要移動和同步資料、管理多個產品等等。

確認

  • 作者Badr Tharwat