在 Oracle Cloud Infrastructure 上建置企業級生成式 AI 堆疊
要在 Oracle Cloud Infrastructure (OCI) 上建置端對端生成式 AI 堆疊，需要多層方法來整合企業系統內的人工智慧。
目的是簡化應用程式開發、確保健全的資料整合，以及強化各層的安全措施。它可協助部署 AI 模型、有效管理客戶資料，並結合進階記錄和監控功能，以維持高效能和可靠性。此參考架構還會處理所需的不同元件，並根據所需的回應協調不同的 LLM 以共同運作。
架構
此參考架構描述一個四層 AI 堆疊，以及企業設定內導入企業級 Generative AI 解決方案所需的所有不同元件。
- 應用程式層
- 存取層次
- 跨解決方案的日誌記錄與監控
- 由下列五個模組組成的 AI 層：
- AI 整合
- 大型語言模型
- AI 開發
- 資料整合
- 相關資訊環境和資料目錄
下列小節說明考量此參考架構的假設性流程：
- 要求將來自應用程式至 API 和存取層。
- 此層受到 WAF 保護，並使用 OCI Identity and Access Management 和授權原則檢查要求以進行認證。
- API 閘道接著會向整合層提出要求，這層包含用於 AI 抽象與協調流程的 LangChain。這一層還包括已列入白名單並對應至適當授權和 LLM 模型版本的提示儲存庫。
- 要求會傳送至符合要求類別和提示的 LLM。
- 相關資訊環境和用戶歷史記錄是從相關資訊環境資料庫載入。
- 必須強化的任一資料位置可從資料目錄存取。
- 讓我們說，部分資料仍然遺失，資料整合層會先檢查資料是否已快取，以及是否不會從客戶的資料查詢資料。
- LLM 將透過整合進行回應。
- 回答將通過 Hallucination 檢查器，Hallucination 檢查器接著會執行逆向人工智慧來驗證回應是否有意義。
- 最後，它會透過 API 閘道返回應用程式。
下圖說明此參考架構。
oci-genai-enterprise-arch-oracle.zip
讓我們看看每個區塊圖層的建置區塊：
- 將 LLM 模組內的 LLM 與其最適合區域的每個 LLM 混合並進行比對。
- 資料目錄應根據客戶和不同對話來維護內容，協助不同的 LLM 瞭解在何處找到所需資料。
- 資料整合層會存取客戶資料，並快速將其提供給 AI，這包括所需的資料快取和整合。
- AI 整合模組、維護 Repo 提示、LangChain 抽象 LLM，以及 Oracle Integration 進行整合。
- AI 開發層允許建立模型版本和儲存，以及發展解決方案所需的 DevOps。
- Hallucination 檢查器會執行逆向 AI 來執行 LLM 輸出，以驗證其透明度。
- Application Performance Monitoring 會追蹤效能 SLA。
- 記錄和稽核會追蹤生成式 AI 解決方案如何用來觀察系統並識別潛在問題。
- API 閘道允許對 AI 堆疊進行控制存取。
- 原則會集中維護，以管理對 LLM 堆疊的存取。
- WAF 可保護環境免於潛在的攻擊媒介。
- 存取權杖與控制使用 OCI Identity and Access Management 管理。
架構具有下列元件：
- OCI Generative AI Agents
OCI Generative AI Agents 是一項完全託管的服務，將大型語言模型 (LLM) 的強大功能與智慧型擷取系統結合，透過搜尋您的知識庫來建立與情境相關的答案。讓您的 AI 應用程式更聰明，而 efficient.OCI Generative AI Agents 支援數種方式來將您的資料上線，然後允許您和您的客戶使用交談介面或 API 與您的資料互動。
- 一般 AI
Oracle Cloud Infrastructure Generative AI 是一個完全託管的 OCI 服務，提供一組最先進的可自訂大型語言模型 (LLM)，其中涵蓋廣泛的文字產生、摘要、語意搜尋等使用案例。您可以使用測試區試用立即可用的預先訓練模型，或者根據自己在專用 AI 叢集上的資料建立及代管經過微調的自訂模型。
- 整合
Oracle Integration 是一個完全受管理的預先設定環境，可讓您整合雲端和內部部署應用程式、將業務流程自動化，以及開發視覺化應用程式。它使用符合 SFTP 規範的檔案伺服器來儲存和擷取檔案，並透過使用數百個轉接器和處方組合與 Oracle 和第三方應用程式連線，讓您與企業對企業交易夥伴交換文件。
- API 閘道
Oracle Cloud Infrastructure API Gateway 可讓您發布內含可從您網路存取之專用端點的 API，並視需要向公用網際網路公開。端點支援 API 驗證、要求和回應轉換、CORS、驗證和授權以及要求限制。
- OCI 資料整合
Oracle Cloud Infrastructure Data Integration 是一款完全受管理的無伺服器雲端原生服務，可擷取、載入、轉換、清除各種資料來源的資料，並將資料重新調整為目標 Oracle Cloud Infrastructure 服務，例如 Autonomous Data Warehouse 和 Oracle Cloud Infrastructure Object Storage。ETL (擷取轉換載入) 運用 Spark 上完全受管理的橫向擴展處理，而 ELT (擷取載入轉換) 運用 Autonomous Data Warehouse 的完整 SQL 下推功能，將資料移動降到最低，並改善新擷取資料創造價值的時間。使用者使用直觀且無程式碼的使用者介面設計資料整合流程，將整合流程最佳化，以產生最有效率的引擎和協調流程，並自動配置及調整執行環境。Oracle Cloud Infrastructure Data Integration 提供互動式探索和資料準備，並透過定義規則來處理綱要變更，協助資料工程師防止綱要差異。
- Oracle Exadata Database Service
Oracle Exadata Database Service 可讓您在雲端中運用 Exadata 的強大功能。Oracle Exadata Database Service 在公有雲和 Cloud@Customer 上針對特定用途建置、最佳化 Oracle Exadata 基礎架構，提供經過實證的 Oracle Database 功能。針對所有 Oracle Database 工作負載，內建雲端自動化、彈性資源擴展、安全性和快速效能，可協助您簡化管理並降低成本。
- Identity and Access Management (IAM)
Oracle Cloud Infrastructure Identity and Access Management (IAM) 是 Oracle Cloud Infrastructure (OCI) 和 Oracle Cloud Applications 的存取控制層。IAM API 和使用者介面可讓您管理識別網域和識別網域內的資源。每個 OCI IAM 識別網域都代表獨立的識別與存取管理解決方案，或代表不同的使用者群體。
建議
- Oracle Cloud Infrastructure + 生成式 AI生成式 AI 可以推動創新、改善流程，並協助公司以前所未有的成就，但需要正確的方法。Oracle 持續為各地的企業提供最佳的 AI 功能，特別注重高效能模型、將生成式 AI 嵌入堆疊中，以及資料管理、安全性和隱私。Oracle 藉由將 AI 內嵌至整個技術堆疊 (從企業運行的基礎架構到財務、供應鏈和人力資源等各個業務線應用程式)，協助組織以主動使用 AI 改善效能，同時節省時間、能源和資源：
- 我們的核心雲端基礎架構現在包含以 Supercluster 技術為基礎的獨特 AI 基礎架構層，運用最新、最棒的硬體 (包括高效能 GPU)，這些都對於有效率地訓練及部署 AI 模型至關重要，尤其是針對大量運算的案例 (例如大型語言處理 (LLP)。此基礎架構旨在最大化 AI 和 GPU 技術的功能，確保企業 AI 工作負載的最佳效能和可擴展性。
- 除了這個基礎架構之外，我們的資料庫層還將 AI 內嵌在 Oracle Autonomous Database 和 Oracle MySQL HeatWave 等產品中，並搭配 AutoML (內建於機器學習中)，讓開發人員能夠在應用程式和作業中新增預建模型，而無需成為 ML 等技術專家。
- 我們的應用程式開發平台提供 AI 服務，例如 Oracle Digital Assistant for Natural Language Processing (NLP)。
- 此外，Oracle 廣泛的產業應用程式還採用了 AI 模型，這些模型經過訓練，能夠應對從醫療照護和金融服務到零售、製造和公部門等產業的特定挑戰。這使我們能夠獨一無二地幫助客戶優化工作負載，以解決最複雜和策略性的挑戰。
- LangChain 整合
您可以使用下列功能，將 OCI Generative AI 新增至以 LangChain 為基礎的實作：
- 開放原始碼：協助建置或協調 LLM 型應用程式的開放原始碼架構。
- 定義 LLM 模型與提示：使用偏好的 LLM 模型並定義內容內提示。
- 索引程式庫：使用立即可用的程式庫來設定 RAG 架構，以進行文字分割、對話 2 SQL 等等。
- 鏈結、專員及記憶體：使用鏈結與專員設定更複雜的 LLM 工作流程，並使用對話歷史記錄來設定更多內容。
注意事項
實作此參考架構時，請考慮使用這些選項。
- 跨業務功能的生成式 AI 使用案例
您可以考慮在不同業務功能中使用生成式 AI 功能，如以下部分範例所述：
客戶作業- 以客戶的產品套件、體驗和語言為基礎的自動化客戶服務。
- 以對話歷史記錄和來電者內容為基礎的即時 AI 呼叫指令碼。
- 張貼電訪專員對電訪績效的意見回饋、最佳化未來電訪的方式。
Marketing
- 在品牌聲音中為電子商務 (產品說明)、B2B (針對 SEO 最佳化的文章) 產生內容。
- 根據買方設定檔和使用歷史記錄進行大量個人化搜尋、拓展、客戶培養。
- 非結構化客戶資料的合成，用於識別新趨勢和角色。
銷售
- 根據互動歷史記錄、準客戶資料檔自訂銷售延伸，以釋出銷售代表時間。
- 引導準客戶從產品到銷售的虛擬銷售代表。
- 根據現有內容為新客戶量身打造銷售宣傳片。
產品開發
- 分析、清理及標註大量資料，例如使用者意見回饋、市場趨勢、日誌。
- 自動完成編碼和 API，以加快開發、重製和系統整合。
- 透過建立合成資料和編譯日誌資料來測試自動化。
策略與財務
- 來自所得呼叫、分析師報告和其他來源的非結構化資料合成。
- 自動化複雜的情境繁重流程，例如費用。
- 透過公共或私人來源大規模監控競爭對手和客戶。
- AI 向量搜尋與儲存：Oracle Database 23ai 和 Oracle MySQL HeatWave磁區是用來代表影像、文件、視訊等的語意內容。
- 融合式資料庫可讓您在回答問題時同時使用業務資料和向量。
- 不需要移動和同步資料、管理多個產品等等。