在 Oracle Cloud Infrastructure 上為 ERP 工作負載部署可擴展的 OwnGPT 模型
在 Oracle Cloud Infrastructure (OCI) 上部署 OwnGPT 展現了加速模型開發、提高生產力和強大的投資報酬率 (ROI)。
此參考架構的目標是要讓使用者和功能顧問能夠透過部署在 OCI 上的網域訓練 AI 模型 OwnGPT，使用自然語言與 Enterprise Resource Planning (ERP) 資料互動，該模型最初著重於 Oracle E-Business Suite R12 (應付帳款和應收帳款模組)，並可擴展至其他模組和 ERP 平台。
我們的初始部署採用 A10 Tensor Core GPU，提供加速模型訓練和推論。整合 Oracle HeatWave MySQL 可進一步增強資料庫效能，而 OCI Object Storage 則可確保安全且有效率的資料管理。運用 Oracle E-Business Suite Vision 作為主要資料來源，讓 OwnGPT 能夠有效地處理結構化企業資料。
在 OCI 的 GPU 執行個體上部署 OwnGPT，突顯了基礎架構在促進 AI 創新方面的重要角色。OCI 在跨裸機和虛擬機器環境部署 GPU 的彈性，可針對量身打造的組態進行客製化，以滿足不斷變化的業務需求。此外，Oracle 的低延遲遠端直接記憶體存取 (RDMA) 網路加速了分散式模型訓練，而 OCI Block 與 OCI Object Storage 則為大型資料集提供可擴展的資料管理。
架構
這是 AI 驅動的 ERP 解決方案 (OwnGPT) 的生產就緒 OCI 部署，專為安全、可擴展且模組化的 AI 查詢解決方案所設計。它將 Oracle E-Business Suite (ERP) 與 Airflow、Oracle Base Database Service 、GPU 運算 GPT 和儲存等元件整合，同時安全地連線至內部部署使用者和 OCI 服務。
- 適用於 LLM 工作負載的 AI 就緒 (GPU 支援)
- 模組化和分層設計區分負載平衡、應用程式和 AI 邏輯
- ERP 整合並緊密連結 Oracle Oracle E-Business Suite ，可隨時進行 AP、AR 洞察
- 使用 WAF、IAM、NAT Gateway 和 OCI 原生安全性功能，既安全又可擴展
- 高可用性並使用容錯域來防止硬體失敗
下圖說明此參照架構。
「使用者群組」是內部使用者，或是透過 Web 或 VPN 存取應用程式的商業分析師。網際網路閘道可讓您從外部網路存取 OCI 環境 (例如員工 Web 瀏覽器存取權)。所有資源都存在於稱為 OWNTESTHUB 的區間中，並分佈於三個容錯域以獲得高可用性。整個架構都內建於安全的虛擬網路中。Oracle Cloud Infrastructure Web Application Firewall (WAF) 可保護 SQL 資料隱碼、DDoS 等威脅。
負載平衡器會將內送流量分配給後端 Web、API 伺服器，以實現擴展性和可用性。WEB API (VM.Standard.E5)。Flex) 為 OwnGPT 應用程式代管前端和 REST API。AIRFLOW (VM.Standard.E5)。Flex) 管理任務協調、排程工作 (例如模型訓練或 ETL)。OWNGPT (VM.GPU.A10.2) 具有執行 OwnGPT 模型的 GPU 加速 VM，適用於即時 AI 推論。
Oracle Autonomous Data Warehouse 儲存 ERP 相關結構化資料 (AP、AR 模組)，以進行快速查詢。Oracle E-Business Suite APP (VM.Standard.E5)。Flex) 使用 Oracle E-Business Suite (可能正在執行連接器或中介軟體) 的後端服務。OCI File Storage 提供共用儲存體，適用於 Airflow DAG、應用程式使用者自建物件或日誌。
OCI Identity and Access Management 可控制使用者角色、原則和安全認證。Service Gateway 會連線至 OCI Object Storage 等 OCI 服務，而不需要透過網際網路。OCI Object Storage 用於儲存模型檢查點、訓練資料集、日誌或封存。NAT 閘道可讓專用子網路 VM 安全地起始輸出網際網路流量。「回應產生模型」會擷取相關資料、解譯 context，並產生易於閱讀的回應，無須手動產生報表。
- Oracle E-Business Suite
Oracle E-Business Suite 包含一組產品 (人力資本管理、order management、採購和物流)，支援不斷演變的業務模型、提高生產力，並滿足現代行動使用者的需求。
您可以在 Oracle Cloud Infrastructure 上佈建 Oracle E-Business Suite，或將 Oracle E-Business Suite 環境從其資料中心移轉至 Oracle Cloud Infrastructure，從而建立多件、安全且高可用性的拓樸。
- Oracle Autonomous Data Warehouse
Oracle Autonomous Data Warehouse 是一項自主驅動、自主防護、自主修復的資料庫服務，已針對資料倉儲工作負載進行最佳化。您不需要設定或管理任何硬體，或安裝任何軟體。Oracle Cloud Infrastructure 負責建立、備份、修補、升級和調整資料庫。
- OCI Object Storage
OCI Object Storage 可讓您存取任何內容類型的大量結構化和非結構化資料，包括資料庫備份、分析資料，以及豐富的內容 (例如影像和影片)。您可以直接從應用程式或雲端平台內安全地儲存資料。您可以擴展儲存，而不會發生任何效能或服務可靠性的降低情況。
針對需要快速、立即及頻繁存取的「熱」儲存使用標準儲存。將封存儲存用於保留一段很長的時間和很少或很少存取的「冷」儲存。
- 檔案存放區
Oracle Cloud Infrastructure File Storage 提供持久、可擴展、安全的企業級網路檔案系統。您可以從 VCN 中的任何裸機、虛擬機器或容器執行處理連線至 OCI 檔案儲存。您也可以使用 Oracle Cloud Infrastructure FastConnect 和 IPSec VPN，從 VCN 外部存取 OCI File Storage 。
- 識別與存取管理
Oracle Cloud Infrastructure Identity and Access Management (IAM) 為 OCI 和 Oracle Cloud Applications 提供使用者存取控制。IAM API 和使用者介面可讓您管理識別網域及其中的資源。每個 OCI IAM 識別網域都代表獨立的識別與存取管理解決方案，或代表不同的使用者群體。
建議
- VCN
建立 VCN 時，請根據計畫要連附至 VCN 中子網路的資源數目，決定所需的 CIDR 區塊數目以及每個區塊的大小。使用標準專用 IP 位址空間內的 CIDR 區塊。
選取未與您要設定專用連線的任何其他網路 (在 Oracle Cloud Infrastructure 、內部部署資料中心或其他雲端提供者中) 重疊的 CIDR 區塊。
建立 VCN 之後，您可以變更、新增及移除其 CIDR 區塊。
設計子網路時，請考量您的流量和安全需求。將特定層或角色內的所有資源連附至相同的子網路，以作為安全界限。
注意事項
實作此參考架構時，請考慮使用這些選項。
- AI 處理
OwnGPT 使用來自 AP、AR 模組的受過訓練 context 處理查詢。
- 輸出傳遞
透過 UI 或交談介面，即時或接近即時傳回回應。
- 技術指標
- 回應時間：平均 1.2 秒，第 95 百分位數 2.5 秒，複雜查詢次數上限為 3.7 秒。
- 傳輸量：尖峰 120 個並行使用者、每分鐘 500 個查詢、99.97% API 成功率。
- 資源使用率：CPU 平均 42% (高峰 78%)、記憶體 4.2GB (最大 7.1GB)、儲存效率每公司 12MB 的向量資料。
- 可擴充性：線性可擴展至 50 家公司，具備 100,000 多組文件區塊、25 個以上同時連線的穩定效能。
- 商業影響力
- 生產力：搜尋時間減少 68%，重複技術查詢減少 42%，每週員工節省 3.5 小時。
- 準確度：92% 的公司特定問題、87% 的技術查詢、95% 的來源識別準確度。
- 使用者滿意度：評級為 4.7/5、合格員工採用 94%、支援票證減少 76%。
- ROI：4.2 個月內即使中斷，12 個月的投資報酬率為 327%，中型部署每年可節省 $142,000 美元。