支援 Oracle GoldenGate 的 ONNX 模型

隨著組織採用 AI 驅動的功能，許多人正在尋找在地推論安全合規性和效能的方法。Oracle GoldenGate 支援本機 ONNX 模型，讓您無須仰賴外部模型提供者，即可運用 AI 功能。

ONNX 模型允許 AI 功能

注意：從 Oracle GoldenGate 23.26.3 開始，提供本機 ONNX 模型支援。

藉由支援本機 ONNX 模型，Oracle GoldenGate 可讓組織靈活地選擇 AI 推論發生的位置。無論您是在安全的企業環境中營運、在邊緣部署，還是在隔離的網路中運作，本機模型都提供了整合 AI 的實用方法，同時將資料保存在您的控制之下。

此功能可自由選擇雲端代管模型，並根據安全性、效能和營運需求在本機部署的 ONNX 模型，以補充 GoldenGate 成長中的 AI 整合。

為什麼要使用本機 ONNX 模型？

雖然雲端代管的大型語言模型很方便，但並非總是適合。在本機執行模型可讓 GoldenGate 部署：• 將機密資料保存在您的環境中 • 支援有空隙或中斷連線的部署 • 減少推論延遲 • 消除對外部 AI 服務的依賴 • 避免設定和管理提供者憑證 這使本機模型成為企業和受規範環境的絕佳選擇。

將 ONNX 部署為本機 AI 模型

若要啟用本機 ONNX 模型，請將您的 ONNX 模型與其對應的記號器複製到下列目錄：

服務管理程式 /var/lib/models

舉例而言：

ServiceManager/var/lib/models/my-model.onnx/tokenizer.json

tokenizer.json 檔案必須位於 .onnx model 檔案旁邊。

自動模型尋找

檔案放置之後，Oracle GoldenGate 會自動尋找本機模型。

「服務管理程式 GUI」會掃描模型目錄，並辨識：

「服務管理程式」會自動偵測 ONNX 模型檔案和記號器，並允許您從「服務管理程式」新增模型。

使用本機 ONNX 模型的最大優勢之一就是其簡潔性。與雲端 AI 服務不同，本機模型不需要 AI 提供者組態。您不需要手動註冊或「AI 提供者組態」即可在 Oracle GoldenGate 中設定 ONNX 模型。您也不需要指定：