使用 Oracle GoldenGate 支持 ONNX 模型

随着组织采用 AI 驱动的功能，许多组织正在寻找方法来保持本地推理，以实现安全合规性和性能。Oracle GoldenGate 支持本地 ONNX 模型，让您无需依赖外部模型提供商即可利用 AI 功能。

ONNX 模型允许 AI 功能

注：从 Oracle GoldenGate 23.26.3 开始提供本地 ONNX 模型支持。

Oracle GoldenGate 支持本地 ONNX 模型，可帮助企业灵活选择 AI 推断的发生位置。无论您是在安全的企业环境中运营，还是在边缘部署，还是在空隙网络中工作，本地模型都提供了一种集成 AI 的实用方法，同时将数据保留在您的控制之下。

通过此功能，GoldenGate 可以根据安全、性能和运营要求，在云托管模型和本地部署的 ONNX 模型之间自由选择，从而补充了日益增长的 AI 集成。

为什么要使用本地 ONNX 模型？

虽然云托管的大型语言模型非常方便，但它们并不总是合适的。本地运行模型允许 GoldenGate 部署：•在您的环境中保留敏感数据•支持空隙或断开连接的部署•减少推断延迟•消除对外部 AI 服务的依赖•避免配置和管理提供程序凭证这使得本地模型成为企业和受监管环境的理想选择。

将 ONNX 部署为本地 AI 模型

要启用本地 ONNX 模型，请将您的 ONNX 模型及其对应的标记器复制到以下目录中：

ServiceManager/var/lib/模型

例如：

ServiceManager/var/lib/models/my-model.onnx/tokenizer.json

tokenizer.json 文件必须位于 .onnx model 文件旁边。

自动模型搜索

文件就位后，Oracle GoldenGate 会自动搜索本地模型。

Service Manager GUI 扫描模型目录并识别：

Service Manager 会自动检测 ONNX 模型文件和标记器，并允许您从 Service Manager 添加模型。

使用本地 ONNX 模型的最大优点之一是它的简单性。与基于云的 AI 服务不同，本地模型不需要 AI 提供程序配置。在 Oracle GoldenGate 中设置 ONNX 模型时，无需进行任何手动注册或 AI 提供程序配置。您也不需要指定：