Oracle GoldenGateによるONNXモデルのサポート

組織がAIを活用した機能を採用するにつれ、多くの企業がセキュリティ・コンプライアンスとパフォーマンスについてローカルに推論する方法を探しています。Oracle GoldenGateは、ローカルONNXモデルをサポートすることでこれを実現し、外部モデル・プロバイダに依存することなくAI機能を活用できます。

ONNXモデルでAI機能を実現

ノート: ローカルONNXモデルのサポートは、Oracle GoldenGate 23.26.3以降で使用できます。

Oracle GoldenGateは、ローカルONNXモデルをサポートすることで、AI推論が発生する場所を柔軟に選択できます。安全なエンタープライズ環境で運用している場合でも、エッジでの導入の場合でも、エアギャップ・ネットワークでの作業の場合でも、ローカル・モデルは、データを管理しながらAIを統合する実用的な方法を提供します。

この機能により、セキュリティ、パフォーマンス、運用要件に基づいて、クラウド・ホスト・モデルとローカルにデプロイされたONNXモデルの間で自由に選択できるため、GoldenGateのAI統合が強化されます。

ローカルONNXモデルを使用する理由

クラウドでホストされる大規模言語モデルは便利ですが、必ずしも適切であるとは限りません。モデルをローカルで実行すると、GoldenGateデプロイメントで次のことが可能になります。 • 機密データを環境内に保持 • エアギャップまたは切断されたデプロイメントをサポート • 推論レイテンシを削減 • 外部AIサービスへの依存を排除 • プロバイダ資格証明の構成と管理を回避します。これにより、ローカル・モデルはエンタープライズおよび規制環境に適したオプションになります。

ローカルAIモデルとしてのONNXのデプロイ

ローカルONNXモデルを有効にするには、ONNXモデルとそれに対応するトークナイザを次のディレクトリにコピーします。

ServiceManager/var/lib/モデル

たとえば:

ServiceManager/var/lib/models/my-model.onnx/tokenizer.json

tokenizer.jsonファイルは、.onnx modelファイルとともに存在する必要があります。

自動モデル検出

ファイルが配置されると、Oracle GoldenGateはローカル・モデルを自動的に検出します。

Service Manager GUIはmodelsディレクトリをスキャンし、次のことを認識します。

Service Managerは、ONNXモデル・ファイルおよびトークナイザを自動的に検出し、Service Managerからモデルを追加できます。

ローカルONNXモデルを使用する最大の利点の1つは、そのシンプルさです。クラウドベースのAIサービスとは異なり、ローカル・モデルはAIプロバイダ構成を必要としません。Oracle GoldenGateでONNXモデルを設定するために、手動登録またはAIプロバイダ構成は必要ありません。次を指定する必要もありません。