Unterstützung für ONNX-Modelle mit Oracle GoldenGate

Da Unternehmen KI-gestützte Funktionen einführen, suchen viele nach Möglichkeiten, Inferenz lokal für Sicherheitscompliance und -performance zu halten. Oracle GoldenGate ermöglicht dies, indem lokale ONNX-Modelle unterstützt werden. So können Sie KI-Funktionen nutzen, ohne sich auf einen externen Modellprovider verlassen zu müssen.

ONNX-Modell für KI-Funktionen

Hinweis: Lokale ONNX-Modellunterstützung ist ab Oracle GoldenGate 23.26.3 verfügbar.

Durch die Unterstützung lokaler ONNX-Modelle bietet Oracle GoldenGate Unternehmen die Flexibilität, auszuwählen, wo KI-Inferenz stattfindet. Unabhängig davon, ob Sie in einer sicheren Unternehmensumgebung arbeiten, an der Edge bereitstellen oder in einem Air-Gapped-Netzwerk arbeiten, bieten lokale Modelle eine praktische Möglichkeit, KI zu integrieren und gleichzeitig die Daten unter Ihrer Kontrolle zu halten.

Diese Funktion ergänzt die wachsende KI-Integration von GoldenGate, indem sie die Freiheit bietet, zwischen in der Cloud gehosteten Modellen und lokal bereitgestellten ONNX-Modellen basierend auf ihren Sicherheits-, Performance- und Betriebsanforderungen zu wählen.

Warum ein lokales ONNX-Modell verwenden?

Cloud-gehostete große Sprachmodelle sind zwar praktisch, aber nicht immer die richtige Lösung. Wenn Sie ein Modell lokal ausführen, können GoldenGate-Deployments: • Vertrauliche Daten in Ihrer Umgebung aufbewahren • Air-Gap- oder getrennte Deployments unterstützen • Inferenzlatenz reduzieren • Abhängigkeit von externen KI-Services beseitigen • Providerzugangsdaten nicht konfigurieren und verwalten. Dies macht lokale Modelle zu einer hervorragenden Option für Unternehmens- und regulierte Umgebungen.

ONNX als lokales KI-Modell bereitstellen

Um ein lokales ONNX-Modell zu aktivieren, kopieren Sie Ihr ONNX-Modell und den zugehörigen Tokenizer in das folgende Verzeichnis:

ServiceManager/var/lib/models

Beispiel:

ServiceManager/var/lib/models/my-model.onnx/tokenizer.json

Die Datei tokenizer.json muss sich neben der Datei .onnx model befinden.

Automatische Modellerkennung

Nachdem die Dateien eingerichtet wurden, erkennt Oracle GoldenGate automatisch das lokale Modell.

Die Service Manager-GUI scannt das Modellverzeichnis und erkennt:

Service Manager erkennt die ONNX-Modelldatei und den Tokenizer automatisch und ermöglicht Ihnen das Hinzufügen des Modells aus dem Service Manager.

Einer der größten Vorteile der Verwendung eines lokalen ONNX-Modells ist seine Einfachheit. Im Gegensatz zu Cloud-basierten KI-Services erfordern lokale Modelle keine KI-Providerkonfiguration. Für die Einrichtung des ONNX-Modells in Oracle GoldenGate sind keine manuelle Registrierung oder AI-Providerkonfiguration erforderlich. Sie müssen außerdem nicht Folgendes angeben: