Prise en charge des modèles ONNX avec Oracle GoldenGate

Alors que les entreprises adoptent des fonctionnalités basées sur l'IA, beaucoup recherchent des moyens de maintenir l'inférence locale pour la conformité et les performances de sécurité. Oracle GoldenGate le permet en prenant en charge les modèles ONNX locaux, ce qui vous permet d'exploiter les fonctionnalités d'IA sans vous fier à un fournisseur de modèles externe.

Modèle ONNX pour permettre les fonctionnalités d'IA

Remarque : la prise en charge du modèle ONNX local est disponible à partir d'Oracle GoldenGate 23.26.3.

En prenant en charge les modèles ONNX locaux, Oracle GoldenGate offre aux entreprises la flexibilité nécessaire pour choisir l'emplacement de l'inférence en IA. Que vous opériez dans un environnement d'entreprise sécurisé, que vous déployiez en périphérie ou que vous travailliez sur un réseau isolé, les modèles locaux offrent un moyen pratique d'intégrer l'IA tout en gardant les données sous votre contrôle.

Cette fonctionnalité complète l'intégration croissante de l'IA de GoldenGate en offrant la liberté de choisir entre des modèles hébergés dans le cloud et des modèles ONNX déployés localement en fonction de leurs exigences en matière de sécurité, de performances et d'exploitation.

Pourquoi utiliser un modèle ONNX local ?

Bien que les grands modèles de langage hébergés dans le cloud soient pratiques, ils ne conviennent pas toujours. L'exécution d'un modèle localement permet aux déploiements GoldenGate de : • conserver les données sensibles dans votre environnement • prendre en charge les déploiements isolés ou déconnectés • réduire la latence d'inférence • éliminer la dépendance aux services d'IA externes • éviter de configurer et de gérer les informations d'identification des fournisseurs. Cela fait des modèles locaux une excellente option pour les environnements d'entreprise et réglementés.

Déploiement d'ONNX en tant que modèle d'IA local

Pour activer un modèle ONNX local, copiez le modèle ONNX et le tokeniseur correspondant dans le répertoire suivant :

Gestionnaire de services/var/lib/modèles

Exemple :

ServiceManager/var/lib/models/my-model.onnx/tokenizer.json

Le fichier tokenizer.json doit se trouver à côté du fichier .onnx model.

Repérage automatique des modèles

Une fois les fichiers en place, Oracle GoldenGate repère automatiquement le modèle local.

L'interface graphique du gestionnaire de services analyse le répertoire des modèles et reconnaît :

Service Manager détecte automatiquement le fichier de modèle ONNX et le tokenizer et vous permet d'ajouter le modèle à partir du gestionnaire de services.

L'un des plus grands avantages de l'utilisation d'un modèle ONNX local est sa simplicité. Contrairement aux services d'IA basés sur le cloud, les modèles locaux ne nécessitent pas de configuration de fournisseur d'IA. Vous n'avez besoin d'aucune inscription manuelle ou configuration de fournisseur AI pour configurer le modèle ONNX dans Oracle GoldenGate. Vous n'avez pas non plus besoin de spécifier :