Supporto per i modelli ONNX con Oracle GoldenGate

Man mano che le organizzazioni adottano funzionalità basate sull'intelligenza artificiale, molte sono alla ricerca di modi per mantenere l'inferenza locale per garantire la compliance e le prestazioni della sicurezza. Oracle GoldenGate lo rende possibile supportando i modelli ONNX locali, consentendoti di sfruttare le funzionalità AI senza fare affidamento su un provider di modelli esterno.

Modello ONNX per consentire funzionalità AI

Nota: il supporto del modello ONNX locale è disponibile a partire da Oracle GoldenGate 23.26.3.

Supportando i modelli ONNX locali, Oracle GoldenGate offre alle organizzazioni la flessibilità di scegliere dove avviene l'inferenza AI. Che tu stia operando in un ambiente aziendale sicuro, implementando all'avanguardia o lavorando in una rete air-gapped, i modelli locali forniscono un modo pratico per integrare l'intelligenza artificiale mantenendo i dati sotto il tuo controllo.

Questa funzionalità completa la crescente integrazione AI di GoldenGate offrendo la libertà di scegliere tra modelli ospitati su cloud e modelli ONNX distribuiti localmente in base AI requisiti di sicurezza, prestazioni e operativi.

Perché utilizzare un modello ONNX locale?

Sebbene i modelli di linguaggio di grandi dimensioni ospitati sul cloud siano convenienti, non sono sempre la soluzione giusta. L'esecuzione locale di un modello consente alle distribuzioni GoldenGate di: • mantenere i dati sensibili all'interno dell'ambiente • supportare distribuzioni air-gapped o disconnesse • ridurre la latenza dell'inferenza • eliminare la dipendenza dai servizi AI esterni • evitare di configurare e gestire le credenziali dei provider. Ciò rende i modelli locali un'opzione eccellente per gli ambienti aziendali e regolamentati.

Distribuzione di ONNX come modello AI locale

Per abilitare un modello ONNX locale, copiare il modello ONNX e il tokenizer corrispondente nella directory seguente:

ServiceManager/var/lib/modelli

Ad esempio:

ServiceManager/var/lib/models/my-model.onnx/tokenizer.json

Il file tokenizer.json deve trovarsi accanto al file .onnx model.

Ricerca automatica modello

Una volta creati i file, Oracle GoldenGate rileva automaticamente il modello locale.

La GUI di Service Manager analizza la directory dei modelli e riconosce:

Service Manager rileva automaticamente il file del modello ONNX e il tokenizer e consente di aggiungere il modello da Service Manager.

Uno dei maggiori vantaggi dell'utilizzo di un modello ONNX locale è la sua semplicità. A differenza dei servizi AI basati sul cloud, i modelli locali non richiedono una configurazione di provider AI. Non è necessaria alcuna registrazione manuale o configurazione del provider AI per impostare il modello ONNX in Oracle GoldenGate. Inoltre, non è necessario specificare: