Soporte para modelos ONNX con Oracle GoldenGate

A medida que las organizaciones adoptan funciones basadas en IA, muchas buscan formas de mantener la inferencia local para el cumplimiento y el rendimiento de la seguridad. Oracle GoldenGate lo hace posible al admitir modelos ONNX locales, lo que le permite aprovechar las capacidades de IA sin depender de un proveedor de modelos externo.

Modelo ONNX para permitir capacidades de IA

Nota: El soporte del modelo ONNX local está disponible a partir de Oracle GoldenGate 23.26.3.

Al admitir modelos ONNX locales, Oracle GoldenGate ofrece a las organizaciones la flexibilidad de elegir dónde se produce la inferencia de IA. Ya sea que esté operando en un entorno empresarial seguro, implementando en el borde o trabajando en una red con espacio aéreo, los modelos locales proporcionan una forma práctica de integrar la IA mientras mantiene los datos bajo su control.

Esta capacidad complementa la creciente integración de IA de GoldenGate al proporcionar la libertad de elegir entre modelos alojados en la nube y modelos ONNX desplegados localmente en función de sus requisitos operativos, de rendimiento y de seguridad.

¿Por qué utilizar un modelo ONNX local?

Si bien los modelos de lenguaje grandes alojados en la nube son convenientes, no siempre son los adecuados. La ejecución local de un modelo permite que los despliegues de GoldenGate: • Mantenga los datos confidenciales dentro de su entorno • Soporte de despliegues desconectados o con espacio en el aire • Reducción de la latencia de inferencia • Elimine la dependencia de servicios de IA externos • Evite configurar y gestionar las credenciales de los proveedores. Esto hace que los modelos locales sean una excelente opción para entornos empresariales y regulados.

Despliegue de ONNX como modelo de IA local

Para activar un modelo ONNX local, copie el modelo ONNX y su tokenizador correspondiente en el siguiente directorio:

ServiceManager/var/lib/modelos

Por ejemplo:

ServiceManager/var/lib/models/my-model.onnx/tokenizer.json

El archivo tokenizer.json debe residir junto al archivo .onnx model.

Detección automática de modelos

Una vez que los archivos están en su lugar, Oracle GoldenGate detecta automáticamente el modelo local.

La GUI de Service Manager explora el directorio de modelos y reconoce:

El gestor de servicios detecta automáticamente el tokenizador y el archivo de modelo ONNX y permite agregar el modelo desde el gestor de servicios.

Una de las mayores ventajas de utilizar un modelo local ONNX es su simplicidad. A diferencia de los servicios de IA basados en la nube, los modelos locales no requieren una configuración de proveedor de IA. No necesita ningún registro manual ni configuración de proveedor de AI para configurar el modelo ONNX en Oracle GoldenGate. Tampoco es necesario especificar: