Suporte para Modelos ONNX com o Oracle GoldenGate

À medida que as organizações adotam recursos com tecnologia de IA, muitas estão procurando maneiras de manter a inferência local para conformidade e desempenho de segurança. O Oracle GoldenGate torna isso possível ao oferecer suporte a modelos ONNX locais, permitindo que você aproveite os recursos de IA sem depender de um provedor de modelos externo.

Modelo ONNX para permitir recursos de IA

Observação: o suporte ao modelo ONNX local está disponível a partir do Oracle GoldenGate 23.26.3.

Ao oferecer suporte a modelos ONNX locais, o Oracle GoldenGate oferece às organizações a flexibilidade de escolher onde a inferência de IA acontece. Não importa se você está operando em um ambiente empresarial seguro, implementando na borda ou trabalhando em uma rede com lacunas no ar, os modelos locais fornecem uma maneira prática de integrar a IA, mantendo os dados sob seu controle.

Esse recurso complementa a crescente integração de IA do GoldenGate, oferecendo a liberdade de escolher entre modelos hospedados na nuvem e modelos ONNX implementados localmente com base em seus requisitos de segurança, desempenho e operacionais.

Por que usar um modelo ONNX local?

Embora os grandes modelos de linguagem hospedados na nuvem sejam convenientes, nem sempre são o ajuste certo. A execução de um modelo localmente permite que as implantações do GoldenGate: • Mantenha dados confidenciais em seu ambiente • Suporte a implantações com ou sem espaço no ar ou desconectadas • Reduza a latência de inferência • Elimine a dependência de serviços externos de IA • Evite configurar e gerenciar credenciais do provedor. Isso torna os modelos locais uma excelente opção para ambientes corporativos e regulamentados.

Implantando o ONNX como o Modelo de IA Local

Para ativar um modelo ONNX local, copie seu modelo ONNX e seu tokenizador correspondente para o seguinte diretório:

ServiceManager/var/lib/modelos

Por exemplo:

ServiceManager/var/lib/models/my-model.onnx/tokenizer.json

O arquivo tokenizer.json deve residir ao lado do arquivo .onnx model.

Descoberta Automática de Modelo

Depois que os arquivos estiverem no local, o Oracle GoldenGate descobrirá automaticamente o modelo local.

A GUI do Service Manager verifica o diretório de modelos e reconhece:

O Service Manager detecta automaticamente o arquivo de modelo ONNX e o tokenizador e permite que você adicione o modelo do Service Manager.

Uma das maiores vantagens de usar um modelo ONNX local é a sua simplicidade. Ao contrário dos serviços de IA baseados em nuvem, os modelos locais não exigem uma configuração de provedor de IA. Você não precisa de nenhum registro manual ou Configuração do Provedor de IA para configurar o modelo ONNX no Oracle GoldenGate. Você também não precisa especificar: