Implante um Modelo OwnGPT Escalável no Oracle Cloud Infrastructure para Cargas de Trabalho de ERP
A implantação do OwnGPT na Oracle Cloud Infrastructure (OCI) demonstrou desenvolvimento de modelo acelerado, maior produtividade e forte retorno sobre o investimento (ROI).
O objetivo dessa arquitetura de referência era permitir que usuários e consultores funcionais interagissem com dados do Enterprise Resource Planning (ERP) usando linguagem natural por meio do OwnGPT, um modelo de IA treinado por domínio implantado na OCI, inicialmente focado no Oracle E-Business Suite R12 (módulos de Contas a Pagar e a Receber), com extensibilidade a outros módulos e plataformas ERP.
Nossa implementação inicial utilizou GPUs A10 Tensor Core, fornecendo treinamento e inferência de modelo acelerados. A integração do Oracle HeatWave MySQL melhorou ainda mais o desempenho do banco de dados, enquanto o OCI Object Storage garantiu um gerenciamento de dados seguro e eficiente. Aproveitando a Visão do Oracle E-Business Suite como a principal origem de dados, o OwnGPT foi ativado para processar dados empresariais estruturados de forma eficaz.
A implementação do OwnGPT nas instâncias de GPU da OCI destacou o papel vital da infraestrutura na promoção da inovação em IA. A flexibilidade da OCI na implementação de GPUs em ambientes Bare Metal e Máquina Virtual permitiu configurações personalizadas para atender às necessidades de negócios em evolução. Além disso, a rede RDMA (Remote Direct Memory Access) de baixa latência da Oracle acelerou o treinamento do modelo distribuído, enquanto o OCI Block e o OCI Object Storage forneceram gerenciamento de dados escalável para grandes conjuntos de dados.
Arquitetura
Esta é uma implementação da OCI pronta para produção de uma solução de ERP com tecnologia de IA (OwnGPT), projetada para resolução de consultas segura, escalável e modular baseada em IA. Ele integra o Oracle E-Business Suite (ERP) com componentes como Airflow, Oracle Base Database Service, computação GPU para GPT e armazenamento, ao mesmo tempo em que se conecta com segurança a usuários locais e serviços da OCI.
- Pronto para IA (com tecnologia GPU) para cargas de trabalho de LLM
- Design modular e em camadas separa balanceamento de carga, aplicativo e lógica de IA
- Integrado ao ERP e fortemente vinculado ao Oracle Oracle E-Business Suite e pronto para insights de contas a pagar e contas a receber
- Seguro e escalável com recursos de segurança nativos do OCI, IAM, NAT Gateway e WAF
- Altamente Disponível e usa domínios de falha para proteção contra falhas de hardware
O diagrama a seguir ilustra essa arquitetura de referência.
Os Grupos de Usuários são usuários internos ou analistas de negócios que acessarão o aplicativo via web ou VPN. O Gateway de Internet fornece acesso ao ambiente do OCI por meio de redes externas (por exemplo, acesso ao navegador da Web do funcionário). Todos os recursos existem em um compartimento chamado OWNTESTHUB e são distribuídos em três Domínios de Falha para alta disponibilidade. Toda a arquitetura é construída dentro de uma rede virtual segura. O Oracle Cloud Infrastructure Web Application Firewall (WAF) protege contra ameaças como injeção de SQL, DDoS e assim por diante.
O Balanceador de Carga distribui o tráfego de entrada entre servidores de API e web de backend para obter escalabilidade e disponibilidade. API da WEB (VM.Standard.E5. Flex) hospeda o front-end e APIs REST para o aplicativo OwnGPT. AIRFLOW (VM.Standard.E5. Flex) gerencia a orquestração de tarefas, agendando tarefas (por exemplo, treinamento de modelo ou ETL). OWNGPT (VM.GPU.A10.2) tem uma VM acelerada por GPU que executa o modelo OwnGPT, ideal para inferência de IA em tempo real.
O Oracle Autonomous Data Warehouse armazena dados estruturados relacionados ao ERP (módulos AP, AR) para consulta rápida. APP do Oracle E-Business Suite (VM.Standard.E5). Flex) usa serviços de backend para o Oracle E-Business Suite (provavelmente conectores ou middleware em execução). O OCI File Storage fornece armazenamento compartilhado, útil para DAGs de Fluxo de Ar, artefatos de aplicativo ou logs.
O OCI Identity and Access Management controla funções de usuário, políticas e autenticação segura. O Gateway de Serviço se conecta a serviços da OCI, como o OCI Object Storage, sem passar pela internet. O OCI Object Storage é usado para armazenar pontos de verificação de modelos, conjuntos de dados de treinamento, logs ou arquivos compactados. O Gateway NAT permite que VMs de sub-rede privada iniciem o tráfego de saída da internet com segurança. O Modelo de Geração de Resposta extrai dados relevantes, interpreta o context e gera uma resposta legível por humanos sem exigir a geração manual de relatórios.
- Oracle E-Business Suite
O Oracle E-Business Suite compreende um conjunto de produtos (gerenciamento de capital humano, order management, compras e logística) que oferece suporte à evolução dos modelos de negócios, impulsiona a produtividade e atende às demandas do usuário móvel moderno.
Você pode provisionar o Oracle E-Business Suite no Oracle Cloud Infrastructure ou migrar ambientes do Oracle E-Business Suite de seu data center para o Oracle Cloud Infrastructure, criando topologia de vários hosts, segura e de alta disponibilidade.
- Oracle Autonomous Data Warehouse
O Oracle Autonomous Data Warehouse é um serviço de banco de dados autônomo, autoprotegido e autorreparável, otimizado para cargas de trabalho de data warehousing. Você não precisa configurar nem gerenciar nenhum hardware, nem instalar nenhum software. O Oracle Cloud Infrastructure lida com a criação, o backup, a aplicação de patches, o upgrade e o ajuste do banco de dados.
- OCI Object Storage
O OCI Object Storage oferece acesso a grandes quantidades de dados estruturados e não estruturados de qualquer tipo de conteúdo, incluindo backups de banco de dados, dados analíticos e conteúdo avançado como imagens e vídeos. Você pode armazenar dados com segurança diretamente de aplicativos ou de dentro da plataforma de nuvem. Você pode dimensionar o armazenamento sem sofrer qualquer degradação no desempenho ou na confiabilidade de serviço.
Use armazenamento padrão para armazenamento "quente" que você precisa acessar com rapidez, rapidez e frequência. Use armazenamento de arquivo compactado para armazenamento "frio" que você retém por longos períodos de tempo e acesso raro.
- File Storage
O Oracle Cloud Infrastructure File Storage fornece um sistema de arquivos da rede durável, escalável, seguro e de nível empresarial. Você pode estabelecer conexão com o OCI File Storage de qualquer instância bare metal, de máquina virtual ou de contêiner em uma VCN. Você também pode acessar o OCI File Storage de fora da VCN usando o Oracle Cloud Infrastructure FastConnect e a IPSec VPN.
- Serviço Identity and Access Management
O Oracle Cloud Infrastructure Identity and Access Management (IAM) fornece controle de acesso do usuário para OCI e Oracle Cloud Applications. A API do IAM e a interface do usuário permitem gerenciar domínios de identidades e os recursos dentro deles. Cada domínio de identidades do OCI IAM representa uma solução independente de gerenciamento de identidades e acessos ou outra população de usuários.
Recomendações
- VCN
Ao criar uma VCN, determine o número de blocos CIDR necessários e o tamanho de cada bloco com base no número de recursos que você planeja anexar às sub-redes na VCN. Use blocos CIDR que estejam dentro do espaço de endereço IP privado padrão.
Selecione blocos CIDR que não se sobreponham a qualquer outra rede (no Oracle Cloud Infrastructure, seu data center on-premises ou outro provedor de nuvem) para a qual você pretende configurar conexões privadas.
Depois de criar uma VCN, você poderá alterar, adicionar e remover seus blocos CIDR.
Ao projetar as sub-redes, considere o fluxo de tráfego e os requisitos de segurança. Anexe todos os recursos dentro de uma camada ou atribuição específica à mesma sub-rede, que pode servir como um limite de segurança.
Considerações
Ao implementar essa arquitetura de referência, considere essas opções.
- Processamento de IA
O OwnGPT processa a consulta usando o context treinado dos módulos AP, AR.
- Entrega de Saída
A resposta é retornada em tempo real ou quase em tempo real por meio da interface do usuário ou da interface de chat.
- Métricas Técnicas
- Tempo de resposta: Média de 1,2 segundos, percentil 95 2,5 segundos, consultas complexas 3,7 segundos no máximo.
- Throughput: pico de 120 usuários simultâneos, 500 consultas por minuto, 99,97% de taxa de sucesso da API.
- Utilização de recursos: média de CPU de 42% (pico de 78%), memória 4.2GB (máx. de 7.1GB), eficiência de armazenamento de 12 MB por empresa para dados vetoriais.
- Escalabilidade: Escalabilidade linear de até 50 empresas, desempenho estável com mais de 100.000 partes de documentos, mais de 25 conexões simultâneas.
- Impacto nos Negócios
- Produtividade: 68% de redução no tempo de pesquisa, 42% menos consultas técnicas repetidas, economizando 3,5 horas por funcionário semanalmente.
- Precisão: 92% em questões específicas da empresa, 87% em consultas técnicas, 95% de precisão na identificação da fonte.
- Satisfação do usuário: classificação 4.7/5, adoção de 94% entre os funcionários elegíveis, redução de 76% nos tickets de suporte.
- ROI: Break-even em 4,2 meses, ROI de 327% em 12 meses, economia anual estimada em US$ 142.000 para implementações de médio porte.
Explorar Mais
Revise esses recursos adicionais para saber mais sobre os recursos dessa arquitetura de referência.
- Como a OCI suporta cargas de trabalho de IA exigentes com clusters de GPU escaláveis e rede de baixa latência
- Acesse tutoriais, workshops e ferramentas para criar soluções de IA e IA generativa na OCI
- Documentação do Oracle Cloud Infrastructure
- Armazenamento em Blocos da OCI
- OCI Compute
- Estrutura bem arquitetada para o Oracle Cloud Infrastructure
- Oracle Cloud - Estimador de Custos
- Estrutura de Adoção da Nuvem