Crie uma pilha de IA generativa de nível empresarial no Oracle Cloud Infrastructure

A criação de uma pilha de IA generativa de ponta a ponta na Oracle Cloud Infrastructure (OCI) requer uma abordagem de várias camadas para integrar a inteligência artificial nos sistemas corporativos.

O objetivo é simplificar o desenvolvimento de aplicativos, garantir uma integração robusta de dados e aprimorar medidas de segurança em várias camadas. Ele facilita a implementação de modelos de IA, gerencia os dados do cliente com eficiência e incorpora registro e monitoramento avançados para manter alto desempenho e confiabilidade. Essa arquitetura de referência também abordará os diferentes componentes necessários e como diferentes LLMs podem ser orquestrados para trabalharem juntos com base na resposta necessária.

Arquitetura

Essa arquitetura de referência descreve uma pilha de IA de quatro camadas e todos os diferentes componentes necessários para implementar uma solução de IA generativa de nível empresarial em uma configuração empresarial.

1. Camada de aplicativo
2. Acesso aos Dados
3. Registro e monitoramento em toda a solução
4. Camada AI que consiste nos seguintes cinco módulos:
   • Integração de IA
   • LLM
   • Desenvolvimento de IA
   • Data Integration
   • Contexto e Catálogo de Dados

O fluxo hipotético considerado para esta arquitetura de referência é descrito na seguinte seção:

1. Uma solicitação será recebida do aplicativo para a API e a camada de Acesso.
2. A camada é protegida pelo WAF e a solicitação é verificada quanto à autenticação usando o OCI Identity and Access Management e políticas de autorização.
3. Em seguida, o gateway de API leva a solicitação à camada de integração. Essa camada inclui LangChain, que é usado para abstração e orquestração de IA. Essa camada também inclui o repositório de prompts que foram colocados na lista branca e mapeados para a autorização adequada e a versão do modelo LLM.
4. A solicitação é enviada ao LLM que corresponde à classe de solicitação e ao prompt.
5. O histórico do contexto e do consumidor é carregado do banco de dados de contexto.
6. O local de qualquer dado que precise ser enriquecido é acessado no catálogo de dados.
7. Digamos que alguns dados ainda estejam ausentes, a camada de integração de Dados primeiro verificará se os dados foram armazenados em cache e, caso contrário, serão consultados a partir dos dados do cliente.
8. O LLM responderá por meio da integração.
9. A resposta passará pelo verificador de alucinação, o verificador de alucinação executará a IA adversarial para validar se a resposta é significativa.
10. Por fim, ele passa pelo gateway de API de volta ao aplicativo.

O diagrama a seguir ilustra essa arquitetura de referência.

Descrição da ilustração oci-genai-enterprise-arch.png

oci-genai-enterprise-arch-oracle.zip

Vamos passar pelos blocos de construção que fazem cada camada de bloco:

Camada de IA

1. Misture e combine LLMs dentro do módulo LLM com cada LLM usado para a área para a qual é mais adequado.
2. O contexto deve ser mantido por cliente e em diferentes conversas, o serviço Data Catalog ajuda os diferentes LLMs a saber onde encontrar os dados necessários.
3. A camada de Integração de Dados acessa os dados do cliente e os fornece rapidamente à IA. Isso inclui o cache de dados necessário, bem como a integração.
4. O módulo de integração AI mantém os prompts Repo, LangChain para abstrair LLMs e Oracle Integration para integração.
5. A camada de desenvolvimento de IA permite o controle de versão e o armazenamento do modelo, bem como o DevOps necessário para evoluir a solução.

Camada Logging e Monitoring

1. O verificador de alucinação executa a IA adversária para executar a saída do LLM para validar sua veracidade.
2. O serviço Application Performance Monitoring rastreia o SLA de desempenho.
3. O registro e a auditoria rastreiam como a solução de IA generativa está sendo usada para observar o sistema e identificar possíveis problemas.

API e Camada de Acesso

1. O gateway de API permite acesso controlado à Pilha AI.
2. As políticas são mantidas centralmente para gerenciar o acesso à pilha do LLM.
3. O WAF protege o ambiente contra possíveis vetores de ataque.
4. Os tokens de acesso e o controle são gerenciados com o OCI Identity and Access Management.

A arquitetura tem os seguintes componentes:

• Agentes de IA generativa da OCI

  O OCI Generative AI Agents é um serviço totalmente gerenciado que combina o poder de grandes modelos de linguagem (LLMs) com um sistema de recuperação inteligente para criar respostas contextualmente relevantes pesquisando sua base de conhecimento, tornar seus aplicativos de IA inteligentes e o efficient.OCI Generative AI Agents oferece suporte a várias maneiras de integrar seus dados e, em seguida, permite que você e seus clientes interajam com seus dados usando uma interface de bate-papo ou API.

• IA Generativa

  O Oracle Cloud Infrastructure Generative AI é um serviço da OCI totalmente gerenciado que fornece um conjunto de grandes modelos de linguagem (LLMs) de ponta e personalizáveis que cobrem uma ampla variedade de casos de uso para geração de texto, resumo, pesquisa semântica e muito mais. Use o playground para experimentar os modelos pré-treinos prontos para usar ou crie e hospede seus próprios modelos personalizados ajustados com base em seus próprios dados em clusters de IA dedicados.

• Integração

  O Oracle Integration é um ambiente totalmente gerenciado e pré-configurado que permite integrar aplicativos na nuvem e on-premises, automatizar processos de negócios e desenvolver aplicativos visuais. Ele usa um servidor de arquivos compatível com SFTP para armazenar e recuperar arquivos e permite que você troque documentos com parceiros comerciais business-to-business usando um portfólio de centenas de adaptadores e receitas para se conectar com aplicativos Oracle e de terceiros.

• Gateway de API

  O Oracle Cloud Infrastructure API Gateway permite que você publique APIs com pontos finais privados acessíveis na sua rede e que você pode expor à internet pública, se necessário. Os pontos finais suportam validação de API, transformação de solicitação e resposta, CORS, autenticação e autorização e limitação de solicitação.

• OCI Data Integration

  O Oracle Cloud Infrastructure Data Integration é um serviço totalmente gerenciado, sem servidor e nativo da nuvem que extrai, carrega, transforma, limpa e reformula dados de uma variedade de origens de dados em serviços de destino do Oracle Cloud Infrastructure, como o Autonomous Data Warehouse e o Oracle Cloud Infrastructure Object Storage. O ETL (carga de transformação de extração) aproveita o processamento de expansão totalmente gerenciado no Spark, e o ELT (transformação de carga de extração) aproveita os recursos completos de push-down SQL do Autonomous Data Warehouse para minimizar a movimentação de dados e melhorar o tempo de valorização dos dados recém-ingerados. Os usuários projetam processos de integração de dados usando uma interface de usuário intuitiva e sem código que otimiza os fluxos de integração para gerar o mecanismo e a orquestração mais eficientes, alocando e dimensionando automaticamente o ambiente de execução. O Oracle Cloud Infrastructure Data Integration fornece exploração interativa e preparação de dados e ajuda os engenheiros de dados a se protegerem contra divergências de esquema definindo regras para lidar com alterações de esquema.

• Oracle Exadata Database Service

  O Oracle Exadata Database Service permite que você aproveite o poder do Exadata na nuvem. O Oracle Exadata Database Service oferece recursos comprovados do Oracle Database em uma infraestrutura otimizada e específica do Oracle Exadata na nuvem pública e no Cloud@Customer. A automação da nuvem integrada, o dimensionamento elástico de recursos, a segurança e o desempenho rápido para todas as cargas de trabalho do Oracle Database ajudam a simplificar o gerenciamento e reduzir custos.

• Serviço IAM (Identity and Access Management)

  O Oracle Cloud Infrastructure Identity and Access Management (IAM) é o plano de controle de acesso do Oracle Cloud Infrastructure (OCI) e do Oracle Cloud Applications. A API do serviço IAM e a interface do usuário permitem gerenciar domínios de identidades e os recursos dentro do domínio de identidades. Cada domínio de identidades do OCI IAM representa uma solução de gerenciamento de identidade e acesso independente ou uma população de usuários diferente.

Recomendações

Use as recomendações a seguir como ponto de partida. Seus requisitos podem ser diferentes da arquitetura descrita aqui.

• Oracle Cloud Infrastructure + IA Generativa
  A IA generativa pode impulsionar a inovação, melhorar os processos e ajudar as empresas a realizar mais do que nunca, mas requer a abordagem certa. A Oracle continua a disponibilizar o melhor da IA para empresas em todos os lugares, com foco exclusivo em modelos de alto desempenho, incorporando IA generativa em toda a pilha e gerenciamento de dados, segurança e privacidade. Ao incorporar a IA em toda a pilha de tecnologia - desde a infraestrutura na qual as empresas operam até aplicações para todas as linhas de negócios, desde finanças até cadeia de suprimentos e RH - a Oracle está ajudando as organizações a usar a IA pragmaticamente para melhorar o desempenho, economizando tempo, energia e recursos:

  • Nossa infraestrutura de nuvem principal agora inclui uma camada de infraestrutura de IA exclusiva baseada em nossa tecnologia Supercluster, aproveitando o hardware mais recente e melhor, incluindo GPUs de alto desempenho, que são essenciais para treinar e implementar modelos de IA com eficiência, particularmente para cenários de computação intensiva, como Processamento de Linguagem Grande (LLP). Essa infraestrutura foi projetada exclusivamente para maximizar os recursos das tecnologias de IA e GPU, garantindo o desempenho e a escalabilidade ideais para cargas de trabalho de IA empresariais.
  • Além dessa infraestrutura, nossa camada de banco de dados incorpora IA em nossos produtos, como o Oracle Autonomous Database e o Oracle MySQL HeatWave com AutoML (criado em Machine Learning), para permitir que os desenvolvedores adicionem modelos predefinidos a aplicativos e operações sem serem especialistas em tecnologias como ML.
  • Nossa plataforma de desenvolvimento de aplicativos fornece serviços de IA, como o Oracle Digital Assistant for Natural Language Processing (NLP).
  • Além disso, a ampla gama de aplicações do setor da Oracle incorpora modelos de IA treinados para enfrentar os desafios específicos de setores que vão desde assistência médica e serviços financeiros até varejo, manufatura e setor público. Isso nos coloca em uma posição única para ajudar nossos clientes a otimizar cargas de trabalho para resolver os desafios mais complexos e estratégicos.
• Integração LangChain

  Você pode adicionar o OCI Generative AI a uma implementação baseada em LangChain com os seguintes recursos:

  • Código aberto: Framework de código aberto para ajudar a criar ou orquestrar aplicativos baseados em LLM.
  • Definir Modelos e Prompts de LLM: Trabalhe com modelos de LLM preferenciais e defina prompts no contexto.
  • Bibliotecas de Índice: Configure uma arquitetura RAG com bibliotecas prontas para uso para divisão de texto, SQL de conversa 2 e assim por diante.
  • Cadeias, Agentes e Memória: Configure workflows de LLM mais complexos com Cadeias e Agentes e seja capaz de usar o histórico de conversas para definir mais contexto.

Considerações

Ao implementar essa arquitetura de referência, considere essas opções.

• Casos de uso de IA generativa entre funções de negócios

  Você pode considerar o uso de recursos de IA generativa em diferentes funções de negócios, conforme descrito em alguns dos seguintes exemplos:

  Operações do cliente

  • Atendimento ao cliente automatizado com base no pacote de produtos, experiência e idioma do cliente.
  • Scripts de chamada de IA em tempo real com base no histórico de conversas e no contexto do chamador.
  • Publique feedback do agente de chamada sobre o desempenho da chamada, maneiras de otimizar chamadas futuras.

  Marketing

  • Geração de conteúdo para comércio eletrônico (descrições de produtos), B2B (artigos otimizados para SEO) na voz da marca.
  • Personalização em massa de pesquisa, alcance, desenvolvimento do cliente com base no perfil do comprador e no histórico de uso.
  • Síntese, agrupamento de dados de clientes não estruturados para identificar novas tendências e personas.

  Vendas

  • Alcance de vendas personalizado com base no histórico de interação, perfil do cliente potencial para liberar tempo do representante de vendas.
  • Representantes virtuais de vendas que orientam clientes potenciais das ofertas até uma venda.
  • Geração de vendas personalizadas para novos clientes com base no conteúdo existente.

  Product Development

  • Análise, limpeza e rotulagem de grandes volumes de dados, como feedback do usuário, tendências de mercado, logs.
  • Codificação e preenchimento automático de API para acelerar o desenvolvimento, a refatoração e a integração de sistemas.
  • Testar a automação por meio da criação de dados sintéticos e da compilação de dados de log.

  Estratégia e Finanças

  • Síntese de dados não estruturados de chamadas de ganhos, relatórios de analistas e outras fontes.
  • Automação de processos complexos e pesados de contexto, como despesas.
  • Monitoramento em escala de concorrentes e clientes, em fontes públicas ou privadas.
• Pesquisa e Armazenamento de Vetores de IA: Oracle Database 23ai e Oracle MySQL HeatWave
  Os vetores são usados para representar o conteúdo semântico de imagens, documentos, vídeos e assim por diante.

  • O banco de dados convergente permite que você use dados de negócios e vetores ao responder a uma pergunta.
  • Não há necessidade de mover e sincronizar dados, gerenciar vários produtos e assim por diante.

Explorar Mais

Revise esses recursos adicionais para saber mais sobre os recursos dessa arquitetura de referência.

• Agentes de IA generativa da OCI
• Documentação do OCI Generative AI Agents
• Blog: Anunciando o serviço RAG dos Agentes de IA Generativa da OCI
• Hub de Soluções de IA
• Documentação do Oracle Cloud Infrastructure
• Estrutura bem arquitetada para o Oracle Cloud Infrastructure
• Estimador de Custos do Oracle Cloud

Confirmações

• Autor: Badr Tharwat