Ativar um Mecanismo de Aplicativo LLM Modular de Baixo Código usando Oracle Integration e OCI Generative AI

O Oracle Integration é um serviço totalmente gerenciado que permite uma abordagem de baixo código ou sem código para conectividade empresarial, extensão e recursos de automação para modernizar rapidamente aplicativos, processos de negócios, APIs e dados. Com uma experiência de desenvolvimento visual, integrações predefinidas e melhores práticas incorporadas, o Oracle Integration pode orquestrar APIs, aplicativos, sistemas etc. e ativar aplicativos e fluxos de negócios personalizados baseados em IA e humanos.

O Oracle Cloud Infrastructure Generative AI (OCI Generative AI) é um serviço totalmente gerenciado que fornece um conjunto de modelos de linguagem grande (LLMs) personalizáveis e de última geração que abrangem uma ampla variedade de casos de uso para geração de texto, sumarização, incorporação e conclusão de chat. Você pode usar o playground - uma interface na Console para explorar os modelos pré-treinados e personalizados hospedados sem escrever uma única linha de código ou criar e hospedar seus próprios modelos personalizados ajustados com base em seus próprios dados em clusters de IA dedicados.

Combinando os serviços Oracle Integration e OCI Generative AI com outros serviços da OCI, como Oracle Cloud Infrastructure Streaming (OCI Streaming, um Serviço Kafka gerenciado pela Oracle), OCI Document Understanding (serviço sem servidor acessível usando chamadas de API REST para Reconhecimento Ótico de Caracteres (OCR), extração de texto, extração de chave/valor, extração de tabela e classificação de documentos), Oracle Cloud Infrastructure Language (serviço sem servidor acessível usando chamadas de API REST para análise de sentimento de texto, reconhecimento de entidade nomeada, classificação e muito mais), OCI Vision (serviço sem servidor acessível usando chamadas de API REST para detecção de objetos e classificação de imagens), Oracle Cloud Infrastructure Data Science (plataforma totalmente gerenciada sem servidor que as equipes de ciência de dados podem usar para criar, treinar, e gerencie machine learning - modelos de ML) e outros usando os adaptadores nativos do Oracle Integration e a abordagem de desenvolvimento visual, oferece a possibilidade de ativar Aplicativos baseados em LLM personalizados modulares, escaláveis, sustentáveis e seguros.

Arquitetura

Essa arquitetura de referência fornece as considerações e recomendações necessárias para ativar um LLM App Engine baseado em IA, modular e orientado a eventos, usando:

  • Uma abordagem de baixo código ou sem código para os fluxos do Carregador de Dados e do Mecanismo de Consulta do seu Aplicativo LLM com ferramentas de orquestração visual e adaptadores nativos do Oracle Integration para diferentes Canais de Dados Sociais, de Produtividade e de Negócios (entrada dos usuários no Mecanismo de Aplicativo LLM, documentos, imagens, dados de negócios ou consultas) e Origens (origem dos dados usados pelo LLM App Engine), bem como adaptadores nativos para os diferentes Serviços do OCI usados pelo LLM App Engine (APIs REST do OCI Generative AI, Bancos de Dados Vetoriais ou Lojas, APIs REST do Oracle Cloud Infrastructure Language, Pontos Finais REST de Modelo Personalizado do Oracle Cloud Infrastructure Data Science e muito mais). Isso ajuda a configurar rapidamente seus Fluxos de Negócios de Aplicativos LLM
  • Um padrão orientado a eventos para desacoplar os Canais e Origens de Dados de Documento, Imagem e Negócios, bem como os Canais de Consulta dos módulos do Carregador de Dados e do Mecanismo de Consulta do Mecanismo de Aplicativo LLM usando o Serviço OCI Streaming (Serviço Kafka gerenciado pela Oracle) e o adaptador nativo que temos para esse Serviço do OCI no Oracle Integration. Isso ajuda a ativar um aplicativo LLM escalável e de alto desempenho.
  • Uma conexão privada com nuvem de 3 partes, aplicativos locais, sistemas e assim por diante, usando o Oracle Integration Connectivity Agent, que é o principal capacitador para arquiteturas de integração híbridas e multicloud, especialmente em um aplicativo LLM onde documentos, imagens, dados de negócios, consulta de usuários podem vir desses sistemas e você deseja manter o trânsito de documentos e dados privados e protegidos. Isso ajuda a melhorar a segurança do LLM Flow de ponta a ponta, mantendo o tráfego em redes privadas.
  • A possibilidade de usar modelos LLM nativos ou modelos LLM personalizados ajustados em seu Aplicativo LLM como serviços na OCI (orquestrando Pontos Finais de Modelo de OCI Generative AI ou Pontos Finais de Modelo do OCI Data Science usando adaptadores nativos da nuvem do Oracle Integration).
  • Uma abordagem flexível para conectar ou desconectar sua própria Interface de Usuário (UI) para seu Aplicativo LLM com o Mecanismo de APP LLM ou uma abordagem de baixo código para criar a interface de usuário usando o Visual App Builder no Oracle Integration ou no Oracle APEX.

O diagrama a seguir ilustra essa arquitetura de referência.



oci-lowcode-ai-arch-oracle.zip

O Low-Code LLM App Engine é composto por 2 blocos principais:

Carregador de Dados de Documento, Imagem e Negócios
Veja a seguir a descrição da oci-generative-ai-llm-data-loader-arch.png
Descrição da ilustração oci-generative-ai-llm-data-loader-arch.png

oci-generative-ai-llm-data-loader-arch-oracle.zip

  • Este bloco recebe primeiro os documentos de entrada, imagens ou dados de negócios adicionados por um usuário por meio de um Canal de Social/Produtividade (por exemplo, WhatsApp, Outlook, Gmail, Twitter etc.), um Canal de Dados de Negócios (por exemplo, 3a parte no local ou Cloud Web Application, Content Management System, 3a parte Cloud Storage como Microsoft Azure Cloud Storage, AWS S3, GoogleArmazenamento em Nuvem, FTP, Servidor de Arquivos, ERP, CX, HCM - aplicativos locais ou SaaS, etc.), uma UI personalizada do Mecanismo de Pesquisa de Conhecimento (por exemplo, UI personalizada criada usando ferramentas de aplicativos visuais de baixo código, como Visual Builder no Oracle Integration ou Oracle APEX no Oracle Database) ou diretamente em um bucket do OCI Object Storage, usando Fluxos de Orquestração Visual do Oracle Integration e adaptadores nativos.
  • Os documentos, imagens ou dados de negócios são extraídos dependendo do tipo de entrada. Por exemplo, para objeto de imagem, detecção de texto, você pode usar o serviço OCI AI Vision, para classificação de documentos, extração, você pode usar o serviço OCI AI Document Understanding, para tipos específicos de imagens, documentos que você pode usar uma função sem servidor em sua linguagem de programação preferencial usando o OCI Functions e assim por diante.
  • Os documentos, imagens ou dados de negócios podem ser processados por:
    • Extraindo os metadados usando o serviço OCI AI Language (por exemplo, entidade, extração de palavra-chave, extração de frase-chave, análise de sentimento, detecção e ofuscação de Informações Pessoais Identificáveis/PII etc.) para recuperação de contexto relevante adicional (por exemplo, para ativar a Geração Aumentada de Recuperação (RAG) e assim por diante).
    • Incorporar os dados a um Modelo LLM usando o serviço OCI Generative AI para recuperação de contexto mais relevante (por exemplo, para ativar a Geração Aumentada de Recuperação (RAG) e assim por diante).
    • Resumindo os dados com um Modelo LLM usando o serviço OCI Generative AI para recuperação de contexto mais relevante (por exemplo, para ativar um Índice de Resumo para pesquisa em vários documentos, também chamado de Recuperação Hierárquica Estruturada e assim por diante).
    • Armazenando os dados em um Armazenamento Relacional para pesquisa adicional em dados estruturados (por exemplo, Oracle Database, Oracle Database Cloud Service, Autonomous Database, MySQL, PostgreSQL e assim por diante).
    • Indexando os dados em um Armazenamento de Vetores para pesquisa adicional em dados não estruturados (por exemplo, Vetor, Resumo, Índices de Palavra-chave com Pesquisa de Vetor de IA do OCI, Serviço de Pesquisa do OCI com OpenSearch, Qdrant e assim por diante).

      Observação: o novo recurso de pesquisa de similaridade do vetor AI estará disponível no Oracle Database 23.4c.

Mecanismo de Consulta
Veja a seguir a descrição da oci-generative-ai-llm-query-engine-arch.png
Descrição da ilustração oci-generative-ai-llm-query-engine-arch.png

oci-generative-ai-llm-query-engine-arch-oracle.zip

  • Este bloco recebe primeiro a consulta de entrada de um usuário por meio de um Canal Social, de Produtividade (por exemplo, Whatsapp, Outlook, Gmail e assim por diante), um Canal de Dados de Negócios (por exemplo, Aplicativo Web On-Prem/Cloud 3rd party, e assim por diante) ou de uma interface de usuário personalizada do Knowledge Search Engine (por exemplo, interface de usuário personalizada criada usando ferramentas de aplicativos visuais de baixo código, como Visual Builder no Oracle Integration ou Oracle APEX no Oracle Database), usando Fluxos de Orquestração Visual do Oracle Integration e adaptadores nativos.
  • A consulta informa o pipeline de consulta usando o Oracle Integration, no qual ela pode ser processada por:
    • Filtrar a Consulta usando o serviço de IA Generativa do OCI, para evitar a Injeção de Prompt.
    • Reescrevendo ou transformando a Consulta usando o serviço OCI Generative AI, a fim de obter uma recuperação de contexto mais relevante.
    • Roteando a Consulta com seletores do mecanismo de consulta usando a IA Generativa do OCI, a fim de determinar como executar a consulta sobre seus dados como resumo de dados, como uma recuperação de contexto específica.
    • Extraindo o histórico de conversas de um Armazenamento de Histórico de Chat usando o OCI Cache com Redis, em caso de casos de uso de conclusão de chat em que a memória de chat é necessária.
    • Incorporação da Consulta usando o serviço de IA Generativa do OCI, para casos de uso de recuperação de contexto relevantes (por exemplo, para ativar a Geração Aumentada de Recuperação (RAG) e assim por diante).
    • Roteando os Recuperadores de Contexto Relevantes usando o serviço de IA Generativa do OCI, para determinar de quais origens de dados obter dados para responder à consulta de entrada.
    • Recuperando os Dados de Contexto Relevantes para responder à consulta das Lojas de Vetor (por exemplo, Pesquisa de Vetor do OCI AI, Serviço de Pesquisa do OCI com OpenSearch, Qdrant etc.) para casos de uso de Geração Aumentada de Recuperação (RAG), Lojas Relacionais (por exemplo, Oracle Database, Oracle Database Cloud Service, Autonomous Database, MySQL, PostgreSQL e assim por diante) para pesquisa em dados de negócios estruturados ou Social, Produtividade e Origens de Dados de Negócios (por exemplo, Twitter, Outlook, Gmail, Aplicativos ERP/HCM/CX etc.) para pesquisa sob demanda em dados de negócios, todos orquestrados pelo Oracle Integration usando adaptadores nativos para conexão com essas origens de dados.
    • Reclassificando os Dados de Contexto Relevantes recuperados usando um modelo Re-Rank implantado e exposto no OCI Data Science, a fim de otimizar a pesquisa.
    • Gerando a resposta final para a consulta usando os recursos do serviço OCI Generative AI para Summarization, Generation e Chat Completion.

A arquitetura tem os seguintes componentes:

  • Oracle Integration

    O Oracle Integration é um serviço totalmente gerenciado e uma plataforma de conectividade, extensão e automação empresarial de baixo código para modernizar rapidamente aplicativos, processos de negócios, APIs e dados. Desenvolvedores e arquitetos de nuvem podem conectar SaaS e aplicativos locais seis vezes mais rápido com uma experiência de desenvolvimento visual, integrações predefinidas e melhores práticas incorporadas. O Oracle Integration oferece acesso nativo a eventos no Oracle Cloud ERP, HCM e CX. Conecte silos analíticos específicos de aplicativos para simplificar a requisição ao recebimento, o recrutamento ao pagamento, o lead à fatura e outros processos críticos. Por fim, dê aos seus líderes de TI e de negócios visibilidade de ponta a ponta.

  • IA Generativa da OCI

    A IA generativa da Oracle Cloud Infrastructure (OCI) é um serviço totalmente gerenciado disponível por meio de uma API para integrar perfeitamente esses modelos de linguagem versáteis em uma ampla variedade de casos de uso, incluindo assistência de gravação, resumo e chat. O serviço OCI Generative AI inclui os seguintes modelos fundamentais:

    • Geração: Dê instruções para gerar texto ou extrair informações do seu texto.
    • Sumariação: Resuma o texto com seu formato, tamanho e tom instruídos.
    • Incorporação: Converta texto em incorporações de vetor para usar em aplicativos para pesquisas semânticas, classificação de texto ou clusterização de texto.
  • OCI Document Understanding

    O OCI Document Understanding é um serviço de IA que permite aos desenvolvedores extrair texto, tabelas e outros dados importantes de arquivos de documentos por meio de APIs e ferramentas de interface de linha de comando. Com o OCI Document Understanding, você pode automatizar tarefas tediosas de processamento de negócios com modelos de IA pré-criados e personalizar a extração de documentos para atender às suas necessidades específicas do setor.

  • Oracle Cloud Infrastructure Language

    O OCI Language é um serviço sem servidor e multitenant acessível usando chamadas de API REST. Ele fornece modelos pré-treinados que são frequentemente treinados novamente e monitorados para fornecer os melhores resultados. O Language fornece recursos de inteligência artificial e aprendizado de máquina para detectar o idioma em seu texto não estruturado. Além disso, ele fornece outras ferramentas para ajudá-lo a obter mais insights sobre seu texto.

  • OCI Vision

    O OCI Vision é um serviço de IA para executar análise de imagem baseada em aprendizado profundo em escala. Com modelos predefinidos disponíveis prontos para uso, os desenvolvedores podem facilmente criar reconhecimento de imagem e reconhecimento de texto em seus aplicativos sem experiência em machine learning (ML). Para casos de uso específicos do setor, os desenvolvedores podem treinar automaticamente modelos Vision personalizados com seus próprios dados. Esses modelos podem ser usados para detectar anomalias visuais na manufatura, extrair texto de documentos para automatizar workflows de negócios e marcar itens em imagens para contar produtos ou entregas. Além de obter acesso a modelos pré-treinados, os desenvolvedores podem criar modelos personalizados sem experiência em ciência de dados ou gerenciar a infraestrutura de modelos personalizados.

  • Object Storage

    O armazenamento de objetos fornece acesso rápido a grandes quantidades de dados estruturados e não estruturados de qualquer tipo de conteúdo, incluindo backups de bancos de dados, dados de análise e conteúdo avançado, como imagens e vídeos. Você pode armazenar de forma segura e depois recuperar dados diretamente da internet ou de dentro da plataforma da nuvem. Você pode dimensionar facilmente o armazenamento sem prejudicar o desempenho ou a confiabilidade do serviço. Use o armazenamento padrão para armazenamento de acesso frequente que você precisa para acessar de forma rápida, imediata e com frequência. Use o armazenamento de arquivos compactados para armazenamento "frio" que você mantém por longos períodos de tempo e raramente acessa.

  • Data Science

    O Oracle Cloud Infrastructure Data Science é uma plataforma totalmente gerenciada e sem servidor que as equipes de ciência de dados podem usar para criar, treinar e gerenciar modelos de machine learning (ML) no Oracle Cloud Infrastructure (OCI). Ele pode se integrar facilmente a outros serviços da OCI, como Oracle Autonomous Data Warehouse, Oracle Cloud Infrastructure Object Storage e muito mais. Você pode criar e avaliar modelos de machine learning de alta qualidade que aumentam a flexibilidade dos negócios, colocando os dados confiáveis da empresa para funcionar rapidamente e pode oferecer suporte a objetivos de negócios orientados a dados com implementação mais fácil de modelos de ML.

  • Serviço OCI Search com OpenSearch

    O OCI Search Service with OpenSearch é um mecanismo de insight oferecido como um serviço gerenciado pela Oracle. Sem tempo de inatividade, a Oracle automatiza a aplicação de patches, a atualização, o upgrade, o backup e o redimensionamento do serviço. Os clientes podem armazenar, pesquisar e analisar grandes volumes de dados rapidamente e ver os resultados quase em tempo real.

  • Cache do OCI com Redis

    O Oracle Cloud Infrastructure Cache with Redis é uma solução de cache abrangente e gerenciada na memória criada com base no Redis de código aberto. Esse serviço totalmente gerenciado acelera as leituras e gravações de dados, aprimorando significativamente os tempos de resposta do aplicativo e o desempenho do banco de dados para fornecer uma experiência aprimorada ao cliente.

  • Serviço do APEX

    O Oracle APEX Application Development (APEX) é uma plataforma de desenvolvimento de baixo código que permite criar aplicativos empresariais escaláveis, ricos em recursos e seguros que podem ser implantados em qualquer ambiente em que o Oracle Database esteja instalado. Você não precisa ser especialista em uma vasta gama de tecnologias para fornecer soluções sofisticadas. O APEX Service inclui recursos internos como temas de interface do usuário, controles de navegação, handlers de form e relatórios flexíveis que aceleram o processo de desenvolvimento de aplicações.

  • Oracle Database 23 (Pesquisa de Vetor de IA)

    O Oracle Database 23c oferece o banco de dados convergente mais completo e simples para desenvolvedores que desejam criar novos microsserviços, gráficos, documentos e relacionais. O applications.Oracle anunciou o plano de adicionar recursos de pesquisa semântica usando vetores de IA ao Oracle Database 23c. A coleção de recursos, chamada Pesquisa de Vetor de IA, inclui um novo tipo de dados de vetor, índices de vetor e operadores SQL de pesquisa de vetor que permitem que o Oracle Database armazene o conteúdo semântico de documentos, imagens e outros dados não estruturados como vetores e use-os para executar consultas de similaridade rápidas. Para obter mais informações, consulte o link Comunicado à Imprensa na seção Explorar Mais.

  • Streaming

    O serviço Oracle Cloud Infrastructure Streaming fornece uma solução de armazenamento totalmente gerenciada, escalável e durável para a ingestão de streams contínuos de alto volume de dados que você pode consumir e processar em tempo real. Você pode usar o serviço Streaming para a ingestão de alto volume de dados, como logs de aplicativo, telemetria operacional, sequência de cliques na Web ou para outros casos de uso em que os dados sejam produzidos e processados de forma contínua e sequencial em um modelo de mensagem do serviço publish-subscribe.

  • Eventos

    Os serviços do Oracle Cloud Infrastructure emitem eventos, que são mensagens estruturadas que descrevem as alterações em recursos. Os eventos são emitidos para operações de criação, leitura, atualização ou exclusão (CRUD), alterações no estado do ciclo de vida do recurso e eventos do sistema que afetam os recursos da nuvem.

  • Serviço Functions

    O Oracle Cloud Infrastructure Functions é uma plataforma Functions-as-a-Service (FaaS) totalmente gerenciada, multitenant, altamente escalável e sob demanda. É alimentado pelo mecanismo de código aberto do Fn Project. As funções permitem que você implante seu código e o chame diretamente ou acione em resposta a eventos. O Oracle Functions usa contêineres do Docker hospedados no Oracle Cloud Infrastructure Registry.

  • Gateway de API

    O Oracle API Gateway permite que você publique APIs com pontos finais privados acessíveis na sua rede e que você pode expor à internet pública, se necessário. Os pontos finais suportam validação de API, transformação de solicitação e resposta, CORS, autenticação e autorização e limitação de solicitação.

  • Firewall de Aplicativo Web (WAF)

    O Oracle Cloud Infrastructure Web Application Firewall (WAF) é um serviço de imposição de borda, baseado em regional e compatível com o setor de cartões de pagamento (PCI) que é anexado a um ponto de imposição, como um balanceador de carga ou um nome de domínio de aplicativo web. O WAF protege aplicativos contra tráfego malicioso e indesejado na internet. O WAF pode proteger qualquer ponto final voltado para a Internet, fornecendo aplicação de regras consistente entre os aplicativos do cliente.

  • Região

    Região do Oracle Cloud Infrastructure é uma área geográfica localizada que contém um ou mais data centers, denominada domínios de disponibilidade. As regiões são independentes de outras regiões, e grandes distâncias podem separá-las (entre países ou até mesmo continentes).

  • VCN (rede virtual na nuvem) e sub-rede

    Uma VCN é uma rede personalizável definida por software que você configura em uma região do Oracle Cloud Infrastructure. Como as redes tradicionais de data center, as VCNs oferecem total controle sobre seu ambiente de rede. Uma VCN pode ter vários blocos CIDR não sobrepostos que você pode alterar após a criação da VCN. Você pode segmentar uma VCN em sub-redes, com escopo definido para uma região ou para um domínio de disponibilidade. Cada sub-rede consiste em um intervalo contíguo de endereços que não se sobrepõem a outras sub-redes da VCN. Você pode alterar o tamanho de uma sub-rede após a criação. Uma sub-rede pode ser pública ou privada.

Recomendações

Use as recomendações a seguir como ponto de partida. Seus requisitos podem ser diferentes da arquitetura descrita aqui.
  • Manutenção e Alta Disponibilidade

    A arquitetura de referência usa quase apenas serviços PaaS gerenciados pela Oracle. Não há necessidade de instalar, corrigir, atualizar ou atualizar o software usando esta solução. Isso é válido para: Oracle Integration, OCI Generative AI, OCI Document Understanding, OCI Vision, Oracle Cloud Infrastructure Language, Oracle Cloud Infrastructure Data Science, OCI Object Storage, OCI Events, OCI Streaming, OCI Functions, OCI API Gateway, Oracle Cloud Infrastructure Web Application Firewall.

    O único componente que pode solicitar atenção é o Oracle Integration Connectivity Agent instalado em uma instância de computação para acessar os recursos, como cluster OpenSearch do OCI, Autonomous Database etc., que residem em uma rede privada. Siga as diretrizes na documentação do Oracle Integration para tornar o agente de Conectividade do Oracle Integration fácil de manter e altamente disponível.

  • Escalabilidade e tamanho

    Essa arquitetura de referência usa serviços PaaS e é escalável pronta para uso para a maioria dos serviços que inclui. Observe que o cluster OpenSearch do OCI, bem como o cluster OCI Cache com Redis, não são ampliados nem reduzidos automaticamente (somente manualmente). Portanto, é necessário um dimensionamento correto da solução com base no seu caso de uso.

  • Conectividade

    Todas as conexões no OCI devem ser estabelecidas por meio de uma rede privada:

    • Você pode usar a opção de pontos finais privados ou agentes de conectividade no Oracle Integration para estabelecer conexão com Serviços OCI privados, como OCI Streaming, Oracle Autonomous Database, Oracle Database, Oracle Database Cloud Service etc.
    • Os Agentes de Conectividade do Oracle Integration que se conectam a serviços privados como cluster OpenSearch do OCI, cluster OCI Cache com Redis e assim por diante devem ser instalados em uma VM do OCI dentro da mesma sub-rede privada na qual esses serviços são implantados.
    • Os Streams ou Tópicos do OCI Streaming Kafka que você cria devem ser associados a um Pool de Streams implantado com um ponto final privado (associado a uma sub-rede privada em uma VCN do OCI). No caso de Streams Kafka Privados do OCI Streaming ou Tópicos como os Tópicos de Resultados de Extração de Documento e Imagem (consulte bloco lógico, Carregador de Dados de Documento, Imagem e Negócios acima) que recebem os metadados de arquivos de Resultados de Extração do OCI Document Understanding do OCI Events, você pode aproveitar o OCI Functions com o OCI Events para entregar mensagens a pontos finais de streaming privados.
    • Os Agentes de Conectividade que se conectam aos serviços On-Premises ou Cloud da 3a parte (por exemplo, Bancos de Dados SQL do Azure) devem ser instalados em uma VM dentro da mesma sub-rede privada na qual esses serviços externos são implantados.
  • Restringir o acesso a uma instância do Oracle Integration

    Restrinja as redes que têm acesso à sua instância do Oracle Integration configurando a Lista de Permissões do Oracle Integration (anteriormente uma lista de permissões). Somente usuários, sistemas de endereços IP específicos, blocos CIDR (Classless Inter-Domain Routing) e redes virtuais na nuvem que você especificar podem acessar a instância do Oracle Integration.

    Nesta arquitetura de referência, a Lista de Permissões do Oracle Integration pode restringir o acesso à instância do Oracle Integration, permitindo apenas solicitações iniciadas por Aplicativos em Nuvem implantados no OCI, Aplicativos Oracle SaaS, não Oracle Cloud, Web Local, Saas, Aplicativos em Nuvem e OCID(s) da VCN associados às VMs que hospedam os Agentes de Conectividade do Oracle Integration.

Considerações

Considere os pontos a seguir ao implantar essa arquitetura de referência.

  • Segurança

    Clusters de IA dedicados na IA Generativa do OCI são recursos de computação que você pode usar para ajustar modelos LLM personalizados ou para hospedar pontos finais para modelos LLM personalizados. Os clusters são dedicados aos seus modelos e não são compartilhados com usuários em outras tenancies. O uso da IA Generativa do OCI de Modelo Personalizado permite refinar os modelos usando seus próprios dados. Caso contrário, você pode usar seus próprios dados implementando a Geração Aumentada de Recuperação (RAG) combinando técnicas de Incorporação, Indexação e assim por diante usando modelos sob demanda de IA Generativa do OCI, Lojas de Vetor (por exemplo, Pesquisa de Vetor do OCI, Pesquisa Aberta e assim por diante) e muito mais.

    Use políticas do Oracle Cloud Infrastructure Identity and Access Management (OCI IAM) para controlar quem pode acessar seus recursos de nuvem (por exemplo, Oracle Integration, OCI Language, OCI Vision, serviço de IA Generativa do OCI, OCI Streaming, Instâncias do OCI Compute etc.) e quais operações podem ser executadas. Para proteger as senhas do banco de dados ou quaisquer outros segredos, considere o uso do serviço OCI Vault.

    Os documentos e as imagens são armazenados em buckets privados do OCI Object Storage. Um link temporário com uma vida útil curta é criado quando um usuário clica no documento na interface do usuário do Knowledge Search Engine. Use filtros e regras do Oracle Cloud Infrastructure Web Application Firewall (WAF) para proteger os fluxos de orquestração acionados por REST do Oracle Integration expostos por meio do OCI API Gateway de ataques maliciosos como ataques DDOs, threads de Injeção de SQL e assim por diante.

  • Escalabilidade

    Ao criar Streams ou Tópicos do OCI Streaming, os administradores especificam o número de Streams que planejam usar. Os streams podem ser criados por Domínio de Negócios (por exemplo, InvoiceStream, PurchaseOrderStream etc.). Os administradores também especificam partições que planejam usar por Fluxo ou Tópico. As partições permitem distribuir um fluxo, tópico, dividindo mensagens em vários nós, permitindo que vários consumidores leiam de um fluxo, tópico em paralelo (neste caso, você pode ter vários clones do mesmo fluxo de integração do consumidor no Oracle Integration, cada um lendo de uma partição diferente de um Stream ou Tópico usando o adaptador OCI Streaming como trigger).

    Ao criar instâncias do Oracle Integration, os administradores especificam o número de pacotes de mensagens que planejam usar por instância.

  • Limites de recursos

    Considere as melhores práticas, os limites por serviço e as cotas de compartimento para sua tenancy.

Confirmação

  • Author: Juan Carlos González Carrero
  • Contributors: Bob Peulen, Alexandru Negrea