Implementar uma Plataforma de Gerenciamento de API para Modelos e Serviços de IA Empresarial

É provável que sua organização tenha implementado a IA, em caso afirmativo, é provável que você esteja entre as muitas organizações que lutam para impor a segurança em nível empresarial e padronizar processos ao criar aplicativos com base em modelos de IA privados e públicos.

O consumo de modelos de IA pode representar desafios comuns para organizações de todos os setores, incluindo:

Complexidade de Integração: O gerenciamento de integrações ponto a ponto entre aplicativos e modelos de IA geralmente leva à complexidade quando as organizações querem adotar modelos diferentes.
Padronização de Segurança: A implementação de medidas de segurança consistentes em diferentes modelos de IA prova ser um desafio significativo.
Controle de Acesso: A imposição do controle de acesso baseado em funções às APIs do modelo de IA com base nas funções e responsabilidades do usuário pode ser difícil de gerenciar com eficiência.
Monetização: Criar modelos de IA que não possuem recursos de monetização se os modelos forem disponibilizados para consumidores externos.
Consumption and Resource Management: Definindo cotas para assinantes para limitar o consumo de modelos de IA.
Throttling: APIs de modelo de IA de limitação de taxa e limitação de taxa.
Monitoramento: recursos de monitoramento e rastreamento para visualizar o consumo de APIs de modelo de IA.

Essa arquitetura descreve uma solução para ajudar os clientes a aproveitar os recursos do Oracle Cloud Infrastructure API Gateway e de outros serviços da OCI para enfrentar esses desafios em uma solução de IA.

Arquitetura

Essa arquitetura usa o OCI API Gateway como middleware para gerenciar a integração ponto a ponto entre modelos de IA e outros serviços da OCI. Use essa arquitetura para casos de uso de IA que exigem fluxos de segurança de nível empresarial e padronização de processos.

Segurança Padronizada

Muitos modelos de IA fundamentais e outros serviços de IA usam mecanismos de autenticação diferentes, como OAuth 2.0, Open ID, JWT etc. O OCI API Gateway pode ajudar a padronizar a autenticação de API para modelos de IA.

Camada de Virtualização ou Abstração

À medida que a maioria das organizações empresariais modernas aproveita os modelos de IA mais recentes de diferentes provedores especializados em domínios específicos, o consumo de modelos de IA diretamente de aplicativos pode criar complexidade de integração ponto a ponto. O OCI API Gateway é usado como uma camada de virtualização de serviço para facilitar a alternância de um modelo de IA para outro.

O OCI API Gateway e o OCI Vault podem abstrair credenciais de API do modelo de IA dos consumidores, enquanto as credenciais do modelo de IA são armazenadas no OCI Vault. Os consumidores acessam pontos finais do OCI API Gateway com credenciais do cliente geradas de aplicativos confidenciais criados para esse consumidor. O OCI API Gateway autentica usuários com base nas credenciais do cliente e, na autenticação bem-sucedida, o OCI API Gateway recupera as credenciais da API do modelo do OCI Vault para chamar o ponto final da API do modelo de backend.

Controle de Acesso e Governança

O OCI API Gateway pode impor um controle de acesso granular em APIs de modelo de IA para conceder acesso à API com base no domínio, na atribuição ou na responsabilidade do consumidor. As implantações do OCI API Gateway permitem APIs de empacotamento com base no domínio para permitir que os consumidores solicitem a assinatura de implantações específicas. Os recursos de limitação e limitação de taxa do OCI API Gateway ajudam a controlar o uso e o desempenho dos modelos de IA.

Controle de Custos

Planos de uso e cotas podem ser aproveitados para controlar efetivamente os custos de consumo do modelo de IA. Os planos de uso permitem criar níveis de plano diferentes que podem ser alocados aos consumidores com base na prioridade e no valor comercial. Para empresas que disponibilizam serviços de IA de terceiros para suas equipes, os planos de uso podem garantir que o uso dos funcionários seja controlado e monitorado para evitar incorrer em grandes custos.

O OCI Cache with Redis pode ser integrado ao OCI API Gateway para reduzir custos e melhorar o desempenho de APIs de modelo de IA, armazenando em cache solicitações frequentes e descarregando as solicitações de inferência em modelos.

Logging e Monitoring

O painel de relatórios pronto para uso do OCI API Gateway ajuda as empresas a obter insights sobre o uso do modelo de IA, o desempenho e identifica oportunidades de economia de custos.

Você pode transmitir logs para o Oracle Cloud Infrastructure Logging Analytics para solução de problemas, monitoramento do comportamento de consumo do modelo de IA, geração de relatórios personalizados para monitorar o consumo de recursos e tomar decisões informadas sobre os investimentos futuros do portfólio de IA da sua organização. Os logs podem ser transmitidos para sistemas de faturamento se as organizações quiserem monetizar modelos de IA ajustados.

O OCI API Gateway pode emitir métricas para o OCI Monitoring, em que as métricas do plano de uso podem ser usadas para monitorar os principais clientes de consumo e outras dimensões para solucionar problemas de implantação e do OCI API Gateway.

Redes

O OCI API Gateway pode ser acessado pela internet pública e por meio de conexão de rede privada.

Usuários e aplicativos da internet podem acessar o OCI API Gateway em uma sub-rede pública frontada pelo gateway de internet.

Usuários e aplicativos locais podem acessar o OCI API Gateway em uma sub-rede privada por meio do OCI FastConnect ou da VPN. Os aplicativos no Microsoft Azure ou no Google Cloud podem acessar o OCI API Gateway em uma sub-rede privada por meio do Oracle Interconnect for Microsoft Azure ou do Oracle Interconnect for Google Cloud correspondentes.

O diagrama a seguir ilustra a arquitetura.

Veja a seguir a descrição da api-gateway-ai-architecture.png

Descrição da ilustração api-gateway-ai-architecture.png

api-gateway-ai-architecture.zip

O diagrama a seguir ilustra o workflow entre o OCI API Gateway, os modelos de IA e outros serviços Oracle:

Veja a seguir a descrição da api-gateway-ai-logical.png

Descrição da ilustração api-gateway-ai-logical.png

O workflow é semelhante ao seguinte:

Os consumidores de IA da internet se conectam a APIs de serviço de IA por meio do Gateway de API. Os consumidores incluem aplicativos web e móveis criados usando qualquer tecnologia de interface do usuário, como Oracle Visual Builder, Oracle Analytics Cloud, aplicativo Embedded Visual Builder Cloud Service no Oracle SaaS. Os consumidores on-premises podem estabelecer um túnel seguro de alto desempenho entre a OCI e os data centers on-premises que permite que os consumidores on-premises acessem modelos de IA sem usar a internet.
O OCI API Gateway é integrado ao OCI Identity and Access Management para autenticação a fim de obter aplicação de segurança padronizada por meio do OAuth 2.0 e autenticação básica.
O OCI Vault armazena credenciais de API do modelo de IA com segurança e pode abstrair credenciais de API de backend dos consumidores.
Transmita logs do OCI API Gateway ao OCI Logging para reter logs por mais tempo e criar relatórios por meio de análises de log para gerar insights.
Integre-se ao OCI Cache with Redis para ajudar a reduzir custos e melhorar o desempenho de APIs de modelo de IA armazenando em cache solicitações frequentes.
O OCI Functions pode ser usado como um encapsulador em torno de modelos de IA que não têm pontos finais REST. O OCI Functions suporta implementação de diferentes linguagens, como Python, Java, Node, Go, Ruby e C#.
Integre o OCI API Gateway aos serviços de IA diretamente se o serviço de IA expor pontos finais REST.
O Oracle Integration Cloud Service pode implementar transformações complexas ou implementar lógica de orquestração antes de retornar a saída de inferência aos consumidores.

A arquitetura tem os seguintes componentes:

Região
Região do Oracle Cloud Infrastructure é uma área geográfica localizada que contém um ou mais data centers, denominada domínios de disponibilidade. As regiões são independentes de outras regiões, e grandes distâncias podem separá-las (entre países ou até mesmo continentes).
Domínios de disponibilidade
Domínios de disponibilidade são data centers stand-alone e independentes dentro de uma região. Os recursos físicos de cada domínio de disponibilidade são isolados dos recursos de outros domínios de disponibilidade, o que oferece tolerância a falhas. Os domínios de disponibilidade não compartilham infraestrutura como energia ou refrigeração ou a rede interna do domínio de disponibilidade. Portanto, uma falha em um domínio de disponibilidade não deve afetar os outros domínios de disponibilidade na região.
Domínios de falha
Um domínio de falha é um agrupamento de hardware e infraestrutura dentro de um domínio de disponibilidade. Cada domínio de disponibilidade tem três domínios de falha com energia e hardware independentes. Quando você distribui recursos entre vários domínios de falha, seus aplicativos podem tolerar falha no servidor físico, manutenção do sistema e falhas de energia dentro de um domínio de falha.
Rede virtual na nuvem (VCN) e sub-redes
Uma VCN é uma rede personalizável definida por software que você configura em uma região do Oracle Cloud Infrastructure. Como as redes tradicionais de data center, as VCNs oferecem controle sobre seu ambiente de rede. Uma VCN pode ter vários blocos CIDR não sobrepostos que você pode alterar após a criação da VCN. Você pode segmentar uma VCN em sub-redes, com escopo definido para uma região ou para um domínio de disponibilidade. Cada sub-rede consiste em um intervalo contíguo de endereços que não se sobrepõem a outras sub-redes da VCN. Você pode alterar o tamanho de uma sub-rede após a criação. Uma sub-rede pode ser pública ou privada.
Gateway de API
O Oracle API Gateway permite que você publique APIs com pontos finais privados acessíveis na sua rede e que você pode expor à internet pública, se necessário. Os pontos finais suportam validação de API, transformação de solicitação e resposta, CORS, autenticação e autorização e limitação de solicitação.
Serviço Functions
O Oracle Cloud Infrastructure Functions é uma plataforma Functions-as-a-Service (FaaS) totalmente gerenciada, multitenant, altamente escalável e sob demanda. Ele é alimentado pelo mecanismo de código aberto do Fn Project. As funções permitem que você implante seu código e o chame diretamente ou acione-o em resposta a eventos. O Oracle Functions usa contêineres do Docker hospedados no Oracle Cloud Infrastructure Registry.
Cache com Redis
O Oracle Cloud Infrastructure Cache with Redis é uma solução de cache abrangente, gerenciada na memória, criada com base no Redis de código aberto. Esse serviço totalmente gerenciado acelera leituras e gravações de dados, aprimorando significativamente os tempos de resposta da aplicação e o desempenho do banco de dados para fornecer uma experiência aprimorada ao cliente.
Integração
O Oracle Integration é um serviço totalmente gerenciado que permite integrar seus aplicativos, automatizar processos, obter insight sobre seus processos de negócios e criar aplicativos visuais.
Vault
O Oracle Cloud Infrastructure Vault permite gerenciar centralmente as chaves de criptografia que protegem seus dados e as credenciais secretas usadas para proteger o acesso aos seus recursos na nuvem. Você pode usar o serviço Vault para criar e gerenciar vaults, chaves e segredos.
Logging
O registro em log é um serviço altamente escalável e totalmente gerenciado que oferece acesso aos seguintes tipos de logs de seus recursos na nuvem:
- Logs de auditoria: Logs relacionados a eventos emitidos pelo serviço Audit.
- Logs de serviço: Logs emitidos por serviços individuais, como API Gateway, Events, Functions, Load Balancing, Object Storage e logs de fluxo da VCN.
- Logs personalizados: Logs que contêm informações de diagnóstico de aplicativos personalizados, outros provedores de nuvem ou um ambiente on-premises.
Monitoring
O serviço Oracle Cloud Infrastructure Monitoring monitora ativa e passivamente seus recursos de nuvem usando métricas para monitorar recursos e alarmes para notificá-lo quando essas métricas atenderem aos acionadores especificados pelo alarme.
Serviço IAM (Identity and Access Management)
O Oracle Cloud Infrastructure Identity and Access Management (IAM) é o plano de controle de acesso do Oracle Cloud Infrastructure (OCI) e do Oracle Cloud Applications. A API do serviço IAM e a interface do usuário permitem gerenciar domínios de identidades e os recursos dentro do domínio de identidades. Cada domínio de identidades do OCI IAM representa uma solução de gerenciamento de identidade e acesso independente ou uma população de usuários diferente.
Política
Uma política do Oracle Cloud Infrastructure Identity and Access Management especifica quem pode acessar quais recursos e como. O acesso é concedido no nível de grupo e compartimento. Isso significa que você pode gravar uma política que dá a um grupo um tipo específico de acesso em um compartimento específico ou à tenancy.
Cache com Redis
O Oracle Cloud Infrastructure Cache with Redis é uma solução de cache abrangente, gerenciada na memória, criada com base no Redis de código aberto. Esse serviço totalmente gerenciado acelera leituras e gravações de dados, aprimorando significativamente os tempos de resposta da aplicação e o desempenho do banco de dados para fornecer uma experiência aprimorada ao cliente.
Vision
O Oracle Cloud Infrastructure Vision é um serviço de IA para executar análises de imagem baseadas em aprendizado profundo em escala. Com modelos predefinidos disponíveis prontos para uso, os desenvolvedores podem facilmente criar reconhecimento de imagem e reconhecimento de texto em seus aplicativos sem experiência em machine learning (ML).
IA Generativa
O Oracle Cloud Infrastructure Generative AI é um serviço da OCI totalmente gerenciado que fornece um conjunto de grandes modelos de linguagem (LLMs) de ponta e personalizáveis que cobrem uma ampla variedade de casos de uso para geração de texto, resumo, pesquisa semântica e muito mais. Use o playground para experimentar os modelos pré-treinos prontos para usar ou crie e hospede seus próprios modelos personalizados ajustados com base em seus próprios dados em clusters de IA dedicados.
Análise de documentos
O Oracle Cloud Infrastructure Document Understanding é um serviço de IA para executar análises de documentos baseadas em aprendizado profundo em escala. Com modelos predefinidos disponíveis prontos para uso, os desenvolvedores podem facilmente criar processamento inteligente de documentos em seus aplicativos sem experiência em machine learning (ML).
Digital Assistant
O Oracle Digital Assistant é uma plataforma que permite criar e implantar assistentes digitais para seus usuários. Com o Oracle Digital Assistant, você pode criar interfaces orientadas por IA (ou chatbots) para aplicativos de negócios por meio de interfaces de texto, chat e voz. Cada assistente digital tem uma coleção de uma ou mais habilidades especializadas para ajudar os usuários a concluir uma variedade de tarefas em conversas de linguagem natural. Por exemplo, um assistente digital individual pode ter habilidades que se concentram em tipos específicos de tarefas, como rastrear estoque, enviar cartões de ponto e criar relatórios de despesas.
23ai do Oracle Database
O Oracle Database 23ai traz o poder da IA para dados e aplicações empresariais. A pesquisa vetorial do Oracle AI permite que documentos, imagens e dados relacionais armazenados em bancos de dados de missão crítica sejam facilmente pesquisados com base em seu conteúdo conceitual.
Oracle Autonomous Database Select AI
O Oracle Autonomous Database Select AI permite que o Oracle Autonomous Database use IA generativa com grandes modelos de linguagem (LLMs) para converter a entrada do usuário no Oracle SQL. O Oracle Autonomous Database Select AI processa o prompt de linguagem natural, complementa o prompt com metadados e, em seguida, gera e executa uma consulta SQL.
IA da Geração Oracle HeatWave
O Oracle HeatWave Gen AI com armazenamento de vetores pode ser usado para uma implementação de geração aumentada de recuperação (RAG) para melhorar a precisão e o desempenho dos modelos de IA.

Considerações

Ao implementar o OCI API Gateway para gerenciamento de API do modelo de IA, considere o seguinte:

Segurança
Os modelos de IA usam grandes quantidades de dados corporativos. As equipes de governança devem garantir que as medidas de segurança tratem os dados impondo o mascaramento, a criptografia e os controles de acesso.
Termos de Uso e Licenças do Modelo de IA
Os modelos de IA de terceiros vêm com suas próprias licenças e termos de contrato. As equipes de governança de IA devem estar cientes dos termos de uso legais para garantir a conformidade ao expor modelos por meio do OCI API Gateway.

Explorar Mais

Saiba mais sobre a infraestrutura de IA da OCI e o Gateway de API da OCI.

Revise estes recursos adicionais:

OCI AI

OCI

Multicloud

Confirmações

Autor: Subburam Mathuraiveeran
Colaborador: Wei Han, Robert Wunderlich, Pankhuri Sen