Sobre a Implantação de uma Estrutura TEN com Recursos de IA Empresarial
Dois dos maiores obstáculos para a ampla adoção de conversas de voz entre humanos e IA são latência (ou atraso) e desafios sem fio de última milha, como largura de banda variável rapidamente e alta perda de pacotes. A Rede em Tempo Real Definida por Software (SD-RTN) da Agora, uma rede de sobreposição em tempo real para a internet, é construída com roteamento inteligente e otimizações de última milha para garantir a mais alta qualidade e a menor latência. A aplicação da infraestrutura de rede em tempo real da Agora à IA conversacional por voz permite que os humanos interajam com a IA da mesma maneira que interagem com um ser humano.
O TEN Framework fornece infraestrutura de rede em tempo real. O Agente TEN é licenciado sob a licença de código aberto do Apache 2.0, enquanto o Framework TEN usa uma licença híbrida de código aberto. A Agora, como principal apoiadora da TEN, oferece serviços de IA conversacional construídos com a estrutura. A OCI pode fornecer o poder de computação e o Oracle Autonomous Database Select AI com suporte para recursos de RAG permitem que você use LLMs para obter insights ou gerar conteúdo inovador com base em seus dados privados usando prompts de linguagem natural.
Arquitetura
Essa arquitetura mostra como você pode criar um modelo de agente de voz multimodal que use as tecnologias de IA da Oracle e da Agora para a infraestrutura de IA.
O diagrama a seguir é um exemplo de um modelo de agente de voz de IA multimodal em cascata:
Descrição da ilustração multimodal-voice-agents.png
O modelo mostra como o áudio e o vídeo são processados pelo modelo de linguagem grande (LLM) e inclui os seguintes componentes:
- LLM implantado na VM do OCI
- Conversão de fala em texto (STT)
- Conversão de texto em fala (TTS)
A infraestrutura de IA inclui o sistema de hardware e software subjacente projetado especificamente para suportar as exigentes necessidades computacionais das tarefas de IA. Você pode implantar uma infraestrutura de IA em uma única região da OCI ou implantar uma arquitetura multicloud em que o poder de processamento é distribuído em vários data centers geograficamente dispersos, permitindo a implantação flexível de aplicativos e dados.
O diagrama a seguir é uma única Região do OCI com um Agente TEN (Transformative Extensions Network) instalado em uma VM.
Descrição da ilustração oci-ten-agent-deploy.png
oci-ten-agent-deploy-oracle.zip
Para processamento mais rápido e maior escalabilidade para grandes conjuntos de dados, implemente uma infraestrutura multicloud para executar algoritmos de IA em vários nós de computação. Você pode usar uma arquitetura de IA distribuída com regiões da OCI ou em uma arquitetura multicloud. Uma nuvem distribuída aproveita o poder de uma multicloud para dividir grandes tarefas de IA em partes menores e executá-las em vários nós simultaneamente. Ele também permite um treinamento mais rápido de modelos complexos de IA em conjuntos de dados massivos. No entanto, apresenta desafios no gerenciamento da consistência de dados e na coordenação de cálculos em diferentes nós.
A arquitetura a seguir usa uma solução multicloud com o Google Cloud e a OCI, em que o Google Kubernetes Engine (GKE) orquestra o treinamento geral e o processo de inferência, enquanto transfere a parte computacionalmente intensiva para a OCI AI Infrastructure sob demanda.
Descrição da ilustração oci-google-multiregion.png
oci-google-multi-região-oracle.zip
As arquiteturas suportam os seguintes componentes:
- Região
Região do Oracle Cloud Infrastructure é uma área geográfica localizada que contém um ou mais data centers, denominada domínios de disponibilidade. As regiões são independentes de outras regiões, e grandes distâncias podem separá-las (entre países ou até mesmo continentes).
- Domínio de disponibilidade
Domínios de disponibilidade são data centers stand-alone e independentes dentro de uma região. Os recursos físicos de cada domínio de disponibilidade são isolados dos recursos de outros domínios de disponibilidade, o que oferece tolerância a falhas. Os domínios de disponibilidade não compartilham infraestrutura como energia ou refrigeração ou a rede interna do domínio de disponibilidade. Portanto, uma falha em um domínio de disponibilidade não deve afetar os outros domínios de disponibilidade na região.
- Rede virtual na nuvem (VCN) e sub-rede
Uma VCN é uma rede personalizável definida por software que você configura em uma região do Oracle Cloud Infrastructure. Como as redes tradicionais de data center, as VCNs oferecem controle sobre seu ambiente de rede. Uma VCN pode ter vários blocos CIDR não sobrepostos que você pode alterar após a criação da VCN. Você pode segmentar uma VCN em sub-redes, com escopo definido para uma região ou para um domínio de disponibilidade. Cada sub-rede consiste em um intervalo contíguo de endereços que não se sobrepõem a outras sub-redes da VCN. Você pode alterar o tamanho de uma sub-rede após a criação. Uma sub-rede pode ser pública ou privada.
- Domínio de falha
Um domínio de falha é um agrupamento de hardware e infraestrutura dentro de um domínio de disponibilidade. Cada domínio de disponibilidade tem três domínios de falha com energia e hardware independentes. Quando você distribui recursos entre vários domínios de falha, seus aplicativos podem tolerar falha no servidor físico, manutenção do sistema e falhas de energia dentro de um domínio de falha.
- Balanceador de carga
O Oracle Cloud Infrastructure Load Balancing fornece distribuição automatizada de tráfego de um único ponto de entrada para vários servidores.
- Autonomous Database
O Oracle Autonomous Database é um ambiente de banco de dados totalmente gerenciado e pré-configurado que você pode usar para processamento de transações e cargas de trabalho de data warehousing. Você não precisa configurar nem gerenciar nenhum hardware, nem instalar nenhum software. O Oracle Cloud Infrastructure trata da criação, backup, aplicação de patches, upgrade e ajuste do banco de dados.
- Serviço Identity and Access Management
O Oracle Cloud Infrastructure Identity and Access Management (IAM) fornece controle de acesso do usuário para o Oracle Cloud Infrastructure (OCI) e Oracle Cloud Applications. A API do IAM e a interface do usuário permitem gerenciar domínios de identidades e os recursos dentro deles. Cada domínio de identidades do OCI IAM representa uma solução de gerenciamento de identidade e acesso independente ou uma população de usuários diferente.
- Política
Uma política do Oracle Cloud Infrastructure Identity and Access Management especifica quem pode acessar quais recursos e como. O acesso é concedido no nível de grupo e compartimento. Isso significa que você pode gravar uma política que dá a um grupo um tipo específico de acesso em um compartimento específico ou à tenancy.
- Auditoria
O serviço Oracle Cloud Infrastructure Audit registra automaticamente as chamadas para todos os pontos finais suportados da API pública (API) do Oracle Cloud Infrastructure como eventos de log. Todos os serviços do OCI suportam registro em log pelo Oracle Cloud Infrastructure Audit.
- LoggingO Oracle Cloud Infrastructure Logging é um serviço altamente escalável e totalmente gerenciado que oferece acesso aos seguintes tipos de logs de seus recursos na nuvem:
- Logs de auditoria: Logs relacionados a eventos produzidos pelo OCI Audit.
- Logs de serviço: Logs publicados por serviços individuais, como OCI API Gateway, OCI Events, OCI Functions, OCI Load Balancing, OCI Object Storage e logs de fluxo da VCN.
- Logs personalizados: Logs que contêm informações de diagnóstico de aplicativos personalizados, outros provedores de nuvem ou um ambiente local.
- Armazenamento de objetos
O serviço Oracle Cloud Infrastructure Object Storage oferece acesso rápido a grandes quantidades de dados estruturados e não estruturados de qualquer tipo de conteúdo, incluindo backups de bancos de dados, dados de análise e conteúdo avançado, como imagens e vídeos. Você pode armazenar de forma segura e depois recuperar dados diretamente da internet ou de dentro da plataforma da nuvem. Você pode dimensionar o armazenamento sem prejudicar o desempenho ou a confiabilidade do serviço. Use o armazenamento padrão para armazenamento de acesso frequente que você precisa para acessar de forma rápida, imediata e com frequência. Use o armazenamento de arquivos compactados para armazenamento "frio" que você mantém por longos períodos de tempo e raramente acessa.
- Gateway de internet
Um gateway de internet permite o tráfego entre as sub-redes públicas em uma VCN e a internet pública.
- Gateway de serviço
O gateway de serviço fornece acesso de uma VCN a outros serviços, como o Oracle Cloud Infrastructure Object Storage. O tráfego da VCN para o serviço Oracle percorre a malha da rede Oracle e não passa pela internet.
- Web Application Firewall (WAF)
O Oracle Cloud Infrastructure Web Application Firewall (WAF) é um serviço de aplicação de borda, baseado em região e compatível com o setor de cartões de pagamento (PCI) que é anexado a um ponto de aplicação, como um balanceador de carga ou um nome de domínio de aplicativo web. O WAF protege aplicativos contra tráfego mal-intencionado e indesejado na internet. O WAF pode proteger qualquer ponto final voltado para a internet, fornecendo aplicação de regras consistente entre os aplicativos de um cliente.
- FastConnect
O Oracle Cloud Infrastructure FastConnect cria uma conexão privada dedicada entre o seu data center e o Oracle Cloud Infrastructure. O FastConnect oferece opções de largura de banda maior e uma experiência de rede mais confiável quando comparado com conexões baseadas na internet.
Os seguintes componentes de terceiros:
- Quadro RTE
A TEN (Transformative Extensions Network) é uma estrutura de código aberto que permite aos desenvolvedores criar rapidamente agentes multimodais em tempo real (voz, vídeo, fluxo de dados, imagem e texto), facilitando para os desenvolvedores experimentar, integrar grandes modelos de linguagem e criar extensões reutilizáveis.
- Agente TEN
O Agente TEN está instalado em uma máquina virtual. Você pode usar TEN para criar agentes que suportem casos de uso como chatbots de voz, minutos de reunião gerados por IA, tutores de idiomas, tradutores simultâneos, parceiros virtuais, aconselhamento e muito mais. Os desenvolvedores podem aproveitar um conjunto diversificado de serviços e extensões de IA e ter total flexibilidade para criar, testar e implantar os agentes de IA de última geração, que podem pensar, ouvir, ver e interagir como os humanos fazem em tempo real.
- Llama 3.2
O Llama 3.2 é uma versão leve do Llama Large Language Model (LLM) da Meta AI. Llama 3.2 é um modelo multimodal de linguagem auto-regressiva que você pode usar em tarefas que exigem reconhecimento de imagem e processamento de linguagem.
- Deepgram
Componente Speech-to-text (STT).
- Fishaudio
Componente Texto para Fala (TTS).
Recomendações
- VCN
Ao criar uma VCN, determine o número de blocos CIDR necessários e o tamanho de cada bloco com base no número de recursos que você planeja anexar a sub-redes na VCN. Use blocos CIDR que estejam dentro do espaço de endereço IP privado padrão.
Selecione blocos CIDR que não se sobreponham a nenhuma outra rede (no Oracle Cloud Infrastructure, em seu data center local ou em outro provedor de nuvem) para a qual você pretende configurar conexões privadas.
Depois de criar uma VCN, você poderá alterar, adicionar e remover seus blocos CIDR.
Ao projetar as sub-redes, considere seus requisitos de fluxo de tráfego e segurança. Anexe todos os recursos dentro de uma camada ou atribuição específica à mesma sub-rede, que pode servir como um limite de segurança.
- Listas de segurança
Use listas de segurança para definir regras de entrada e saída que se aplicam a toda a sub-rede.
- Grupos de segurança de rede (NSGs)
Você pode usar NSGs para definir um conjunto de regras de entrada e saída que se aplicam a VNICs específicas. Recomendamos o uso de NSGs em vez de listas de segurança, porque os NSGs permitem que você separe a arquitetura de sub-rede da VCN dos requisitos de segurança do seu aplicativo.
- Cloud Guard
Clone e personalize as receitas padrão fornecidas pela Oracle para criar receitas personalizadas de detector e respondedor. Essas receitas permitem que você especifique que tipo de violações de segurança geram um aviso e quais ações podem ser executadas nelas. Por exemplo, talvez você queira detectar buckets do Object Storage que tenham visibilidade definida como pública.
Aplique o Cloud Guard no nível da tenancy para cobrir o escopo mais amplo e reduzir a carga administrativa de manutenção de várias configurações.
Você também pode usar o recurso Lista Gerenciada para aplicar determinadas configurações aos detectores.
- Zonas de Segurança
Para recursos que exigem segurança máxima, a Oracle recomenda o uso de zonas de segurança. Uma zona de segurança é um compartimento associado a uma receita de políticas de segurança definida pela Oracle baseada nas melhores práticas. Por exemplo, os recursos de uma zona de segurança não devem ser acessíveis por meio da internet pública e devem ser criptografados usando chaves gerenciadas pelo cliente. Quando você criar e atualizar recursos em uma zona de segurança, o Oracle Cloud Infrastructure validará as operações de acordo com as políticas na receita de zona de segurança e negará as operações que violam qualquer uma das políticas.
- Largura de banda do balanceador de carga
Ao criar o balanceador de carga, você pode selecionar uma forma predefinida que forneça uma largura de banda fixa ou especificar uma forma personalizada (flexível), na qual você define uma faixa de largura de banda e permite que o serviço dimensione a largura de banda automaticamente com base nos padrões de tráfego. Com qualquer uma das abordagens, você pode alterar a forma a qualquer momento após criar o balanceador de carga.
Considerações
Ao implementar um Quadro RTE multimodal, considere o seguinte:
- Conectividade de rede
Requer conectividade de rede robusta para gerenciar recursos de computação distribuídos com eficiência.
- GPUs
A infraestrutura de IA inclui clusters de computação de alto desempenho com hardware especializado, como GPUs, para acelerar os cálculos de IA. Muitas vezes, ele aproveita sistemas de armazenamento distribuído para lidar com grandes conjuntos de dados de forma eficiente e pode envolver estruturas e bibliotecas de IA especializadas para treinar e implementar modelos de IA. Use o OCI Supercluster para dimensionar até 32.768 GPUs.
- Oracle Database 23ai
Aproveite as tecnologias do Oracle Database 23ai e assistidas por IA fornece os seguintes benefícios:
- Reduza o risco de alucinações: Aproveite a RAG e a Pesquisa de Vetores de IA para fornecer respostas mais precisas a perguntas de linguagem natural ao usar LLMs com dados corporativos.
- Suporte a GPU NVIDIA do Oracle Autonomous Database: acesse GPUs NVIDIA para acelerar o desempenho de determinadas operações de dados de IA sem precisar se preocupar com provisionamento ou gerenciamento de servidores GPU. Você pode aproveitar o Oracle Machine Learning Notebooks que usam pacotes Python habilitados para GPU para cargas de trabalho com uso intensivo de recursos, como gerar incorporações de vetores usando modelos de transformadores e criar modelos de aprendizado profundo.
- Suporte mais amplo para LLMs: ajuda as organizações a obter mais valor da IA generativa com integração integrada do Oracle Autonomous Database para LLMs adicionais: Google Gemini, Anthropic Claude e Hugging Face. O Autonomous Database se integra a 35 LLMs diferentes em sete provedores para oferecer uma ampla opção na criação de aplicativos GenDev.
- Aprimoramentos de IA do Data Studio: Prepare e carregue dados usando linguagem natural, bem como use uma ferramenta visual de "arrastar e soltar" para criar pipelines de IA com incorporações de vetores de texto e imagem.
- Aprimoramentos do Graph Studio: Crie modelos de gráficos de propriedades operacionais sem código, novos no Oracle Database 23ai, usando a ferramenta de autoatendimento integrada.
- Autonomous Database para Desenvolvedores: Acesse o rico conjunto de recursos e ferramentas fornecidos pelo Oracle Autonomous Database a uma taxa fixa por hora. Isso fornece um ponto de entrada mais baixo e previsível para casos de uso de desenvolvimento com um caminho de atualização simples para implantação de produção.
- Multicloud
A capacidade da OCI de trabalhar em uma arquitetura multicloud oferece os seguintes benefícios:
- Permite implantar aplicativos e dados em vários locais, incluindo locais, dispositivos de borda e nuvens públicas.
- Oferece melhor desempenho, resiliência e localidade dos dados, dependendo de onde o usuário está localizado.
- A OCI é uma hiperescaladora capaz de fornecer mais de 150 serviços de nuvem em qualquer ambiente, em qualquer lugar. Ou obtenha os serviços do Oracle Database nas regiões de parceiros AWS, Microsoft Azure e Google Cloud.
Explorar Mais
Revise esses recursos adicionais para saber mais sobre os recursos dessa arquitetura de referência.
- Documentação do Oracle Cloud Infrastructure
- Documentação do OCI Generative AI
- IA Generativa da OCI
- Anunciando o Select AI com RAG (Recovery Augmented Generation) no Autonomous Database (blog)
- Quadro RTE
Analise os seguintes recursos do OCI: