Implementar uma interface de usuário baseada na Web para interagir com Agentes do Oracle Cloud Infrastructure Generative AI
Use os Agentes do Oracle Cloud Infrastructure Generative AI (OCI Generative AI) para implementar uma interface web interativa que permita aos usuários se envolver em conversas em tempo real.
A OCI Generative AI não fornece uma interface de usuário fora da console da OCI e os usuários desejam consumir a API para integrá-la em seus projetos web. Essa arquitetura de referência mostra um aplicativo web que consome Agentes do OCI Generative AI, que também é integrado ao Speech to Text em tempo real e ao Text to Speech, a fim de fornecer uma experiência completa sem deixar os dados do locatário do cliente. Essa solução envolve uma máquina virtual que conecta o aplicativo web e o serviço OCI Speech por meio de soquetes web.
Usando a transcrição em tempo real do OCI Speech, tudo o que o usuário diz é instantaneamente convertido em texto e processado pelo agente de IA. Em seguida, o agente de IA gera uma resposta, que não é exibida apenas na tela, mas também é transmitida de volta ao usuário por meio do recurso Text to Speech do OCI Speech. Isso cria uma interação totalmente imersiva, natural e dinâmica, ideal para atendimento ao cliente, assistentes virtuais e soluções de IA conversacional.
Arquitetura
Essa arquitetura de referência é construída em torno do Oracle Visual Builder como a interface front-end, que se integra perfeitamente aos Agentes do OCI Generative AI e ao OCI Speech.
- O Oracle Visual Builder envia entradas de usuário para o OCI Speech por meio da VM Bridge com o Python SDK.
- O recurso de texto para fala no OCI Speech permite sintetizar fala semelhante à humana a partir de texto entre aplicativos. Esse recurso permite conversas com clientes, traduções de voz em vários idiomas e acessibilidade aprimorada. Escolha entre uma variedade de vozes para aprimorar as interações.
- O Oracle Visual Builder lida com interações do usuário, enviando entradas do usuário para os Agentes do OCI Generative AI por meio de APIs REST e exibindo as respostas do agente em tempo real.
Os agentes da OCI Generative AI usam a OCI Generative AI nos bastidores para permitir o acesso a modelos básicos pré-treinados da Cohere e da Meta. Ele suporta clusters de IA dedicados com GPUs privadas para cargas de trabalho de produção estáveis e de alto desempenho, incluindo hospedagem e ajuste fino.
A API de bate-papo e o Playground fornecem uma experiência de bate-papo interativa com os modelos Cohere e Meta por meio do console ou da API da OCI. A integração LangChain permite o desenvolvimento flexível de aplicativos de OCI Generative AI, enquanto a integração LlamaIndex permite a criação de soluções RAG com origens de dados personalizadas. Para operações, o OCI Generative AI inclui controles de moderação de conteúdo e em breve suportará troca de ponto final de modelo com tempo de inatividade zero, bem como recursos de ativação e desativação. Ele também fornece análises sobre o uso do modelo, incluindo estatísticas de chamadas, tokens processados e contagens de erros.
- Para saída de voz, o serviço OCI Speech Text-to-Speech (TTS) converte as respostas do agente em áudio falado, aprimorando a experiência do usuário.
O diagrama a seguir ilustra essa arquitetura de referência.
oci-genai-speech-arch-oracle.zip
A arquitetura tem os seguintes componentes:
- Computação
Com o Oracle Cloud Infrastructure Compute, você pode provisionar e gerenciar hosts de computação na nuvem. Você pode iniciar instâncias de computação com formas que atendam aos seus requisitos de recursos para CPU, memória, largura de banda de rede e armazenamento. Depois de criar uma instância de computação, você pode acessá-la com segurança, reiniciá-la, anexar e desanexar volumes e encerrá-la quando não precisar mais dela.
- Fala do OCI
O OCI Speech é um dos vários serviços de IA nativos da nuvem. Você pode usar o serviço OCI Speech para converter arquivos de áudio em texto legível armazenado no formato JSON.
O OCI Speech aproveita o poder da linguagem falada, permitindo que você converta facilmente arquivos de áudio contendo fala humana em transcrições de texto altamente precisas. O serviço é um aplicativo nativo do OCI que você pode acessar usando um aplicativo Web, API REST, SDK, CLI ou Console.
O OCI Speech usa a tecnologia de reconhecimento automático de fala (ASR) para fornecer uma transcrição gramaticalmente correta de arquivos de vídeo e áudio. A OCI Speech lida com gravações de áudio de baixa fidelidade e transcreve gravações desafiadoras, como reuniões ou chamadas de call center. Usando Speech, você pode transformar arquivos armazenados no OCI Object Storage ou em um ativo de dados em texto preciso, normalizado, com timestamp e filtrado por palavrões. Esta funcionalidade está disponível com serviços downstream. Por exemplo, você pode usar serviços adicionais, como idioma e previsão, para analisar o sentimento de chamada, o conteúdo de destino para publicidade, indexar suas pastas de mídia e criar um mecanismo de pesquisa de mídia usando o Oracle Cloud Infrastructure Lakehouse.
- Agentes da OCI Generative AI
Os agentes da OCI Generative AI são um serviço totalmente gerenciado que combina o poder de grandes modelos de linguagem (LLMs) com um sistema de recuperação inteligente destinado a criar respostas contextualmente relevantes pesquisando sua base de conhecimento.
Os Agentes do OCI Generative AI oferecem suporte a várias maneiras de integrar seus dados onde você e seus clientes podem interagir com seus dados usando uma interface de chat ou API.
- Suporta vários métodos de integração de dados e canais de interação (interface de bate-papo ou API).
- Cria respostas contextualmente relevantes pesquisando sua base de conhecimento.
- Fornece atribuição de origem para cada resposta.
- Oferece recursos de pesquisa híbrida (lexical e semântica). Inclui opções de moderação de conteúdo para entrada e saída.
- Suporta conversas multi-turn, onde os usuários podem fazer perguntas de acompanhamento e receber respostas que consideram o contexto de perguntas e respostas anteriores.
- Pode interpretar dados de gráficos de dois eixos e tabelas de referência em um PDF, sem precisar de descrições explícitas dos elementos visuais.
- Todos os hiperlinks presentes em documentos PDF são extraídos e exibidos como hiperlinks na resposta de chat.
- Oracle Visual Builder
O Oracle Visual Builder é uma experiência de desenvolvimento intuitiva com base em uma plataforma de desenvolvimento e hospedagem que permite criar aplicativos responsivos envolventes. Com foco na facilidade de uso e em uma abordagem de desenvolvimento visual, ele fornece uma maneira fácil de criar aplicativos hospedados na plataforma de nuvem segura e escalável da Oracle.
Experiência Visual de Desenvolvimento
O Oracle Visual Builder fornece ferramentas de desenvolvimento visual simples, mas poderosas, para criar aplicativos responsivos, tudo sem a necessidade de instalar nenhum software adicional. Este rico conjunto de ferramentas visuais ajuda você a projetar rapidamente seu aplicativo arrastando e soltando componentes da interface do usuário e personalizando seus atributos para definir o comportamento. Embora essas ferramentas se prestem a desenvolvedores low-code, desenvolvedores experientes podem acessar facilmente o código fonte subjacente, até mesmo estendê-lo usando técnicas padrão HTML5, JavaScript e CSS para necessidades complexas.
Acesso Fácil aos Dados
O Oracle Visual Builder facilita o acesso aos dados do seu aplicativo por meio de serviços baseados em REST. Portanto, você pode criar objetos de negócios reutilizáveis para implementar a lógica de negócios do seu aplicativo e armazenar seus dados, que podem ser gerenciados por meio de pontos finais REST que o Oracle Visual Builder gera para você ou você pode selecionar objetos de dados expostos por aplicativos Oracle SaaS ou Oracle Integration em um catálogo integrado de serviços REST. Você também pode acessar dados de qualquer serviço REST externo com apenas alguns cliques.
Plataforma de Desenvolvimento e Hospedagem
O Oracle Visual Builder é uma ferramenta de desenvolvimento completa, bem como uma plataforma de hospedagem, o que significa que você pode gerenciar o ciclo de vida do seu aplicativo desde o desenvolvimento até o teste e a publicação final. O gerenciamento de versões e a migração de dados são integrados ao ciclo de vida de um aplicativo, tornando mais fácil para você preparar e publicar seu aplicativo e gerenciar seus dados em todas as fases.