Resumir o chat usando o Oracle Generative AI em um cluster de IA dedicado

Hoje, as empresas confiam em seus centros de suporte para resolver os problemas dos clientes externos. Como parte do processo de engajamento de suporte, o engenheiro de suporte usa a comunicação por chat para interagir de forma eficiente com o cliente. Após o bate-papo, para melhorar a experiência do cliente, o engenheiro deve gastar mais tempo compartilhando observações resumidas sobre o que foi discutido.

Com a ajuda do serviço de IA generativa da Oracle Cloud Infrastructure (OCI), o engenheiro pode resumir o conteúdo do bate-papo e automatizar o processo de comunicação de ponta a ponta. Além disso, a IA generativa da OCI permite refinar os modelos e personalizá-los usando seus próprios dados. Você pode aproveitar o cluster de IA dedicado para ajustar modelos personalizados ou hospedar pontos finais para modelos personalizados. Os modelos de Aprendizagem podem resumir efetivamente a conversa em um tom legível e amigável, economizando assim o tempo valioso do engenheiro e aumentando a produtividade do envolvimento do cliente.

Esta arquitetura de referência descreve como o serviço OCI Generative AI resume a comunicação de bate-papo entre os usuários.

Arquitetura

Essa arquitetura de referência utiliza o Oracle Digital Assistant (ODA) para simular conversas com usuários humanos pela internet. Os ODAs são interfaces orientadas por IA que ajudam os usuários a realizar várias tarefas em conversas em linguagem natural. Você pode integrar o ODA com uma pesquisa personalizada baseada no conhecimento para fornecer ao usuário mais informações sobre o contexto. Essa arquitetura também usa um Gateway de API do OCI para proteger e gerenciar as APIs da IA Generativa e do Digital Assistant. Você pode usar essas APIs para integração com qualquer aplicativo; por exemplo, essa arquitetura se integra ao Oracle B2C Service Cloud. Usando o código do webhook, o bot do ODA pode transferir chats para um agente ao vivo para análise detalhada e resolução de problemas. Quando a comunicação de bate-papo é fechada, a IA Generativa da OCI usa o modelo ajustado hospedado no Cluster de IA Dedicado para gerar um resumo do bate-papo. O resumo é compartilhado com o cliente usando o OCI Email Delivery Service. Essa arquitetura também aproveita os serviços OCI Logging e Monitoring para melhor visibilidade e controle de recursos. Se o ajuste fino não for um requisito, você poderá usar o serviço gerenciado para chamar o modelo base, eliminando a necessidade de um Cluster de IA dedicado.

Nesta arquitetura de referência, os seguintes serviços do OCI são provisionados:

• Serviço de IA Generativa do OCI com Cluster de IA Dedicado para Sumariação de Texto
• Oracle Digital Assistant
• Gateway de API do OCI
• Entrega de E-mail do OCI
• Oracle B2C Service Cloud

O diagrama a seguir ilustra essa arquitetura de referência.

Descrição da ilustração resumize-chat-oci-gen-ai.png

resumir-chat-oci-gen-ai-oracle.zip

A arquitetura tem os seguintes componentes:

• Região

  Região do OCI é uma área geográfica localizada que contém um ou mais data centers, denominada domínios de disponibilidade. As regiões são independentes de outras regiões, e grandes distâncias podem separá-las (entre países ou até mesmo continentes).

• VCN (Virtual Cloud Network) e Sub-redes

  VCN é uma rede personalizável definida por software que você configura em uma região do OCI. Como as redes tradicionais de data center, as VCNs oferecem total controle sobre seu ambiente de rede. Uma VCN pode ter vários blocos CIDR não sobrepostos que você pode alterar após a criação da VCN. Você pode segmentar uma VCN em sub-redes, com escopo definido para uma região ou para um domínio de disponibilidade. Cada sub-rede consiste em um intervalo contíguo de endereços que não se sobrepõem a outras sub-redes da VCN. Você pode alterar o tamanho de uma sub-rede após a criação. Uma sub-rede pode ser pública ou privada.

• Object Storage

  O armazenamento de objetos fornece acesso rápido a grandes quantidades de dados estruturados e não estruturados de qualquer tipo de conteúdo, incluindo backups de bancos de dados, dados de análise e conteúdo avançado, como imagens e vídeos. Você pode armazenar de forma segura e depois recuperar dados diretamente da internet ou de dentro da plataforma da nuvem. Você pode dimensionar facilmente o armazenamento sem prejudicar o desempenho ou a confiabilidade do serviço. Use o armazenamento padrão para armazenamento de acesso frequente que você precisa para acessar de forma rápida, imediata e com frequência. Use o armazenamento de arquivos compactados para armazenamento "frio" que você mantém por longos períodos de tempo e raramente acessa.

• IA Generativa da OCI
  A OCI Generative AI é um serviço totalmente gerenciado disponível por meio de uma API para integrar perfeitamente esses modelos de linguagem versáteis em uma ampla variedade de casos de uso, incluindo assistência de gravação, resumo e chat. O serviço OCI Generative AI inclui os seguintes modelos fundamentais:

  • Geração: Dê instruções para gerar texto ou extrair informações do seu texto.
  • Sumariação: Resuma o texto com seu formato, tamanho e tom instruídos.
  • Incorporação: Converta texto em incorporações de vetor para usar em aplicativos para pesquisas semânticas, classificação de texto ou clusterização de texto.
• Clusters de IA dedicados

  Clusters de IA dedicados são recursos de computação que você pode usar para ajustar modelos personalizados ou para hospedar pontos finais para modelos personalizados. Os clusters são dedicados aos seus modelos e não são compartilhados com usuários em outras tenancies. A IA Generativa do OCI de Modelo Personalizado permite que você use seus próprios dados para refinar os modelos.

• Oracle Digital Assistant

  O Digital Assistant é uma plataforma para criar interfaces de conversação ou chatbots. Um chatbot é um programa de computador que simula e processa conversas humanas (escritas ou faladas), permitindo que os humanos interajam com aplicativos e dados como se estivessem se comunicando com uma pessoa real. Os desenvolvedores reúnem assistentes digitais de uma ou mais habilidades. As habilidades podem ser baseadas em habilidades pré-criadas fornecidas pela Oracle ou por terceiros, desenvolvidas de forma personalizada ou com base em um dos muitos modelos de habilidades disponíveis. O Digital Assistant roteia a solicitação do usuário para a habilidade mais apropriada para atender à solicitação do usuário. As habilidades combinam um mecanismo de aprendizado profundo de PNL multilíngue, um poderoso mecanismo de fluxo de diálogo e componentes de integração para se conectar a sistemas de back-end.

• Gateway de API

  O Oracle API Gateway permite que você publique APIs com pontos finais privados acessíveis na sua rede e que você pode expor à internet pública, se necessário. Os pontos finais suportam validação de API, transformação de solicitação e resposta, CORS, autenticação e autorização e limitação de solicitação.

• Entrega de E-mail

  O OCI Email Delivery é um serviço de entrega de e-mail altamente escalável, econômico e confiável para enviar e-mails de alto volume gerados por aplicativos para marketing, notificação e comunicações transacionais de missão crítica, como recibos, alertas de detecção de fraude, verificação de identidade multifator e redefinições de senha.

• Serviço IAM (Identity and Access Management)

  O OCI Identity and Access Management (IAM) é o plano de controle de acesso para o OCI e Oracle Cloud Applications. A API do serviço IAM e a interface do usuário permitem que você gerencie domínios de identidade e os recursos dentro do domínio de identidades. Cada domínio de identidades do OCI IAM representa uma solução independente de gerenciamento de identidade e acesso ou uma população de usuários diferente.

• Logging
  O Logging é um serviço altamente escalável e totalmente gerenciado que oferece acesso aos seguintes tipos de logs de seus recursos na nuvem:

  • Logs de Auditoria: Logs relacionados a eventos emitidos pelo serviço Audit.
  • Logs de serviço: Logs emitidos por serviços individuais, como API Gateway, Events, Functions, Balanceamento de Carga, Object Storage e logs de fluxo da VCN.
  • Logs personalizados: Logs que contêm informações de diagnóstico de aplicativos personalizados, outros provedores de nuvem ou um ambiente local.
• Monitoring

  O serviço OCI Monitoring monitora ativa e passivamente seus recursos de nuvem usando métricas para monitorar recursos e alarmes a fim de notificar você quando essas métricas atenderem aos acionadores especificados pelo alarme.

Explorar Mais

Para saber mais sobre o Chat Summarization Usando os Serviços de IA Generativa do OCI, consulte os seguintes recursos:

Revise estes recursos adicionais:

• Estrutura de melhores práticas do Oracle Cloud Infrastructure

• Documentação do Oracle Cloud Infrastructure

• Visão Geral do OCI Digital Assistant

• Transferir Chat do Digital Assistant para Agente ao Vivo

• Visão Geral do OCI API Gateway

• Implemente modelos de IA generativa na OCI

• Recursos de IA Generativa do OCI:

  • Página Inicial da Documentação de IA Generativa
  • Site
  • Comunicado de imprensa
  • Usando o Playground
  • Os Modelos de Geração
  • Os Modelos de Sumariação
  • Os modelos incorporados

Confirmações

Autor: Rajsagar Rawool