Resume el chat con Oracle Generative AI en un cluster de IA dedicado

Hoy en día, las empresas confían en sus centros de soporte para resolver los problemas de los clientes externos. Como parte del proceso de participación de soporte, el ingeniero de soporte utiliza la comunicación por chat para interactuar de manera eficiente con el cliente. Después del chat, para mejorar la experiencia del cliente, el ingeniero debe dedicar tiempo adicional a compartir notas de resumen sobre lo que se discutió.
Con la ayuda del servicio de IA generativa de Oracle Cloud Infrastructure(OCI), el ingeniero puede resumir el contenido del chat y automatizar el proceso de comunicación integral. Además, OCI Generative AI te permite acotar los modelos y personalizarlos con tus propios datos. Puede aprovechar el cluster de IA dedicado para ajustar modelos personalizados o para alojar puntos finales para modelos personalizados. Los modelos de aprendizaje pueden resumir efectivamente la conversación en un tono legible y amigable para el ser humano, ahorrando así el valioso tiempo del ingeniero y aumentando la productividad del compromiso del cliente.

Esta arquitectura de referencia describe cómo el servicio OCI Generative AI resume la comunicación de chat entre los usuarios.

Arquitectura

Esta arquitectura de referencia utiliza Oracle Digital Assistant (ODA) para simular conversaciones con usuarios humanos a través de Internet. Las ODAs son interfaces basadas en IA que ayudan a los usuarios a realizar diversas tareas en conversaciones en lenguaje natural. Puede integrar ODA con una búsqueda basada en conocimientos personalizada para proporcionar al usuario más información sobre el contexto. Esta arquitectura también utiliza un gateway de API de OCI para proteger y gestionar las API de Generative AI y Digital Assistant. Puede utilizar estas API para la integración con cualquier aplicación; por ejemplo, esta arquitectura se integra con Oracle B2C Service Cloud. Al utilizar el código de webhook, el bot de ODA puede transferir los chats a un agente en directo para un análisis detallado y la resolución de problemas. Una vez cerrada la comunicación de chat, OCI Generative AI utiliza el modelo ajustado alojado en el cluster de IA dedicado para generar un resumen del chat. El resumen se comparte con el cliente mediante el servicio OCI Email Delivery. Esta arquitectura también aprovecha los servicios de registro y supervisión de OCI para mejorar la visibilidad y el control de recursos. Si el ajuste no es un requisito, puede utilizar el servicio gestionado para llamar al modelo base, lo que elimina la necesidad de un cluster de AI dedicado.
En esta arquitectura de referencia, se aprovisionan los siguientes servicios de OCI:
  • Servicio de IA generativa de OCI con cluster de IA dedicado para resumen de texto
  • Oracle Digital Assistant
  • Gateway de API de OCI
  • Entrega de correo electrónico de OCI
  • Oracle B2C Service en la nube

El siguiente diagrama ilustra esta arquitectura de referencia.


Descripción de resume-chat-oci-gen-ai.png
Descripción de la ilustración resume-chat-oci-gen-ai.png

resumen-chat-oci-gen-ai-oracle.zip

La arquitectura tiene los siguientes componentes:
  • Región

    Una región de OCI es un área geográfica localizada que contiene uno o más centros de datos, denominados dominios de disponibilidad. Las regiones son independientes de otras regiones, y pueden separarse grandes distancias (entre países e incluso continentes).

  • Red virtual en la nube (VCN) y subredes

    Una VCN es una red personalizable y definida por software que configura en una región de OCI. Al igual que las redes de los centros de datos tradicionales, las redes virtuales le proporcionan un control completo de su entorno de red. Una VCN puede tener varios bloques de CIDR no superpuestos que puede cambiar después de crear la VCN. Puede segmentar una VCN en subredes, las cuales se pueden acotar a una región o a un dominio de disponibilidad. Cada subred está formada por un rango contiguo de direcciones que no se solapan con las demás subredes de la VCN. Puede cambiar el tamaño de una subred después de la creación. Una subred puede ser pública o privada.

  • Almacenamiento de objetos

    Object Storage proporciona acceso rápido a grandes cantidades de datos estructurados y no estructurados de cualquier tipo de contenido, incluidas copias de seguridad de base de datos, datos analíticos y contenido enriquecido, como imágenes y vídeos. Puede almacenar datos de forma segura y, a continuación, recuperarlos directamente desde Internet o desde la plataforma en la nube. Puede escalar el almacenamiento sin problemas sin experimentar ninguna degradación del rendimiento ni de la fiabilidad del servicio. Utilice el almacenamiento estándar para el almacenamiento de acceso frecuente al que debe acceder de forma rápida, inmediata y frecuente. Utilice el almacenamiento de archivo para el almacenamiento "en frío" que conserva durante largos períodos de tiempo y a los que rara vez accede.

  • IA generativa de OCI
    OCI Generative AI es un servicio totalmente gestionado disponible a través de una API para integrar sin problemas estos modelos de lenguaje versátiles en una amplia gama de casos de uso, incluida la asistencia de escritura, el resumen y el chat. El servicio OCI Generative AI incluye los siguientes modelos fundamentales:
    • Generación: proporcione instrucciones para generar texto o extraer información del texto.
    • Resumen: resuma el texto con el formato, la longitud y el tono indicados.
    • Incrustación: convierte texto en incrustaciones de vector para utilizarlo en aplicaciones para búsquedas semánticas, clasificación de texto o agrupación en clusters de texto.
  • Clusters AI dedicados

    Los clusters de IA dedicados son recursos informáticos que puede utilizar para ajustar modelos personalizados o para alojar puntos finales para modelos personalizados. Los clusters están dedicados a sus modelos y no se comparten con usuarios de otros arrendamientos. La IA generativa de OCI del modelo personalizado le permite utilizar sus propios datos para acotar los modelos.

  • Oracle Digital Assistant

    Digital Assistant es una plataforma para crear interfaces conversacionales o bots conversacionales. Un chatbot es un programa informático que simula y procesa la conversación humana (escrita o hablada), lo que permite a los humanos interactuar con aplicaciones y datos como si se estuvieran comunicando con una persona real. Los desarrolladores ensamblan asistentes digitales a partir de una o más aptitudes. Las aptitudes se pueden basar en aptitudes predefinidas proporcionadas por Oracle o por terceros, desarrolladas a medida o en una de las muchas plantillas de aptitudes disponibles. Digital Assistant direcciona la solicitud del usuario a la aptitud más adecuada para satisfacer la solicitud del usuario. Las habilidades combinan un motor de aprendizaje profundo de NLP multilingüe, un potente motor de flujo de diálogo y componentes de integración para conectarse a sistemas backend.

  • Gateway de API

    Oracle API Gateway le permite publicar API con puntos finales privados accesibles desde la red y que se pueden exponer a la red pública de Internet si es necesario. Los puntos finales admiten la validación de API, la transformación de solicitud y respuesta, CORS, la autenticación y autorización, y la limitación de solicitudes.

  • Entrega de correo electrónico

    OCI Email Delivery es un servicio de entrega de correo electrónico altamente escalable, rentable y fiable para enviar correos electrónicos de gran volumen generados por aplicaciones para comunicaciones transaccionales, de marketing y notificaciones esenciales, como confirmaciones, alertas de detección de fraude, verificación de identidad multifactor y restablecimientos de contraseña.

  • Identity and Access Management (IAM)

    OCI Identity and Access Management (IAM) es el plano de control de acceso para OCI y Oracle Cloud Applications. La API de IAM y la interfaz de usuario le permiten gestionar los dominios de identidad y los recursos del dominio de identidad. Cada dominio de identidad de OCI IAM representa una solución de gestión de identidad y acceso independiente o una población de usuarios diferente.

  • Logging
    El registro es un servicio altamente escalable y totalmente gestionado que proporciona acceso a los siguientes tipos de logs de sus recursos en la nube:
    • Logs de auditoría: logs relacionados con eventos emitidos por el servicio Audit.
    • Logs de servicios: logs emitidos por servicios individuales como API Gateway, eventos, funciones, equilibrio de carga, almacenamiento de objetos y logs de flujo de VCN.
    • Logs personalizados: logs que contienen información de diagnóstico de aplicaciones personalizadas, otros proveedores de servicios en la nube o un entorno local.
  • Monitoring

    El servicio OCI Monitoring supervisa de forma activa y pasiva los recursos en la nube mediante métricas para supervisar los recursos y las alarmas a fin de notificarle cuando estas métricas cumplan los disparadores especificados por las alarmas.

Agradecimientos

Autor: Rajsagar Rawool