Implantar una interfaz de usuario basada en web para interactuar con los agentes de Oracle Cloud Infrastructure Generative AI
Utilice los agentes de Oracle Cloud Infrastructure Generative AI (OCI Generative AI) para implantar una interfaz web interactiva que permita a los usuarios participar en conversaciones en tiempo real.
OCI Generative AI no proporciona una interfaz de usuario fuera de la consola de OCI y los usuarios desean consumir la API para integrarla en sus proyectos web. Esta arquitectura de referencia muestra una aplicación web que consume agentes de OCI Generative AI, que también está integrada con Speech to Text y Text to Speech en tiempo real para proporcionar una experiencia completa sin dejar los datos de inquilino del cliente. Esta solución implica una máquina virtual que conecta la aplicación web y el servicio OCI Speech a través de sockets web.
Mediante la transcripción en tiempo real de OCI Speech, todo lo que dice el usuario se convierte instantáneamente en texto y lo procesa el agente de IA. A continuación, el agente de AI genera una respuesta, que no solo se muestra en la pantalla, sino que también se devuelve al usuario a través de la capacidad de texto a voz de OCI Speech. Esto crea una interacción totalmente inmersiva, natural y dinámica, ideal para el servicio al cliente, los asistentes virtuales y las soluciones de IA conversacional.
Arquitectura
Esta arquitectura de referencia se basa en Oracle Visual Builder como interfaz de front-end, que se integra a la perfección con los agentes de OCI Generative AI y OCI Speech.
- Oracle Visual Builder envía entradas de usuario a OCI Speech a través del puente de VM con el SDK de Python.
- La función de texto a voz en OCI Speech le permite sintetizar el habla de tipo humano a partir del texto en todas las aplicaciones. Esta función permite conversaciones con clientes, traducciones de voz en varios idiomas y accesibilidad mejorada. Elige entre una variedad de voces para mejorar las interacciones.
- Oracle Visual Builder gestiona las interacciones de usuario, envía entradas de usuario a los agentes de OCI Generative AI a través de API de REST y muestra las respuestas del agente en tiempo real.
Los agentes de OCI Generative AI utilizan OCI Generative AI en segundo plano para permitir el acceso a modelos fundamentales previamente entrenados de Cohere y Meta. Admite clusters de IA dedicados con GPU privadas para cargas de trabajo de producción estables y de alto rendimiento, incluidos el alojamiento y el ajuste.
La API de chat y Playground proporcionan una experiencia de chat interactiva con los modelos Cohere y Meta a través de la consola o API de OCI. La integración de LangChain permite el desarrollo flexible de aplicaciones de OCI Generative AI, mientras que la integración de LlamaIndex permite crear soluciones de RAG con orígenes de datos personalizados. Para las operaciones, OCI Generative AI incluye controles de moderación de contenido y pronto admitirá el intercambio de puntos finales de modelo sin tiempo de inactividad, así como funciones de activación y desactivación. También proporciona análisis sobre el uso del modelo, incluidas estadísticas de llamadas, tokens procesados y recuentos de errores.
- Para la salida de voz, el servicio OCI Speech Text-to-Speech (TTS) convierte las respuestas del agente en audio hablado, lo que mejora la experiencia del usuario.
El siguiente diagrama ilustra esta arquitectura de referencia.
oci-genai-speech-arch-oracle.zip
La arquitectura tiene los siguientes componentes:
- Compute
Con Oracle Cloud Infrastructure Compute, puede aprovisionar y gestionar hosts informáticos en la nube. Puede iniciar instancias informáticas con unidades que cumplan los requisitos de recursos de CPU, memoria, ancho de banda de red y almacenamiento. Después de crear una instancia informática, puede acceder a ella de forma segura, reiniciarla, asociar y desasociar volúmenes, y terminarla cuando ya no la necesite.
- OCI Speech
OCI Speech es uno de los varios servicios de IA nativos en la nube. Puede utilizar el servicio OCI Speech para convertir archivos de audio en texto legible almacenado en formato JSON.
OCI Speech aprovecha el poder del lenguaje hablado al permitirle convertir fácilmente archivos de audio que contienen voz humana en transcripciones de texto de alta precisión. El servicio es una aplicación nativa de OCI a la que puede acceder mediante una aplicación web, una API de REST, un SDK, una CLI o una consola.
OCI Speech utiliza la tecnología de reconocimiento automático de voz (ASR) para proporcionar una transcripción gramaticalmente correcta de archivos de vídeo y audio. OCI Speech maneja grabaciones de audio de baja fidelidad y transcribe grabaciones desafiantes como reuniones o llamadas al centro de llamadas. Con Speech, puede convertir los archivos almacenados en OCI Object Storage o un activo de datos en texto preciso, normalizado, con registro de hora y filtrado por palabras malsonantes. Esta funcionalidad está disponible con los servicios descendentes. Por ejemplo, podría utilizar servicios adicionales, como el idioma y la previsión, para analizar la opinión de las llamadas, el contenido objetivo de los anuncios, indexar las carpetas de medios y crear un motor de búsqueda de medios con Oracle Cloud Infrastructure Lakehouse.
- Agentes de OCI Generative AI
Los agentes de OCI Generative AI son un servicio totalmente gestionado que combina la potencia de los grandes modelos de lenguaje (LLM) con un sistema de recuperación inteligente destinado a crear respuestas contextualmente relevantes mediante la búsqueda en la base de conocimientos.
Los agentes de OCI Generative AI admiten varias formas de incorporar sus datos donde usted y sus clientes pueden interactuar con sus datos mediante una interfaz de chat o una API.
- Admite varios métodos de vinculación de datos y canales de interacción (interfaz de chat o API).
- Crea respuestas contextualmente relevantes buscando en la base de conocimientos.
- Proporciona atribución de origen para cada respuesta.
- Ofrece capacidades de búsqueda híbrida (léxica y semántica). Incluye opciones de moderación de contenido para entrada y salida.
- Admite conversaciones de varios turnos, donde los usuarios pueden hacer preguntas de seguimiento y recibir respuestas que tienen en cuenta el contexto de preguntas y respuestas anteriores.
- Puede interpretar datos de gráficos de dos ejes y tablas de referencia en un PDF, sin necesidad de descripciones explícitas de los elementos visuales.
- Todos los hipervínculos presentes en documentos PDF se extraen y se muestran como hipervínculos en la respuesta al chat.
- Oracle Visual Builder
Oracle Visual Builder es una experiencia de desarrollo intuitiva sobre una plataforma de desarrollo y alojamiento que le permite crear atractivas aplicaciones con capacidad de respuesta. Centrándose en la facilidad de uso y en un enfoque de desarrollo visual, ofrece una forma sencilla de crear aplicaciones alojadas en la plataforma en la nube segura y ampliable de Oracle.
Experiencia de desarrollo visual
Oracle Visual Builder proporciona herramientas de desarrollo visual sencillas pero potentes para crear aplicaciones con capacidad de respuesta, todo ello sin necesidad de instalar ningún software adicional. Este amplio conjunto de herramientas visuales te ayudan a diseñar rápidamente tu aplicación arrastrando y soltando componentes de la interfaz de usuario y personalizando sus atributos para definir el comportamiento. Si bien estas herramientas se prestan a desarrolladores con poco código, los desarrolladores con experiencia pueden acceder fácilmente al código fuente subyacente, incluso ampliarlo utilizando técnicas estándar HTML5, JavaScript y CSS para necesidades complejas.
Acceso fácil a los datos
Oracle Visual Builder facilita el acceso a los datos de su aplicación a través de servicios basados en REST. Por lo tanto, puede crear objetos de negocio reutilizables para implantar la lógica de negocio de la aplicación y almacenar sus datos, que luego se pueden gestionar mediante puntos finales de REST que genera Oracle Visual Builder para usted, o bien puede seleccionar objetos de datos expuestos por aplicaciones de Oracle SaaS u Oracle Integration en un catálogo integrado de servicios REST. También puede acceder a los datos desde cualquier servicio REST externo con solo unos clics.
Plataforma de desarrollo y alojamiento
Oracle Visual Builder es una herramienta de desarrollo completa, así como una plataforma de alojamiento, lo que significa que puede gestionar el ciclo de vida de la aplicación desde el desarrollo hasta la prueba y la publicación final. La gestión de versiones y la migración de datos están integradas en el ciclo de vida de una aplicación, lo que facilita la ubicación temporal y la publicación de la aplicación y la gestión de sus datos en cada fase.