Acerca de la implementación de un marco TEN con capacidades de IA empresarial
Dos de los mayores obstáculos para la amplia adopción de la conversación de voz de persona a IA son la latencia (o retraso) y los desafíos inalámbricos de última milla, como la rápida variación del ancho de banda y la alta pérdida de paquetes. La red en tiempo real definida por software (SD-RTN) de Agora, una red de superposición en tiempo real para Internet, está construida con enrutamiento inteligente y optimizaciones de última milla para garantizar la más alta calidad y la menor latencia. La aplicación de la infraestructura de red en tiempo real de Agora a la IA conversacional impulsada por voz permite a los humanos interactuar con la IA de la misma manera que lo harían con un humano.
El marco de la RTE proporciona infraestructura de red en tiempo real. El Agente TEN está licenciado bajo la licencia de código abierto Apache 2.0, mientras que el Marco TEN utiliza una licencia híbrida de código abierto. Agora, como principal partidaria de TEN, ofrece servicios de IA conversacional creados con el marco. OCI puede proporcionar la potencia informática y Oracle Autonomous Database Select AI con soporte para funciones de RAG le permite utilizar LLM para obtener información o generar contenido innovador basado en sus datos privados mediante peticiones de datos en lenguaje natural.
Arquitectura
Esta arquitectura muestra cómo puede crear un modelo de agente de voz multimodal que utilice las tecnologías de IA de Oracle y Agora para la infraestructura de IA.
El siguiente diagrama es un ejemplo de un modelo de agente de voz AI multimodal en cascada:
Descripción de la ilustración multimodal-voice-agents.png
El modelo muestra cómo el modelo de lenguaje grande (LLM) procesa el audio y el video e incluye los siguientes componentes:
- LLM desplegado en OCI VM
- Conversión de voz en texto (STT)
- Texto a voz (TTS)
La infraestructura de IA incluye el sistema de hardware y software subyacente diseñado específicamente para soportar las exigentes necesidades computacionales de las tareas de IA. Puede desplegar una infraestructura de IA en una sola región de OCI o desplegar una arquitectura multinube donde la potencia de procesamiento se distribuya en varios centros de datos geográficamente dispersos, lo que permite un despliegue flexible de aplicaciones y datos.
En el siguiente diagrama se muestra una única región de OCI con un agente TEN (Transformative Extensions Network) instalado en una máquina virtual.
Descripción de la ilustración oci-ten-agent-deploy.png
oci-ten-agent-deploy-oracle.zip
Para un procesamiento más rápido y una mayor escalabilidad para grandes conjuntos de datos, implementa una infraestructura multinube para ejecutar algoritmos de IA en múltiples nodos informáticos. Puede utilizar una arquitectura de IA distribuida con regiones de OCI o en una arquitectura multinube. Una nube distribuida aprovecha la potencia de una multinube para dividir grandes tareas de IA en partes más pequeñas y ejecutarlas en varios nodos simultáneamente. También permite un entrenamiento más rápido de modelos de IA complejos en conjuntos de datos masivos. Sin embargo, presenta desafíos en la gestión de la consistencia de los datos y la coordinación de cálculos en diferentes nodos.
La siguiente arquitectura utiliza una solución multinube con Google Cloud y OCI, donde Google Kubernetes Engine (GKE) organiza el proceso general de formación e inferencia mientras descarga la parte que hace un uso intensivo de computación en OCI AI Infrastructure a demanda.
Descripción de la ilustración oci-google-multiregion.png
oci-google-multiregion-oracle.zip
Las arquitecturas admiten los siguientes componentes:
- Región
Una región de Oracle Cloud Infrastructure es un área geográfica localizada que contiene uno o más centros de datos, denominados dominios de disponibilidad. Las regiones son independientes entre sí y puede haber grandes distancias que las separen (entre países e incluso continentes).
- Dominio de disponibilidad
Los dominios de disponibilidad son centros de datos independientes dentro de una región. Los recursos físicos de cada dominio de disponibilidad están aislados de los recursos de los otros dominios de disponibilidad, lo que proporciona tolerancia a fallos. Los dominios de disponibilidad no comparten infraestructura, como la alimentación o la refrigeración, ni la red interna del dominio de disponibilidad. Por lo tanto, un fallo en un dominio de disponibilidad no debería afectar a los otros dominios de disponibilidad de la región.
- Red y subred virtuales en la nube (VCN)
Una VCN es una red personalizable y definida por software que puede configurar en una región de Oracle Cloud Infrastructure. Al igual que las redes de los centros de datos tradicionales, las redes virtuales le proporcionan el control de su entorno de red. Una VCN puede tener varios bloques de CIDR no superpuestos que puede cambiar después de crear la VCN. Puede segmentar una VCN en subredes, las cuales se pueden acotar a una región o a un dominio de disponibilidad. Cada subred está formada por un rango contiguo de direcciones que no se solapan con las demás subredes de la VCN. Puede cambiar el tamaño de una subred después de la creación. Una subred puede ser pública o privada.
- Dominio de errores
Un dominio de errores es una agrupación de hardware e infraestructura dentro de un dominio de disponibilidad. Cada dominio de disponibilidad cuenta con tres dominios de errores con energía y hardware independientes. Al distribuir los recursos entre varios dominios de errores, las aplicaciones pueden tolerar fallos físicos del servidor, mantenimiento del sistema y fallos de energía en un dominio de errores.
- Equilibrador de carga
Oracle Cloud Infrastructure Load Balancing proporciona una distribución automatizada del tráfico desde un único punto de entrada a varios servidores.
- Autonomous Database
Oracle Autonomous Database es un entorno de base de datos totalmente gestionado y preconfigurado que puede utilizar para el procesamiento de transacciones y las cargas de trabajo de almacenamiento de datos. No necesita configurar ni gestionar ningún hardware, ni instalar ningún software. Oracle Cloud Infrastructure gestiona la creación, la copia de seguridad, la aplicación de parches, el cambio de versión y el ajuste de la base de datos.
- Identity and Access Management
Oracle Cloud Infrastructure Identity and Access Management (IAM) proporciona control de acceso de usuario para Oracle Cloud Infrastructure (OCI) y Oracle Cloud Applications. La API de IAM y la interfaz de usuario permiten gestionar los dominios de identidad y los recursos que contienen. Cada dominio de identidad de OCI IAM representa una solución independiente de gestión de identidad y acceso o una población de usuarios diferente.
- Política
Una política de Oracle Cloud Infrastructure Identity and Access Management especifica quién puede acceder a qué recursos y de qué modo. El acceso se otorga en el nivel de grupo y compartimento, lo que significa que puede escribir una política que proporcione a un grupo un tipo específico de acceso dentro de un compartimento específico o al arrendamiento.
- Auditoría
El servicio Oracle Cloud Infrastructure Audit registra automáticamente las llamadas realizadas a todos los puntos finales de la interfaz pública de programación de aplicaciones (API) de Oracle Cloud Infrastructure soportados como eventos de log. Todos los servicios de OCI admiten el registro mediante Oracle Cloud Infrastructure Audit.
- LoggingOracle Cloud Infrastructure Logging es un servicio altamente escalable y totalmente gestionado que proporciona acceso a los siguientes tipos de logs de sus recursos en la nube:
- Logs de auditoría: logs relacionados con eventos producidos por OCI Audit.
- Logs de servicios: logs publicados por servicios individuales como OCI API Gateway, OCI Events, OCI Functions, OCI Load Balancing, OCI Object Storage y logs de flujo de VCN.
- Logs personalizados: logs que contienen información de diagnóstico de aplicaciones personalizadas, otros proveedores de nube o un entorno local.
- Almacenamiento de objetos
Oracle Cloud Infrastructure Object Storage proporciona acceso rápido a grandes cantidades de datos estructurados y no estructurados de cualquier tipo de contenido, incluidas copias de seguridad de base de datos, datos analíticos y contenido enriquecido, como imágenes y vídeos. Puede almacenar datos de forma segura y, a continuación, recuperarlos directamente desde Internet o desde la plataforma en la nube. Puede ampliar el almacenamiento sin experimentar ninguna degradación del rendimiento ni de la fiabilidad del servicio. Utilice el almacenamiento estándar para el almacenamiento al que debe acceder de forma rápida, inmediata y frecuente. Utilice el almacenamiento de archivo para el almacenamiento "frío" al que conserva durante largos períodos de tiempo y al que rara vez accede.
- Gateway de Internet
Un gateway de Internet permite el tráfico entre las subredes públicas de una VCN y la red pública de Internet.
- Gateway de servicio
El gateway de servicios proporciona acceso desde una VCN a otros servicios, como Oracle Cloud Infrastructure Object Storage. El tráfico de la VCN al servicio Oracle viaja por el tejido de red de Oracle y no atraviesa Internet.
- Web Application Firewall (WAF)
Oracle Cloud Infrastructure Web Application Firewall (WAF) es un servicio compatible con la industria de tarjetas de pago (PCI), basado en la región y de aplicación de perímetro que se asocia a un punto de aplicación, como un equilibrador de carga o un nombre de dominio de aplicación web. WAF protege las aplicaciones frente al tráfico de Internet no deseado y malicioso. WAF puede proteger cualquier punto final orientado a Internet, lo que proporciona un cumplimiento de reglas consistente en todas las aplicaciones de clientes.
- FastConnect
Oracle Cloud Infrastructure FastConnect crea una conexión privada y dedicada entre el centro de datos y Oracle Cloud Infrastructure. FastConnect proporciona opciones de mayor ancho de banda y una experiencia de red más fiable en comparación con las conexiones basadas en Internet.
Los siguientes componentes de terceros:
- Marco RTE
TEN (Transformative Extensions Network) es un framework de código abierto que permite a los desarrolladores crear rápidamente agentes multimodales en tiempo real (voz, video, flujo de datos, imagen y texto), facilitando a los desarrolladores experimentar, integrar grandes modelos de lenguaje y crear extensiones reutilizables.
- Agente de TEN
El agente TEN está instalado en una máquina virtual. Puede utilizar TEN para crear agentes que admitan casos de uso como bots conversacionales de voz, minutos de reuniones generados por IA, tutores de idiomas, traductores simultáneos, compañeros virtuales, asesoramiento y mucho más. Los desarrolladores pueden aprovechar un conjunto diverso de servicios y extensiones de IA y tener la flexibilidad completa para crear, probar e implementar agentes de IA de próxima generación, que puedan pensar, escuchar, ver e interactuar como lo hacen los humanos en tiempo real.
- Llama 3.2
Llama 3.2 es una versión ligera del modelo de lenguaje grande Llama (LLM) de Meta AI. Llama 3.2 es un modelo de lenguaje auto-regresivo multimodal que se puede utilizar en tareas que requieren reconocimiento de imágenes y procesamiento de lenguaje.
- Deepgram
Componente de texto a voz (STT).
- Fishaudio
Componente Texto a Voz (TTS).
Recomendaciones
- VCN
Al crear una VCN, determine el número de bloques CIDR necesarios y el tamaño de cada bloque en función del número de recursos que planea asociar a las subredes de la VCN. Utilice bloques CIDR que estén dentro del espacio de direcciones IP privadas estándar.
Seleccione bloques de CIDR que no se solapen con ninguna otra red (en Oracle Cloud Infrastructure, su centro de datos local u otro proveedor en la nube) a la que desee configurar conexiones privadas.
Después de crear una VCN, puede cambiar, agregar y eliminar sus bloques CIDR.
Al diseñar las subredes, tenga en cuenta el flujo de tráfico y los requisitos de seguridad. Asocie todos los recursos de un nivel o rol específico a la misma subred, que puede servir como límite de seguridad.
- Listas de seguridad
Utilice listas de seguridad para definir las reglas de entrada y salida que se aplican a toda la subred.
- Grupos de seguridad de red (NSG)
Puede utilizar NSG para definir un juego de reglas de entrada y salida que se aplican a VNIC específicas. Recomendamos utilizar NSG en lugar de listas de seguridad, ya que los NSG permiten separar la arquitectura de subred de la VCN de los requisitos de seguridad de la aplicación.
- Cloud Guard
Clone y personalice las recetas por defecto proporcionadas por Oracle para crear recetas personalizadas de detector y responsable de respuesta. Estas recetas permiten especificar qué tipo de violaciones de seguridad generan una advertencia y qué acciones se pueden realizar en ellas. Por ejemplo, puede que desee detectar cubos de Object Storage que tengan la visibilidad definida en pública.
Aplique Cloud Guard en el nivel de arrendamiento para abarcar el ámbito más amplio y reducir la carga administrativa de mantener varias configuraciones.
También puede utilizar la función de lista gestionada para aplicar determinadas configuraciones a los detectores.
- Security Zones
Para los recursos que requieren la máxima seguridad, Oracle recomienda utilizar zonas de seguridad. Una zona de seguridad es un compartimento asociado a una receta de políticas de seguridad definida por Oracle que se basa en las mejores prácticas. Por ejemplo, no se puede acceder a los recursos de una zona de seguridad desde la Internet pública y se deben cifrar mediante claves gestionadas por el cliente. Al crear y actualizar recursos en una zona de seguridad, Oracle Cloud Infrastructure valida las operaciones con respecto a las políticas de la receta de zona de seguridad y deniega las operaciones que violan cualquiera de las políticas.
- Ancho de banda de equilibrador de carga
Al crear el equilibrador de carga, puede seleccionar una unidad predefinida que proporcione un ancho de banda fijo o especificar una unidad personalizada (flexible) en la que defina un rango de ancho de banda y permita que el servicio amplíe el ancho de banda automáticamente en función de los patrones de tráfico. Con cualquiera de los enfoques, puede cambiar la unidad en cualquier momento después de crear el equilibrador de carga.
Consideraciones
Al implementar un marco de RTE multimodal, tenga en cuenta lo siguiente:
- Conectividad de Red
Requiere una conectividad de red sólida para gestionar los recursos informáticos distribuidos de forma eficaz.
- GPU
La infraestructura de IA incluye clusters de computación de alto rendimiento con hardware especializado, como GPU, para acelerar los cálculos de IA. A menudo aprovecha los sistemas de almacenamiento distribuido para gestionar grandes conjuntos de datos de forma eficiente y puede implicar marcos y bibliotecas de IA especializados para entrenar e implementar modelos de IA. Utiliza OCI Supercluster para escalar hasta 32 768 GPU.
- Oracle Database 23ai
Aproveche las tecnologías de Oracle Database 23ai y la ayuda de la IA proporciona las siguientes ventajas:
- Reduce el riesgo de alucinaciones: aprovecha la RAG y la búsqueda vectorial de IA para proporcionar respuestas más precisas a las preguntas de lenguaje natural al usar LLM con datos empresariales.
- Soporte de GPU de NVIDIA de Oracle Autonomous Database: acceda a las GPU de NVIDIA para acelerar el rendimiento de ciertas operaciones de datos de IA sin tener que preocuparse por aprovisionar o gestionar servidores de GPU. Puede aprovechar Oracle Machine Learning Notebooks que utilizan paquetes Python habilitados para GPU para cargas de trabajo con un uso intensivo de recursos, como la generación de incrustaciones de vectores mediante modelos de transformadores y la creación de modelos de aprendizaje profundo.
- Soporte más amplio para LLM: ayuda a las organizaciones a obtener más valor de la IA generativa con la integración incorporada de Oracle Autonomous Database a LLM adicionales: Google Gemini, Anthropic Claude y Hugging Face. Autonomous Database se integra con 35 LLM diferentes en siete proveedores para ofrecerle una amplia opción en la creación de aplicaciones GenDev.
- Mejoras en la IA de Data Studio: Prepara y carga datos utilizando lenguaje natural, así como utiliza una herramienta visual de "arrastrar y soltar" para crear pipelines de IA con incrustaciones de vectores de texto e imagen.
- Mejoras de Graph Studio: Cree modelos de grafos de propiedades operativas sin código, nuevos en Oracle Database 23ai, mediante la herramienta de autoservicio incorporada.
- Autonomous Database para desarrolladores: acceda al completo conjunto de funciones y herramientas que proporciona Oracle Autonomous Database a una tarifa plana por hora. Esto proporciona un punto de entrada más bajo y predecible para los casos de uso de desarrollo con una ruta de actualización sencilla para el despliegue de producción.
- Multinube
La capacidad de OCI para trabajar en una arquitectura multinube proporciona las siguientes ventajas:
- Permite desplegar aplicaciones y datos en varias ubicaciones, incluidos dispositivos locales, periféricos y nubes públicas.
- Ofrece rendimiento, resiliencia y ubicación de datos mejorados en función de la ubicación del usuario.
- OCI es un hiperescalador capaz de ofrecer más de 150 servicios en la nube en cualquier entorno y en cualquier lugar. O bien, obtenga los servicios de Oracle Database de las regiones asociadas de AWS, Microsoft Azure y Google Cloud.
Explorar más
Revise estos recursos adicionales para obtener más información sobre las funciones de esta arquitectura de referencia.
- Documentación de Oracle Cloud Infrastructure
- Documentación de OCI Generative AI
- IA generativa de OCI
- Anuncio de Select AI with Retrieval Augmented Generation (RAG) en Autonomous Database (blog)
- Marco RTE
Revise los siguientes recursos de OCI: