Cree una pila de IA generativa de nivel empresarial en Oracle Cloud Infrastructure
Crear una pila completa de IA generativa en Oracle Cloud Infrastructure (OCI) requiere un enfoque de varias capas para integrar la inteligencia artificial en los sistemas empresariales.
El objetivo es optimizar el desarrollo de aplicaciones, garantizar una integración sólida de datos y mejorar las medidas de seguridad en varias capas. Facilita el despliegue de modelos de IA, gestiona los datos de los clientes de manera eficiente e incorpora el registro y la supervisión avanzados para mantener un alto rendimiento y fiabilidad. Esta arquitectura de referencia también abordará los diferentes componentes necesarios y cómo se pueden organizar diferentes LLM para trabajar juntos en función de la respuesta necesaria.
Arquitectura
Esta arquitectura de referencia describe una pila de IA de cuatro capas y todos los diferentes componentes necesarios para implementar una solución de IA generativa empresarial dentro de un entorno empresarial.
- Capa de aplicación
- de acceso a datos
- Registro y control en toda la solución
- Capa AI que consta de los cinco módulos siguientes:
- Integración de IA
- LLM
- Desarrollo de IA
- Data Integration
- Catálogo de datos y contexto
El flujo hipotético considerado para esta arquitectura de referencia se describe en la siguiente sección:
- Aparecerá una solicitud desde la aplicación a la capa API y Access.
- La capa está protegida por WAF y se comprueba la autenticación de la solicitud mediante OCI Identity and Access Management y las políticas de autorización.
- A continuación, el gateway de API lleva la solicitud a la capa de integración; esta capa incluye LangChain, que se utiliza para la abstracción y orquestación de IA. Esta capa también incluye el repositorio de peticiones de datos que se han incluido en la lista blanca y asignado a la autorización adecuada y a la versión del modelo de LLM.
- La solicitud se envía al LLM que coincide con la clase de solicitud y la petición de datos.
- El contexto y el historial del consumidor se cargan desde la base de datos de contexto.
- La ubicación de los datos que se deben enriquecer se accede desde el catálogo de datos.
- Digamos que aún faltan algunos datos. La capa de integración de datos comprobará primero si los datos se han almacenado en caché y, si no, se consultarán a partir de los datos del cliente.
- LLM responderá a través de la integración.
- La respuesta pasará a través del comprobador de alucinación, el comprobador de alucinación ejecutará la IA adversaria para validar si la respuesta es significativa.
- Por último, vuelve al gateway de API a la aplicación.
El siguiente diagrama ilustra esta arquitectura de referencia.
oci-genai-enterprise-arch-oracle.zip
Pasemos por los bloques de construcción que forman cada capa de bloque:
- Mezclar y combinar LLM dentro del módulo LLM con cada LLM utilizado para el área para la que es el mejor ajuste.
- El contexto se debe mantener por cliente y en diferentes conversaciones. Data Catalog ayuda a los diferentes LLM a saber dónde encontrar los datos necesarios.
- La capa de integración de datos accede a los datos del cliente y los proporciona a la velocidad de la IA, lo que incluye el almacenamiento en caché de datos necesario y la integración.
- Módulo de integración de IA, mantiene las peticiones de datos Repo, LangChain para abstraer LLM y Oracle Integration para la integración.
- La capa de desarrollo de IA permite el control de versiones y el almacenamiento de modelos, así como el DevOps necesario para evolucionar la solución.
- El comprobador de alucinación ejecuta IA adversaria para ejecutar la salida del LLM para validar su veracidad.
- Application Performance Monitoring realiza un seguimiento del SLA de rendimiento.
- El registro y la auditoría realizan un seguimiento de cómo se utiliza la solución de IA generativa para observar el sistema e identificar posibles problemas.
- El gateway de API permite un acceso controlado a la pila de AI.
- Las políticas se mantienen de forma centralizada para gestionar el acceso a la pila de LLM.
- WAF protege el entorno de posibles vectores de ataque.
- Los tokens de acceso y el control se gestionan con OCI Identity and Access Management.
La arquitectura tiene los siguientes componentes:
- Agentes de OCI Generative AI
OCI Generative AI Agents es un servicio totalmente gestionado que combina la potencia de los grandes modelos de lenguaje (LLM) con un sistema de recuperación inteligente para crear respuestas contextualmente relevantes mediante la búsqueda en la base de conocimientos. hacer que sus aplicaciones de IA sean inteligentes y efficient.OCI Generative AI Agents admite varias formas de incorporar sus datos y, a continuación, le permite a usted y a sus clientes interactuar con sus datos mediante una interfaz de chat o API.
- IA generativa
Oracle Cloud Infrastructure Generative AI es un servicio OCI totalmente gestionado que proporciona un conjunto de modelos de lenguaje grandes (LLM) personalizables y de última generación que abarcan una amplia gama de casos de uso para la generación de texto, resúmenes, búsqueda semántica y mucho más. Utilice el patio de recreo para probar los modelos preentrenados listos para usar, o crear y alojar sus propios modelos personalizados de ajuste basados en sus propios datos en clusters de IA dedicados.
- Integración
Oracle Integration es un entorno preconfigurado y totalmente gestionado que permite integrar aplicaciones en la nube y locales, automatizar los procesos de negocio y desarrollar aplicaciones visuales. Utiliza un servidor de archivos compatible con SFTP para almacenar y recuperar archivos y le permite intercambiar documentos con partners comerciales de negocio a negocio mediante una cartera de cientos de adaptadores y recetas para conectarse con aplicaciones de Oracle y de terceros.
- Gateway de API
Oracle Cloud Infrastructure API Gateway permite publicar API con puntos finales privados accesibles desde la red y que se pueden exponer a la red pública de Internet si es necesario. Los puntos finales admiten la validación de API, la transformación de solicitud y respuesta, CORS, la autenticación y autorización, y la limitación de solicitudes.
- OCI Data Integration
Oracle Cloud Infrastructure Data Integration es un servicio totalmente gestionado, sin servidor y en la nube que extrae, carga, transforma, limpia y vuelve a dar forma a los datos de una variedad de orígenes de datos en servicios de Oracle Cloud Infrastructure de destino, como Autonomous Data Warehouse y Oracle Cloud Infrastructure Object Storage. ETL (carga de transformación de extracción) aprovecha el procesamiento de escala horizontal totalmente gestionado en Spark, y ELT (transformación de carga de extracción) aprovecha las capacidades de transferencia SQL completa de Autonomous Data Warehouse para minimizar el movimiento de datos y mejorar el tiempo de obtención de resultados para los datos recién ingeridos. Los usuarios diseñan procesos de integración de datos mediante una interfaz de usuario intuitiva y sin código que optimiza los flujos de integración para generar el motor y la orquestación más eficaces y asignar y ampliar automáticamente el entorno de ejecución. Oracle Cloud Infrastructure Data Integration proporciona exploración interactiva y preparación de datos, y ayuda a los ingenieros de datos a protegerse contra el cambio de esquema mediante la definición de reglas para manejar los cambios de esquema.
- Oracle Exadata Database Service
Oracle Exadata Database Service permite aprovechar la potencia de Exadata en la nube. Oracle Exadata Database Service ofrece capacidades probadas de Oracle Database en una infraestructura de Oracle Exadata optimizada y específica en la nube pública y en Cloud@Customer. La automatización incorporada en la nube, la ampliación flexible de recursos, la seguridad y el rendimiento rápido para todas las cargas de trabajo de Oracle Database le ayudan a simplificar la gestión y reducir los costos.
- Identity and Access Management (IAM)
Oracle Cloud Infrastructure Identity and Access Management (IAM) es el plano de control de acceso para Oracle Cloud Infrastructure (OCI) y Oracle Cloud Applications. La API de IAM y la interfaz de usuario le permiten gestionar los dominios de identidad y los recursos dentro del dominio de identidad. Cada dominio de identidad de OCI IAM representa una solución independiente de gestión de identidad y acceso o una población de usuarios diferente.
Recomendaciones
- Oracle Cloud Infrastructure + IA generativaLa IA generativa puede impulsar la innovación, mejorar los procesos y ayudar a las empresas a lograr más que nunca, pero requiere el enfoque adecuado. Oracle sigue poniendo lo mejor de la IA a disposición de las empresas de todo el mundo, con un enfoque único en modelos de alto rendimiento, integración de la IA generativa en toda la pila y gestión de datos, seguridad y privacidad. Al integrar la IA en toda la pila tecnológica, desde la infraestructura en la que se ejecutan las empresas hasta las aplicaciones para cada línea de negocio, desde las finanzas hasta la cadena de suministro y los recursos humanos, Oracle ayuda a las organizaciones a utilizar la IA de forma pragmática para mejorar el rendimiento y ahorrar tiempo, energía y recursos:
- Nuestra infraestructura básica en la nube ahora incluye una capa de infraestructura de IA única basada en nuestra tecnología Supercluster, aprovechando el hardware más reciente y mejor, incluidas las GPU de alto rendimiento, que son esenciales para entrenar e implementar modelos de IA de manera eficiente, especialmente para escenarios de uso intensivo de recursos informáticos como el procesamiento de lenguaje grande (LLP). Esta infraestructura está diseñada específicamente para maximizar las capacidades de las tecnologías de IA y GPU, lo que garantiza un rendimiento y una escalabilidad óptimos para las cargas de trabajo de IA empresariales.
- Además de esta infraestructura, nuestra capa de base de datos incorpora IA en nuestros productos, como Oracle Autonomous Database y Oracle MySQL HeatWave, con AutoML (incorporado en Machine Learning), para que los desarrolladores puedan agregar modelos predefinidos a aplicaciones y operaciones sin ser expertos en tecnologías como el aprendizaje automático.
- Nuestra plataforma de desarrollo de aplicaciones proporciona servicios de IA como Oracle Digital Assistant for Natural Language Processing (NLP).
- Además, la amplia gama de aplicaciones industriales de Oracle incorpora modelos de IA capacitados para abordar los desafíos específicos de sectores que van desde la atención médica y los servicios financieros hasta el sector minorista, la fabricación y el sector público. Esto nos coloca en una posición única para ayudar a nuestros clientes a optimizar las cargas de trabajo para resolver los desafíos más complejos y estratégicos.
- Integración de LangChain
Puede agregar OCI Generative AI a una implantación basada en LangChain con las siguientes funciones:
- Código abierto: marco de código abierto para ayudar a crear u orquestar aplicaciones basadas en LLM.
- Definir modelos y peticiones de datos de LLM: trabaje con modelos de LLM preferidos y defina peticiones de datos en contexto.
- Bibliotecas de Índice: Configure una arquitectura de RAG con bibliotecas listas para usar para la división de texto, SQL de conversación 2, etc.
- Cadenas, agentes y memoria: configure flujos de trabajo de LLM más complejos con cadenas y agentes y pueda utilizar el historial de conversaciones para definir más contexto.
Consideraciones
Al implantar esta arquitectura de referencia, tenga en cuenta estas opciones.
- Casos de uso de IA generativa en todas las funciones empresariales
Puede considerar el uso de funciones de IA generativa en diferentes funciones de negocio, como se describe en algunos de los siguientes ejemplos:
Operaciones del cliente- Servicio al cliente automatizado basado en el conjunto de productos, la experiencia y el lenguaje del cliente.
- Scripts de llamadas de IA en tiempo real basados en el historial de conversaciones y el contexto del emisor de llamada.
- Comentarios del agente posterior a la llamada sobre el rendimiento de la llamada, formas de optimizar futuras llamadas.
Marketing
- Generación de contenido para comercio electrónico (descripciones de productos), B2B (artículos optimizados para SEO) en voz de marca.
- Personalización masiva de la búsqueda, el alcance, la alimentación del cliente en función del perfil del comprador y el historial de uso.
- Síntesis, agrupación de datos de clientes no estructurados para identificar nuevas tendencias y personas.
Ventas
- Alcance de ventas personalizado basado en el historial de interacciones y el perfil de cliente potencial para liberar tiempo de representante de ventas.
- Representantes de ventas virtuales que guían a los clientes potenciales desde las ofertas hasta la venta.
- Generación de argumentos de ventas personalizados para nuevos clientes en función del contenido existente.
Product Development
- Análisis, limpieza y etiquetado de grandes volúmenes de datos, como los comentarios de los usuarios, las tendencias del mercado y los logs.
- Codificación y finalización automática de API para acelerar el desarrollo, la refactorización y la integración de sistemas.
- Prueba de automatización mediante la creación de datos sintéticos y la compilación de datos de log.
Estrategia y finanzas
- Síntesis de datos no estructurados de llamadas de ganancias, informes de analistas y otras fuentes.
- Automatización de procesos complejos y complejos como el gasto.
- Supervisión a escala de competidores y clientes, en fuentes públicas o privadas.
- Búsqueda y tienda de vector de IA: Oracle Database 23ai y Oracle MySQL HeatWaveLos vectores se utilizan para representar el contenido semántico de imágenes, documentos, vídeos, etc.
- La base de datos convergente permite utilizar datos de negocio y vectores al responder a una pregunta.
- No es necesario mover ni sincronizar datos, gestionar varios productos, etc.