Despliegue un modelo OwnGPT escalable en Oracle Cloud Infrastructure para cargas de trabajo de ERP
El despliegue de OwnGPT en Oracle Cloud Infrastructure (OCI) ha demostrado un desarrollo de modelos acelerado, una productividad mejorada y un fuerte retorno de la inversión (ROI).
El objetivo de esta arquitectura de referencia era permitir a los usuarios y consultores funcionales interactuar con los datos de Enterprise Resource Planning (ERP) utilizando lenguaje natural a través de OwnGPT, un modelo de IA entrenado en dominios desplegado en OCI, inicialmente centrado en Oracle E-Business Suite R12 (módulos de Cuentas a Pagar y Cuentas a Cobrar), con extensibilidad a otros módulos y plataformas ERP.
Nuestra implementación inicial utilizó GPU A10 Tensor Core, proporcionando un entrenamiento e inferencia de modelos acelerados. La integración de Oracle HeatWave MySQL mejoró aún más el rendimiento de la base de datos, mientras que OCI Object Storage garantizó una gestión de datos segura y eficiente. Oracle E-Business Suite Vision como origen de datos principal permitió a OwnGPT procesar datos empresariales estructurados de manera eficaz.
El despliegue de OwnGPT en las instancias de GPU de OCI destacó el papel vital de la infraestructura para fomentar la innovación en IA. La flexibilidad de OCI en el despliegue de GPU en entornos con hardware dedicado y máquinas virtuales permite configuraciones personalizadas para satisfacer las cambiantes necesidades empresariales. Además, la red de acceso directo a memoria remoto (RDMA) de baja latencia de Oracle aceleró el entrenamiento de modelos distribuidos, mientras que OCI Block y OCI Object Storage proporcionaron una gestión de datos escalable para grandes conjuntos de datos.
Arquitectura
Se trata de un despliegue de OCI listo para la producción de una solución ERP basada en IA (OwnGPT), diseñada para una resolución de consultas basada en IA segura, escalable y modular. Integra Oracle E-Business Suite (ERP) con componentes como Airflow, Oracle Base Database Service, recursos informáticos de GPU para GPT y almacenamiento, al tiempo que se conecta de forma segura a los usuarios locales y a los servicios de OCI.
- Preparado para IA (con tecnología GPU) para cargas de trabajo de LLM
- El diseño modular y en capas separa el equilibrio de carga, la aplicación y la lógica de IA
- ERP integrado y estrechamente vinculado con Oracle Oracle E-Business Suite y listo para estadísticas de cuentas a pagar y cuentas a cobrar
- Seguro y escalable con funciones de seguridad nativas de OCI, WAF, IAM, NAT Gateway y OCI
- Alta disponibilidad y uso de dominios de errores para proteger contra fallos de hardware
El siguiente diagrama ilustra esta arquitectura de referencia.
Los grupos de usuarios son usuarios internos o analistas de negocio que accederán a la aplicación a través de la web o la VPN. El gateway de Internet proporciona acceso al entorno de OCI desde redes externas (por ejemplo, acceso al explorador web del empleado). Todos los recursos existen en un compartimento denominado OWNTESTHUB y se distribuyen en tres dominios de errores para una alta disponibilidad. Toda la arquitectura está construida dentro de una red virtual segura. Oracle Cloud Infrastructure Web Application Firewall (WAF) protege frente a amenazas como la inyección SQL, DDoS, etc.
El equilibrador de carga distribuye el tráfico entrante entre los servidores web de backend y de API para facilitar la ampliación y la disponibilidad. API WEB (VM.Standard.E5). Flex) aloja las API de front-end y REST para la aplicación OwnGPT. AIRFLOW (VM.Standard.E5). Flex) gestiona la orquestación de tareas y la programación de trabajos (por ejemplo, entrenamiento de modelos o ETL). OWNGPT (VM.GPU.A10.2) tiene una máquina virtual acelerada por GPU que ejecuta el modelo OwnGPT, ideal para la inferencia de IA en tiempo real.
Oracle Autonomous Data Warehouse almacena datos estructurados relacionados con ERP (módulos de AP y AR) para realizar consultas rápidamente. APP de Oracle E-Business Suite (VM.Standard.E5). Flex) utiliza servicios de backend para Oracle E-Business Suite (que probablemente ejecute conectores o middleware). OCI File Storage proporciona almacenamiento compartido, útil para DAG de flujo de aire, artefactos de aplicación o logs.
OCI Identity and Access Management controla los roles de usuario, las políticas y la autenticación segura. Service Gateway se conecta a servicios de OCI como OCI Object Storage sin pasar por Internet. OCI Object Storage se utiliza para almacenar puntos de control de modelos, entrenar juegos de datos, logs o archivos. El gateway de NAT permite a las máquinas virtuales de subred privada iniciar el tráfico de Internet saliente de forma segura. El modelo de generación de respuestas extrae datos relevantes, interpreta context y genera una respuesta legible por humanos sin necesidad de generar informes manuales.
- Oracle E-Business Suite
Oracle E-Business Suite incluye un conjunto de productos (gestión de capital humano, order management, compras y logística) que admite modelos de negocio en evolución, impulsa la productividad y satisface las demandas del usuario móvil moderno.
Puede aprovisionar Oracle E-Business Suite en Oracle Cloud Infrastructure o migrar entornos de Oracle E-Business Suite desde su centro de datos a Oracle Cloud Infrastructure, creando topología de varios hosts, segura y de alta disponibilidad.
- Oracle Autonomous Data Warehouse
Oracle Autonomous Data Warehouse es un servicio de base de datos de autogestión, autoprotección y autorreparación optimizado para cargas de trabajo de almacenamiento de datos. No necesita configurar ni gestionar ningún hardware, ni instalar ningún software. Oracle Cloud Infrastructure se encarga de crear, realizar copias de seguridad, aplicar parches, actualizar y ajustar la base de datos.
- OCI Object Storage
OCI Object Storage proporciona acceso a grandes cantidades de datos estructurados y no estructurados de cualquier tipo de contenido, incluidas copias de seguridad en bases de datos, datos analíticos y contenido enriquecido como imágenes y vídeos. Puede almacenar datos de forma segura directamente desde las aplicaciones o desde la plataforma en la nube. Puedes ampliar el almacenamiento sin experimentar ninguna degradación del rendimiento o la fiabilidad del servicio.
Utilice el almacenamiento estandar para el almacenamiento "caliente" al que debe acceder de forma rápida, inmediata y frecuente. Utilice este tipo de almacenamiento para el almacenamiento "frío" que conserva durante largos períodos de tiempo y a los a los que rara vez accede.
- Almacenamiento de archivos
Oracle Cloud Infrastructure File Storage ofrece un sistema de archivos de red duradero, escalable, seguro y empresarial. Puede conectarse a OCI File Storage desde cualquier instancia con hardware dedicado, de máquina virtual o de contenedor de una VCN. También puede acceder a OCI File Storage desde fuera de la VCN mediante Oracle Cloud Infrastructure FastConnect y la VPN IPSec.
- Gestión de identidad y acceso
Oracle Cloud Infrastructure Identity and Access Management (IAM) proporciona control de acceso de usuario para OCI y Oracle Cloud Applications. La API de IAM y la interfaz de usuario le permiten gestionar los dominios de identidad y los recursos que contienen. Cada dominio de identidad de OCI IAM representa una solución de gestión de identidad y acceso independiente o un grupo de usuarios diferente.
Recomendaciones
- VCN
Al crear una VCN, determine el número de bloques CIDR necesarios y el tamaño de cada bloque en función del número de recursos que tenga previsto asociar a las subredes de la VCN. Utilice bloques CIDR que se encuentren dentro del espacio de direcciones IP privadas estándar.
Seleccione bloques CIDR que no se solapen con ninguna otra red (en Oracle Cloud Infrastructure, su centro de datos local u otro proveedor en la nube) en la que desee configurar conexiones privadas.
Después de crear una VCN, puede cambiar, agregar y eliminar sus bloques CIDR.
Al diseñar las subredes, tenga en cuenta los requisitos de seguridad y el flujo de tráfico. Asocie todos los recursos de un nivel o rol específico a la misma subred, lo que puede servir como límite de seguridad.
Consideraciones
Al implementar esta arquitectura de referencia, tenga en cuenta estas opciones.
- Procesamiento de IA
OwnGPT procesa la consulta mediante context entrenado desde los módulos AP y AR.
- Entrega de salida
La respuesta se devuelve en tiempo real o casi en tiempo real a través de la interfaz de usuario o de chat.
- Métricas técnicas
- Tiempo de respuesta: Promedio de 1,2 segundos, percentil 95 2,5 segundos, consultas complejas 3,7 segundos máx.
- Rendimiento: Máximo de 120 usuarios simultáneos, 500 consultas por minuto y tasa de éxito de API del 99,97 %.
- Utilización de recursos: CPU 42% promedio (78% pico), memoria 4.2GB (7.1GB máximo), eficiencia de almacenamiento 12MB por compañía para datos vectoriales.
- Escalabilidad: Escalabilidad lineal hasta 50 empresas, rendimiento estable con más de 100.000 fragmentos de documentos, más de 25 conexiones simultáneas.
- Impacto del Negocio
- Productividad: 68% de reducción en el tiempo de búsqueda, 42% menos de consultas técnicas repetidas, ahorrando 3,5 horas por empleado semanalmente.
- Precisión: 92% en preguntas específicas de la empresa, 87% en consultas técnicas, 95% en identificación de fuentes.
- Satisfacción del usuario: calificación 4.7/5, adopción del 94% entre los empleados elegibles, reducción del 76% en los tickets de soporte.
- ROI: Igualar en 4,2 meses, 327% de ROI en 12 meses, se estima un ahorro anual de $ 142.000 para implementaciones de tamaño medio.
Explorar más
Revise estos recursos adicionales para obtener más información sobre las funciones de esta arquitectura de referencia.
- Cómo OCI admite cargas de trabajo de IA exigentes con clusters de GPU escalables y redes de baja latencia
- Accede a tutoriales, talleres y herramientas para crear soluciones de IA e IA generativa en OCI
- Documentación deOracle Cloud Infrastructure
- Almacenamiento de bloques de OCI
- Computación de OCI
- Marco bien diseñado para Oracle Cloud Infrastructure
- Estimador de costos de Oracle Cloud
- Marco de adopción de la nube