Permite plataformas de autoservicio seguras y escalables para IA generativa y LLM dentro de OCI

Capacita a los científicos de datos, desarrolladores y equipos de TI para crear, probar e implementar de forma independiente modelos avanzados de IA, al tiempo que garantizas la gobernanza a nivel empresarial y la optimización de la infraestructura.

Esta solución ofrece las capacidades básicas necesarias para respaldar las iniciativas de inteligencia artificial generativa (IA) y modelos de lenguaje grandes (LLM) en un modelo de autoservicio, que combina acceso seguro, infraestructura escalable y gobernanza empresarial en Oracle Cloud Infrastructure (OCI).

Casos de uso y servicios soportados:

  • Traiga su propio modelo de lenguaje grande (BYOLLM) / validación de seguridad de código

    Los modelos de terceros (por ejemplo, Hugging Face) se implementan en el entorno aislado de "campo de juego" con aceleración de GPU y se someten a validación de seguridad automatizada. Las políticas de OCI Functions, Oracle Identity Cloud Service (IDCS) y OCI Identity and Access Management (IAM) se utilizan para la inspección, el control de acceso y la ejecución segura.

  • Parque de ciencia de datos

    Data Science Playground es un entorno flexible y escalable diseñado para la experimentación con la ciencia de datos. Con tecnología de infraestructura de GPU avanzada, ofrece una integración perfecta con Oracle Database 23ai y un almacenamiento de objetos y vectores optimizado para la gestión de documentos e integraciones, ideal para la creación rápida de prototipos y la ampliación eficiente de proyectos de IA.

  • IA multimodal

    OCI soporta modelos multimodales mediante la integración de entradas de texto, voz e imagen. Estos modelos se alojan en instancias de GPU de alto rendimiento.

  • Conversión del habla al texto

    OCI Speech es el servicio de voz a texto de Oracle que convierte el audio en texto con alta precisión. Integrado en OCI, admite varios idiomas, transcripción en tiempo real y por lotes, y ofrece funciones avanzadas como la diarización de altavoces, la confianza a nivel de palabra y el filtrado de lenguaje ofensivo. También se conecta a la perfección con otros servicios de OCI para el procesamiento escalable en tiempo real.

  • Generación con recuperación aumentada

    OCI proporciona una completa solución de generación aumentada de recuperación (RAG) al integrar Oracle Database 23ai y OCI Object Storage con servicios de IA generativa. Los datos se transforman en incrustaciones vectoriales y se almacenan en Oracle Autonomous Database para permitir una búsqueda semántica eficiente. Las respuestas generadas se enriquecen con información relevante y actualizada. Los flujos de trabajo de RAG se orquestan a través de OCI Connector Hub, lo que permite la ejecución basada en eventos, la ingestión de datos automatizada y la escalabilidad en tiempo real.

    Los flujos de trabajo de RAG se orquestan a través de OCI Connector Hub, con soporte para la ejecución basada en eventos y la integración con pipelines de ingesta de datos.

  • Base de datos vectorial

    Oracle Database 23ai ofrece capacidades de base de datos vectorial nativa a través del tipo de datos VECTOR, lo que permite el almacenamiento de incrustaciones y búsqueda semántica mediante SQL estándar. Soporta la indexación vectorial, la generación de incrustaciones externas o basadas en ONNX y el control de precisión para consultas de similitud. Optimizado para Exadata, elimina la necesidad de almacenes vectoriales independientes, soportando casos de uso como RAG, recomendaciones e IA generativa dentro de un entorno unificado de Oracle.

  • Agentes de OCI Generative AI

    Estos agentes cuentan con la tecnología del servicio OCI Generative AI o modelos de terceros que se ejecutan en la infraestructura de GPU con hardware dedicado de OCI.

  • Velocidad de OCI

    Para garantizar un alto rendimiento y rendimiento, las instancias con hardware dedicado (por ejemplo, A100, H200, B200 y GB200) se utilizan tanto para el entrenamiento como para la inferencia de modelos de gran tamaño, lo que permite la experimentación rápida y cargas de trabajo de nivel de producción.

Arquitectura

Esta arquitectura ilustra cómo Oracle Cloud Infrastructure (OCI) soporta flujos de trabajo integrales de IA generativa en el desarrollo, la integración y la interacción del usuario.

Flujo A: Integración

  1. Aplicaciones de cliente
  2. Oracle Integration
  3. OCI Object Storage (cubos)
  4. Detección de eventos de OCI
  5. OCI Streaming y OCI Connector Hub
  6. Funciones de OCI (ejecución lógica)
  7. Oracle Process Cloud Service (inferencia por GPU)
  8. Data layer (Oracle Database 23ai and buckets)

Flujo B: interacción del usuario

  1. Interfaces de usuario final (Apex)
  2. Aplicaciones (agentes GenAI de OCI, OCI Speech, Oracle Digital Assistant)
  3. Oracle Process Cloud Service (inferencia por GPU)
  4. Data layer (Oracle Database 23ai and buckets)

Flujo C: Desarrollo y sandbox

  1. Orígenes de modelo externo
  2. Validación de seguridad de código
  3. Desarrollo y pruebas
  4. Pipeline de automatización a producción

El siguiente diagrama ilustra esta arquitectura de referencia.


Descripción de ai-llm-workflow-architecture.png:
Descripción de la ilustración ai-llm-workflow-architecture.png

ai-llm-workflow-architecture-oracle.zip

Visión general de la arquitectura por dominios funcionales

  • Desarrollo y formación (espacio de trabajo de autoservicio)

    La arquitectura está estructurada en un compartimento centralizado para operaciones de LLM:

    • Data Science proporciona un espacio de trabajo integrado para el desarrollo de modelos, blocs de notas de Jupyter y marcos de aprendizaje automático predefinidos. Incluye herramientas de acción rápida para el despliegue de modelos y la ejecución de trabajos.
    • El despliegue de modelos aloja máquinas virtuales (VM) para la prueba y el despliegue de modelos. Los usuarios pueden validar modelos aquí antes de pasarlos a producción.
    • Playground es un entorno acelerado por GPU (máquinas virtuales flexibles, A10, A100, LS40) que ofrece recursos informáticos aislados y de alto rendimiento para modelos personalizados y de terceros (por ejemplo, Hugging Face). Sirve como zona de experimentación para los flujos de trabajo Traiga su propio LLM (BYOLLM).
  • Capa de aplicación y función
    • Las API de lenguaje y OCI Speech ofrecen servicios listos para consumir para la transcripción, la NLU y la extracción de entidades.
    • OCI Functions se utiliza para la transcripción en tiempo real, el NLP y la ejecución sin servidor de pipelines de IA.
    • Las herramientas de supervisión y front-end de APEX proporcionan interfaces para la interacción, el análisis y la gobernanza del usuario.
    • Los agentes GenAI de OCI y Digital Assistant permiten experiencias conversacionales utilizando datos empresariales y LLM integrados.
  • Procesamiento (capa de producción)
    • OCI Kubernetes Engine (OKE) soporta el despliegue en contenedores de modelos de producción y servicios de inferencia.
    • OCI Generative AI proporciona acceso basado en API a LLM alojados o personalizados y ajustados de Oracle, lo que admite casos de uso empresariales seguros y escalables.
  • Infraestructura de GPU (compatibilidad con H100 y RDMA)
    • Las instancias de GPU con hardware dedicado (H100 con RDMA) permiten la inferencia y el entrenamiento distribuido de varios nodos con comunicación de alto rendimiento y baja latencia, lo que resulta ideal para cargas de trabajo de LLM masivas.
    • Optimizada para la tecnología de GPU (MIG) de múltiples instancias (Kubernetes) y NVIDIA, esta configuración permite la orquestación de GPU y el uso compartido dinámico de recursos, lo que permite la asignación fraccional de GPU y la programación de varios usuarios entre equipos.
  • Capa de datos y conocimientos
    • Oracle Database 23ai, mejorada con soporte para búsqueda semántica y vectorial, actúa como capa de recuperación para flujos de trabajo de generación aumentada de recuperación (RAG).
    • Los cubos de OCI Object Storage almacenan datos no estructurados, incrustaciones, documentos y artefactos de modelo.
  • MLOps (pipeline de modelo de producción)
    • La arquitectura incluye un pipeline de integración y despliegue continuos para promover modelos desde el entorno de juegos hasta la producción. Actualmente representado por OCI DevOps es el servicio nativo, totalmente gestionado y continuo de integración y entrega continua (CI/CD) de OCI que permite a las organizaciones automatizar el despliegue de modelos de aprendizaje automático desde la experimentación hasta la producción.
    • Pipelines de compilación integrados con Git.
    • Despliegue automatizado en máquinas virtuales o contenedores.
    • Integración nativa con OCI Artifacts Registry, OCI Functions y OCI API Gateway.
  • Capa de integración y seguridad
    • Los cubos de OCI Object Storage actúan como el almacenamiento central para modelos, datos de entrenamiento, salidas de inferencia y embebidas.
    • OCI Events, OCI Streaming y OCI Connector Hub permiten la orquestación basada en eventos y la integración de servicios en todo el entorno.
    • Oracle Identity Cloud Service, las políticas de IAM, OCI Logging y las listas de seguridad proporcionan sólidas capacidades de gobernanza, autenticación, control de acceso y cumplimiento en todos los servicios de OCI.
    • Oracle Integration es una plataforma de middleware incorporada que permite una integración segura y perfecta entre los sistemas locales y los servicios en la nube, lo que admite la sincronización de datos en tiempo real, la orquestación de API y la automatización de procesos en aplicaciones heterogéneas.

La arquitectura tiene los siguientes componentes:

  • Dominios de disponibilidad

    Los dominios de disponibilidad son centros de datos independientes dentro de una región. Los recursos físicos de cada dominio de disponibilidad están aislados de los recursos de los otros dominios de disponibilidad, lo que proporciona tolerancia a fallos. Los dominios de disponibilidad no comparten infraestructura, como la alimentación o la refrigeración, ni la red interna del dominio de disponibilidad. Por lo tanto, un fallo en un dominio de disponibilidad no debería afectar a los demás dominios de disponibilidad de la región.

  • Hardware dedicado

    Los servidores con hardware dedicado de Oracle proporcionan aislamiento, visibilidad y control mediante instancias informáticas dedicadas. Los servidores admiten aplicaciones que requieren una gran cantidad de núcleos, una gran cantidad de memoria y un gran ancho de banda. Pueden escalar hasta 192 núcleos, 2,3 TB de RAM y hasta 1 PB de almacenamiento de bloques. Los clientes pueden crear entornos en la nube en los servidores con hardware dedicado de Oracle con un rendimiento considerablemente mejor que la de otras nubes públicas y centros de datos locales.

  • Compartimento

    Los compartimentos son particiones lógicas entre regiones dentro de un arrendamiento de OCI. Utilice compartimentos para organizar, controlar el acceso y definir cuotas de uso para sus recursos de Oracle Cloud. En un compartimento determinado, puede definir políticas que controlen el acceso y definan privilegios para los recursos.

  • Hub de conector

    Oracle Cloud Infrastructure Connector Hub es un servicio de bus de mensajes que organiza el movimiento de datos entre servicios en OCI. Puede utilizar conectores para mover datos de un servicio de origen a un servicio de destino. Los conectores también permiten especificar opcionalmente una tarea (como una función) para realizar en los datos antes de que se entreguen al servicio de destino.

    Puede utilizar OCI Connector Hub para crear rápidamente un marco de agregación de registro para sistemas de gestión de eventos e información de seguridad (SIEM).

  • Gateway de enrutamiento dinámico (DRG)

    The DRG is a virtual router that provides a path for private network traffic between VCNs in the same region, between a VCN and a network outside the region, such as a VCN in another OCI region, an on-premises network, or a network in another cloud provider.

  • FastConnect

    Oracle Cloud Infrastructure FastConnect crea una conexión dedicada y privada entre tu centro de datos y OCI. FastConnect ofrece opciones de mayor ancho, así como una experiencia más fiable de red en comparación con conexiones basadas en internet.

  • Recursos informáticos de alto rendimiento

    La computación de alto rendimiento está diseñada para cargas de trabajo que requieren redes de cluster y núcleos de procesador de alta velocidad para cargas de trabajo paralelas masivas.

  • Gateway de Internet

    Un gateway de Internet permite el tráfico entre las subredes públicas de una VCN y la red pública de Internet.

  • Red local

    Se trata de una red local utilizada por la organización.

  • Región

    Una región de OCI es un área geográfica localizada que contiene uno o más centros, denominados dominios de disponibilidad. Las regiones son independientes de otras regiones y pueden haber grandes distancias que las separan (entre países o incluso continentes).

  • Tabla de rutas

    Las tablas de rutas virtuales contienen reglas para enrutar el tráfico de subredes a destinos fuera de una VCN, normalmente a través de gateways.

  • Lista de seguridad

    Para cada subred, puede crear reglas de seguridad que especifiquen el origen, el destino y el tipo de tráfico que se permite dentro y fuera de la subred.

  • Gateway de servicio

    Un gateway de servicios proporciona acceso desde una VCN a otros servicios, como Oracle Cloud Infrastructure Object Storage. El tráfico desde la VCN al servicio Oracle recorre el tejido de red de la Oracle y no atraviesa Internet.

  • Tenancy

    Un arrendamiento es una partición segura y aislada que Oracle configura en Oracle Cloud cuando se registra en OCI. Puede crear, organizar y administrar sus recursos en OCI dentro de su arrendamiento. Un arrendamiento es sinónimo de una compañía u organización. Normalmente, una compañía tendrá un único arrendamiento y reflejará su estructura organizativa dentro de ese arrendamiento. Un único arrendamiento suele estar asociado a una única suscripción y una única suscripción suele tener un solo arrendamiento.

  • Red virtual en la nube (VCN) y subred

    Una VCN es una red personalizable y definida por software que se configura en una región de OCI. Al igual que las Redes de los Centros de Datos Tradicionales, las Redes Virtuales le proporcionan el control sobre su entorno de red. Una VCN puede tener varios bloques de CIDR no superpuestos que puede cambiar después de crear la VCN. Puede segmentar una VCN en subredes, las cuales se pueden acotar a una región o a un dominio de disponibilidad. Cada subred está formada por un rango contiguo de direcciones que no se solapan con las demás subredes de la VCN. Puede cambiar el tamaño de una subred después de la creación. Una subred puede ser pública o privada.

  • Oracle Database 23ai

    La versión 23ai de Oracle Database se centra en la IA y la productividad de los desarrolladores. Lleva la IA a tus datos con la adición de AI Vector Search a la base de datos convergente de Oracle. Esta capacidad combinada con nuevos paradigmas de desarrollo unificados y capacidades esenciales hace que sea fácil para los desarrolladores y profesionales de datos impulsar aplicaciones, desarrollo de aplicaciones y cargas de trabajo esenciales con IA.

  • Eventos

    Los servicios en OCI emiten eventos, que son mensajes estructurados que describen los cambios en los recursos. Los eventos se emiten para las operaciones de creación, lectura, actualización o supresión (CRUD), los cambios de estado del ciclo de vida de los recursos y los eventos del sistema que afectan los recursos en la nube.

  • Logging
    Oracle Cloud Infrastructure Logging es un servicio altamente escalable y totalmente gestionado que proporciona acceso a los siguientes tipos de logs de sus recursos en la nube:
    • Logs de auditoría: logs relacionados con eventos producidos por OCI Audit.
    • Logs de servicio: logs publicados por servicios individuales como OCI API Gateway, OCI Events, OCI Functions, OCI Load Balancing, OCI Object Storage y logs de flujo de VCN.
    • Logs personalizados: logs que contienen información de diagnóstico a partir de aplicaciones personalizadas, otros proveedores de nube o un entorno local.
  • Monitoring

    Oracle Cloud Infrastructure Monitoring supervisa de forma activa y pasiva los recursos en la nube, y utiliza alarmas para notificarle cuando las métricas cumplen los disparadores especificados.

  • OCI Registry

    Oracle Cloud Infrastructure Registry es un servicio gestionado por Oracle que permite simplificar el flujo de trabajo del desarrollo a la producción. Registry facilita su almacenamiento, uso compartido y gestión de artefactos de desarrollo, como imágenes de Docker.

  • Discurso

    Oracle Cloud Infrastructure Speech aprovecha la potencia del lenguaje hablado, lo que le permite convertir fácilmente archivos multimedia que contienen voz humana en transcripciones de texto de alta precisión. Puede acceder mediante la consola, la API de REST, la CLI y el SDK.

  • Flujo de trabajo

    Oracle Cloud Infrastructure Workflow es un motor de flujo de trabajo sin servidor con un diseñador gráfico de flujos para desarrolladores y arquitectos. Acelera la creación, ejecución y orquestación de servicios de OCI, como OCI Functions o AI/ML.

  • Servicio APEX

    Oracle APEX Application Development es una plataforma de desarrollo con poco código que permite crear aplicaciones empresariales escalables, ricas en funciones y seguras que se pueden desplegar en cualquier lugar en el que esté instalado Oracle Database. No es necesario que sea un experto en una amplia gama de tecnologías para ofrecer soluciones sofisticadas. El servicio APEX incluye funciones incorporadas, como temas de interfaz de usuario, controles de navegación, controladores de formulario e informes flexibles, que aceleran el proceso del desarrollo de la aplicación.

  • Gateway de API

    Oracle Cloud Infrastructure API Gateway permite publicar API con puntos finales privados a los que se puede acceder desde la red y que, si es necesario, se pueden exponer a la red pública de Internet. Los puntos finales soportan las validaciones de API, las transformaciones de solicitud y respuesta, CORS, la autenticación y autorización, y la limitación de solicitudes.

  • Volúmenes en bloque de OCI

    Con Oracle Cloud Infrastructure Block Volumes, puede crear, asociar, conectar y mover volúmenes de almacenamiento, y cambiar el rendimiento de los volúmenes para que se ajusten a sus requisitos de almacenamiento, rendimiento y aplicación. Después de asociar y conectar un volumen a una instancia, puede utilizar el volumen como si se tratara de una unidad de disco duro normal. También puede desconectar un volumen y asociarlo a otra instancia sin tener que perder datos.

  • Compute

    Con Oracle Cloud Infrastructure Compute, puede aprovisionar y gestionar hosts informáticos en la nube. Puede iniciar instancias informáticas con unidades que cumplan los requisitos de recursos para CPU, memoria, ancho de banda de red y almacenamiento. Después de crear una instancia informática, puede acceder a ella de forma segura, reiniciarla, asociar y desasociar volúmenes, y terminarla cuando ya no la necesite.

  • Data Science

    Oracle Cloud Infrastructure Data Science es una plataforma totalmente gestionada y sin servidor que los equipos de ciencia de datos pueden utilizar para crear, entrenar y gestionar modelos de aprendizaje automático (ML) en OCI. Se puede integrar fácilmente con otros servicios de OCI, como Oracle Autonomous Data Warehouse, Oracle Cloud Infrastructure Object Storage, etc. Puede crear y evaluar modelos de aprendizaje automático de alta calidad que aumenten la flexibilidad del negocio al poner los datos de confianza de la empresa a trabajar rápidamente, y puede respaldar los objetivos empresariales basados en datos con un despliegue más fácil de modelos de aprendizaje automático. Data Science permite a los científicos de datos e ingenieros de aprendizaje automático utilizar paquetes del repositorio de Anaconda de forma gratuita.

    La función Trabajos de Data Science permite a los científicos de datos definir y ejecutar tareas repetibles de aprendizaje automático en una infraestructura totalmente gestionada.

    La función de despliegue de modelos de Data Science permite a los científicos de datos desplegar modelos entrenados como puntos finales HTTP totalmente gestionados que pueden proporcionar predicciones en tiempo real, infundiendo inteligencia en procesos y aplicaciones y permitiendo que el negocio reaccione a los eventos relevantes a medida que se producen.

  • DevOps

    Oracle Cloud Infrastructure DevOps (operaciones para desarrolladores) es una plataforma completa de integración y entrega continuas (CI/CD) para que los desarrolladores simplifiquen y automatizen su ciclo de vida de desarrollo de software. OCI DevOps permite a los desarrolladores y operadores desarrollar, crear, probar y desplegar software en colaboración. Los desarrolladores y operadores obtienen visibilidad durante todo el ciclo de vida de desarrollo con un historial de confirmación del origen a través de las fases de creación, prueba y despliegue.

  • Funciones

    Oracle Cloud Infrastructure Functions es una plataforma de funciones como servicio (FaaS) totalmente gestionada, multiinquilino, altamente escalable y a demanda. Se basa en el motor de código abierto Fn Project. OCI Functions le permite desplegar su código y llamarlo directamente o dispararlo en respuesta a eventos. OCI Functions utiliza contenedores de Docker alojados en Oracle Cloud Infrastructure Registry.

  • Gestión de identidad y acceso

    Oracle Cloud Infrastructure Identity and Access Management (IAM) proporciona control de acceso de usuario para OCI y Oracle Cloud Applications. La API de IAM y la interfaz de usuario le permiten gestionar los dominios de identidad y los recursos que contienen. Cada dominio de identidad de OCI IAM representa una solución de gestión de identidad y acceso independiente o un grupo de usuarios diferente.

  • Integración

    Oracle Integration es un entorno preconfigurado y totalmente gestionado que permite integrar aplicaciones en la nube y locales, automatizar procesos de negocio y desarrollar aplicaciones visuales. Utiliza un servidor de archivos compatible con SFTP para almacenar y recuperar archivos y permite intercambiar documentos con partners comerciales de empresa a empresa mediante una cartera de cientos de adaptadores y recetas para conectarse con aplicaciones de Oracle y de terceros.

  • Cluster de Kubernetes

    Un cluster de Kubernetes es un juego de máquinas que ejecutan aplicaciones en contenedores. Kubernetes proporciona una plataforma portátil, ampliable y de código abierto para gestionar cargas de trabajo y servicios en contenedores en esos nodos. Un cluster de Kubernetes está formado por nodos de trabajador y nodos de plano de control.

  • Plano de Control de Kubernetes

    Un plano de control de Kubernetes gestiona los recursos para los nodos de trabajador y los pods dentro de un cluster de Kubernetes. Los componentes del plano de control detectan y responden a eventos, programan y mueven recursos del cluster.

    Los siguientes son los componentes del plano de control:
    • kube-apiserver: ejecuta el servidor de API de Kubernetes.
    • etcd: almacén de clave-valor distribuido para todos los datos del cluster.
    • kube-scheduler: determina en qué nodo se ejecutarán los nuevos pods sin asignar.
    • kube-controller-manager: Ejecuta procesos de controlador.
    • cloud-controller-manager: enlaza el cluster con una API específica de la nube.
  • OCI Kubernetes Engine

    Oracle Cloud Infrastructure Kubernetes Engine (OCI Kubernetes Engine o OKE) es un servicio totalmente gestionado, escalable y de alta Disponibilidad que puede utilizar para desplegar aplicaciones de contenedores en la nube. Especifique los recursos informáticos que necesitan sus aplicaciones y OKE los aprovisiona en OCI en un arrendamiento existente. OKE utiliza Kubernetes para automatizar el despliegue, la ampliación y la gestión de aplicaciones en contenedores en clusters de hosts.

  • Nodo de trabajo de Kubernetes

    Un nodo de trabajador de Kubernetes es una máquina de trabajador que ejecuta aplicaciones en contenedores dentro de un cluster de Kubernetes. Cada cluster tiene al menos un nodo de trabajador.

  • Almacenamiento de objetos

    OCI Object Storage proporciona acceso a grandes cantidades de datos estructurados y no estructurados de cualquier tipo de contenido, incluidas copias de seguridad en bases de datos, datos analíticos y contenido enriquecido como imágenes y vídeos. Puede almacenar datos de forma segura y directa desde Internet o desde la plataforma en la nube. Puedes ampliar el almacenamiento sin experimentar ninguna degradación del rendimiento o la fiabilidad del servicio.

    Utilice el almacenamiento estandar para el almacenamiento "caliente" al que debe acceder de forma rápida, inmediata y frecuente. Utilice este tipo de almacenamiento para el almacenamiento "frío" que conserva durante largos períodos de tiempo y a los a los que rara vez accede.

  • Flujo

    Oracle Cloud Infrastructure Streaming proporciona una solución duradera, ampliable y totalmente gestionada para ingerir flujos de datos continuos de elevado volumen a los que puede acceder y procesar en tiempo real. Puede utilizar OCI Streaming para ingerir datos de gran volumen, como registros de aplicación, telemetría operativa, datos de flujos de clics en el web o para otros casos en los que se producen y procesan datos de manera continua y secuencial en un modelo del mensaje de publicación-suscripción.

  • Auditoría

    El servicio Oracle Cloud Infrastructure Audit registra automáticamente las llamadas a todos los puntos finales de la interfaz pública de programación de aplicaciones (API) de OCI soportados como eventos de log. Todos los servicios de OCI soportan el registro de Oracle Cloud Infrastructure Audit.

  • IA generativa

    Oracle Cloud Infrastructure Generative AI es un servicio OCI totalmente gestionado que proporciona un conjunto de modelos de lenguaje grandes (LLM) personalizables y de última generación que abarcan una amplia gama de casos de uso para la generación de texto, el resumen, la búsqueda semántica y mucho más. Utiliza el patio de recreo para probar los modelos preentrenados listos para usar, o crea y aloja tus propios modelos personalizados ajustados basados en tus propios datos en clusters de IA dedicados.

  • Equilibrador de carga

    Oracle Cloud Infrastructure Load Balancing proporciona la distribución automatizada de tráfico desde un único punto a varios servidores.

  • Gateway de traducción de direcciones de Red (NAT)

    Un gateway de NAT permite que los recursos privados de una VCN accedan a los hosts de Internet, sin exponer dichos recursos a conexiones de Internet entrantes.

  • IA generativa

    Oracle Cloud Infrastructure Generative AI es un servicio OCI totalmente gestionado que proporciona un conjunto de modelos de lenguaje grandes (LLM) personalizables y de última generación que abarcan una amplia gama de casos de uso para la generación de texto, el resumen, la búsqueda semántica y mucho más. Utiliza el patio de recreo para probar los modelos preentrenados listos para usar, o crea y aloja tus propios modelos personalizados ajustados basados en tus propios datos en clusters de IA dedicados.

  • Digital Assistant

    Oracle Digital Assistant es una plataforma que permite crear y desplegar asistentes digitales para sus usuarios. Con Oracle Digital Assistant, puedes crear interfaces (o bots conversacionales) basadas en IA para aplicaciones empresariales a través de interfaces de texto, chat y voz. Cada asistente digital cuenta con una recopilación de una o más aptitudes especializadas para ayudar a los usuarios a realizar una variedad de tareas en conversaciones en lenguaje natural. Por ejemplo, un asistente digital individual puede tener aptitudes que se centren en tipos específicos de tareas, como el seguimiento del inventario, el envío de fichas de horas y la creación de informes de gastos.

  • Política

    Una política de Oracle Cloud Infrastructure Identity and Access Management especifica quién puede acceder a qué recursos y cómo. El acceso se otorga en los niveles de grupo y compartimento, lo que significa, que puede escribir una política que proporcione un tipo específico de acceso a un grupo en un compartimento específico o al arrendamiento.

  • Zona de seguridad

    Las zonas de seguridad implantan las mejores prácticas clave de seguridad de Oracle al aplicar políticas para un compartimento completo, como el cifrado de datos y la prevención del acceso público a las redes. Una zona de seguridad está asociada a un compartimento con el mismo nombre e incluye políticas de zona de seguridad (una receta) que se aplican al compartimento y sus subcompartimentos. No puede agregar ni mover un compartimento estándar a un compartimento del área de seguridad.

Recomendaciones

Garantiza el éxito, la escalabilidad y la sostenibilidad de la plataforma de IA empresarial basada en OCI, con un enfoque en el desarrollo de LLM de autoservicio, MLOps, la optimización de GPU y la integración empresarial.

  • Gobernanza de plataformas y estrategias
    • Cree un centro de excelencia multifuncional dedicado para que la IA rija:
      • Mejores prácticas para la formación y el despliegue de LLM
      • Asignación de recursos y gestión de cuotas
      • Seguridad, cumplimiento y uso ético de la IA
    • Evita la expansión incontrolada de recursos activando cuotas y políticas de etiquetado en OCI para garantizar la trazabilidad y la responsabilidad de costos entre departamentos y equipos.
  • Eficiencia de recursos y programación de GPU
    • Combina el MIG de NVIDIA para optimizar el uso de GPU. Asigne GPU fraccionadas por trabajo o usuario para aumentar la utilización y reducir los costos.
    • Solución de fraccionamiento de GPU:
      • La GPU de varias instancias (MIG) es una función disponible en las GPU A100 y H100 de NVIDIA que permite la partición de una única GPU física en varias instancias (o segmentos) aisladas de hardware, conocidas como instancias de GPU.

        Cada instancia funciona como una GPU independiente con su propia:

        • Memoria Dedicada
        • Núcleos de cálculo
        • Ancho de banda de memoria y caché

        Esto permite a los equipos ejecutar varias cargas de trabajo de IA simultáneamente en una sola GPU con rendimiento predecible y aislamiento a nivel de hardware.

        OCI Kubernetes Engine (OKE) está configurado para soportar la programación compatible con MIG, lo que permite:

        • Cada pod solicita una instancia de MIG específica (por ejemplo, 1/7 de A100).
        • El programador de Kubernetes para asignar de forma inteligente los segmentos de GPU disponibles en función de las solicitudes.
        • Instancias MIG que se expondrán mediante el plugin de dispositivo NVIDIA y la detección de funciones de nodo, lo que garantiza que OKE las pueda detectar y planificar.
        • Las GPU activadas para MIG (por ejemplo, A100 o H100) se despliegan en instancias con hardware dedicado de OCI o como nodos de trabajador de OKE.
        • OKE maneja cargas de trabajo de IA en contenedores con programación adaptada a MIG.
    • Perfil de MIG Fracción de segmento Memoria Dedicada Apto para...
      1g.5gb 1/7 5 GB Inferencia ligera, pruebas
      2g.10gb 2/7 10 GB Ajustar modelos más pequeños
      3g.20gb 3/7 20 GB Modelos de tamaño mediano
      7g.40gb GPU completa 40 GB Formación a gran escala
    • Utilice OCI Monitoring para evitar cuellos de botella en fases de alta demanda (por ejemplo, sprints de entrenamiento de modelos).
  • Ciclo de vida del modelo y automatización
    • Estandarice la integración y el despliegue continuos mediante el despliegue de modelos a través de pipelines de OCI DevOps integrados con Git y Container Registry para automatizar:
      • Empaquetado de modelos
      • Prueba y validación
      • Despliegue en OKE o Functions
    • Incluya pasos de rollback y validación mediante la incorporación de pruebas A/B, despliegues canarios y lógica de rollback para evitar regresiones en el comportamiento del modelo.
  • Arquitectura de datos
    • Implementa Oracle Database 23ai para almacenar incrustaciones y habilitar la búsqueda semántica a través de Oracle AI Vector Search. Combinarlo con:
      • OCI Object Storage para documentos
      • OCI Functions para la orquestación de recuperación
    • Mantenga la frescura del vector mediante la recomputación y actualización de incrustaciones regularmente cuando cambien los documentos de origen para garantizar la precisión de la salida de RAG.
  • Seguridad, conformidad y observabilidad
    • Aplique la segmentación basada en IAM mediante políticas, compartimentos y grupos de OCI IAM para definir límites claros entre los entornos de desarrollo, prueba y producción.
    • Registre y audite cada acción crítica activando los logs de OCI Logging, OCI Monitoring y OCI Audit para todos los componentes críticos (OKE, Functions, Storage, nodos de GPU).
  • Integración multinube e híbrida
    • Utilice OCI FastConnect, gateway de servicio y puntos finales privados para garantizar una integración segura y de alta velocidad con servicios de IA locales y de terceros (por ejemplo, Azure OpenAI, AWS Bedrock).
    • Evite la exposición a la red pública de Internet para cargas de trabajo confidenciales. Utilice subredes privadas, gateways de NAT y autenticación de servicio a servicio siempre que sea posible.
  • Enamblement de autoservicio para desarrolladores
    • Proporciona plantillas y API iniciales seleccionadas ofreciendo un juego de OCI Functions, pipelines de OCI DevOps y plantillas de bloc de notas para incorporar nuevos usuarios de forma rápida y segura en el entorno de autoservicio.
    • Equilibre la autonomía con salvaguardas al empoderar a los usuarios al tiempo que mantiene el control a través de políticas, cuotas y mejores prácticas compartidas para el desarrollo responsable de modelos.

Consideraciones

Tenga en cuenta los siguientes puntos al desplegar esta arquitectura de referencia.

  • Rendimiento
    • Despliegue instancias de GPU de alto rendimiento, como A100, H100, H200, B200 y GB200, adaptadas a los requisitos de carga de trabajo específicos, incluidos el entrenamiento, la inferencia y la IA distribuida a gran escala.
    • Aproveche los clusters de GPU activados para RDMA para cargas de trabajo distribuidas de gran ancho de banda y baja latencia.
    • Controle de forma continua el uso de los recursos para mitigar la contención de forma proactiva.
  • Seguridad
    • Implantar la compartimentación y las subredes privadas para aislar diferentes entornos operativos.
    • Aplique controles de acceso estrictos mediante OCI IAM e IDCS.
    • Mantenga registros completos y pistas de auditoría para todas las operaciones significativas.
  • Disponibilidad
    • Distribuya recursos esenciales entre varios dominios de errores para garantizar la tolerancia a los fallos.
    • Utilice OCI Kubernetes Engine (OKE) con escala automática para mantener la elasticidad.
    • Valide las estrategias de copia de seguridad, recuperación y replicación de datos para lograr los objetivos de continuidad del negocio.
  • Costo
    • Maximice la eficiencia de la utilización de la GPU mediante la fraccionalización de MIG de NVIDIA.
    • Implante estrategias de almacenamiento por niveles aprovechando las políticas de ciclo de vida de OCI Object Storage.
    • Use el etiquetado a nivel de proyecto y las cuotas de presupuesto para mantener la responsabilidad financiera.
  • Integración y despliegue
    • Estandariza los flujos de trabajo de integración y despliegue continuos con OCI DevOps para optimizar y automatizar el ciclo de vida del modelo.
    • Garantiza prácticas coherentes de integración multinube utilizando OCI FastConnect y gateways de enrutamiento dinámico (DRG) para flujos de datos seguros.
  • Gestión de los datos
    • Gestione y refresque de forma regular las integraciones semánticas en Oracle Database 23ai para una recuperación precisa.
    • Clasifique el almacenamiento según los patrones de uso de datos (estándar frente a archivo).
  • Adopción y gestión de usuarios
    • Proporcione recursos de vinculación estructurados para acelerar la adopción del autoservicio.
    • Evalúe continuamente los entornos de autoservicio y ajuste las políticas para equilibrar la libertad de los usuarios con la gobernanza operativa.

Explorar más

Obtén más información sobre cómo OCI potencia soluciones de IA generativa escalables, seguras y listas para la empresa.

Revise estos recursos adicionales:

Acuses de recibo

  • Autores: Diego Mariano, Diogo Santiago
  • Contributors: Douglas Silva, John Sulyok