Implementación de una plataforma de gestión de API para modelos y servicios de IA empresarial
Es probable que tu organización haya implementado la IA, si es así, es probable que te encuentres entre las muchas organizaciones que luchan por aplicar la seguridad a nivel empresarial y estandarizar los procesos al crear aplicaciones sobre modelos de IA privados y públicos.
El consumo de modelos de IA puede plantear desafíos comunes para las organizaciones de todos los sectores, incluidos:
- Complejidad de integración: la gestión de integraciones punto a punto entre aplicaciones y modelos de IA a menudo genera complejidad cuando las organizaciones desean adoptar diferentes modelos.
- Estandarización de la seguridad: implementar medidas de seguridad consistentes en diferentes modelos de IA resulta ser un desafío importante.
- Control de acceso: la aplicación del control de acceso basado en roles a las API de modelo de IA basadas en roles y responsabilidades de usuario puede ser difícil de gestionar de forma eficaz.
- Monetización: creación de modelos de IA que carecen de capacidades de monetización si los modelos se ponen a disposición de consumidores externos.
- Consumo y Resource Management: definición de cuotas para suscriptores para limitar el consumo de modelos de IA.
- Limitación: limitación y limitación de frecuencia de las API del modelo de IA.
- Supervisión: capacidades de supervisión y seguimiento para visualizar el consumo de API de modelo de IA.
Esta arquitectura describe una solución para ayudar a los clientes a aprovechar las funciones de Oracle Cloud Infrastructure API Gateway y otros servicios de OCI para abordar estos desafíos en una solución de IA.
Arquitectura
Esta arquitectura utiliza OCI API Gateway como middleware para gestionar la integración punto a punto entre los modelos de IA y otros servicios de OCI. Utilice esta arquitectura para casos de uso de IA que requieren flujos de seguridad de nivel empresarial y estandarización de procesos.
Seguridad estandarizada
Muchos modelos de IA fundamentales y otros servicios de IA utilizan diferentes mecanismos de autenticación, como OAuth 2.0, Open ID, JWT, etc. OCI API Gateway puede ayudar a estandarizar la autenticación de API para modelos de IA.
Capa de virtualización o abstracción
Como la mayoría de las organizaciones empresariales modernas aprovechan los últimos modelos de IA de diferentes proveedores que se especializan en dominios específicos, el consumo de modelos de IA directamente desde las aplicaciones puede crear complejidad de integración punto a punto. El gateway de API de OCI se utiliza como capa de virtualización de servicios para facilitar el cambio de un modelo de IA a otro.
OCI API Gateway y OCI Vault pueden abstraer las credenciales de API del modelo de IA de los consumidores, mientras que las credenciales del modelo de IA se almacenan en OCI Vault. Los consumidores acceden a los puntos finales de OCI API Gateway con credenciales de cliente generadas a partir de aplicaciones confidenciales creadas para ese consumidor. Gateway de API de OCI autentica a los usuarios con credenciales de cliente y, en la autenticación correcta, Gateway de API de OCI recupera las credenciales de API de modelo de OCI Vault para llamar al punto final de API de modelo de backend.
Control y control de acceso
OCI API Gateway puede aplicar un control de acceso granular en las API de modelo de IA para otorgar acceso a la API en función del dominio, rol o responsabilidad del consumidor. Los despliegues de OCI API Gateway permiten API de empaquetado basadas en dominio para permitir a los consumidores solicitar la suscripción a despliegues específicos. Las funciones de limitación y limitación de frecuencia de OCI API Gateway ayudan a controlar el uso y el rendimiento de los modelos de IA.
Control de costos
Los planes de uso y las cuotas se pueden aprovechar para controlar de manera eficaz los costos de consumo del modelo de IA. Los planes de uso le permiten crear diferentes niveles de plan que se pueden asignar a los consumidores en función de la prioridad y el valor de negocio. Para las empresas que ponen a disposición de sus equipos servicios de IA de terceros, los planes de uso pueden garantizar que el uso de los empleados se rija y supervise para evitar incurrir en grandes costos.
OCI Cache with Redis se puede integrar con OCI API Gateway para reducir costos y mejorar el rendimiento de las API de modelo de IA almacenando en caché solicitudes frecuentes y descargando las solicitudes de inferencia en los modelos.
Registro y supervisión
El panel de control de informes listo para usar de OCI API Gateway ayuda a las empresas a obtener información sobre el uso y el rendimiento del modelo de IA e identifica oportunidades de ahorro de costos.
Puede transmitir logs a Oracle Cloud Infrastructure Logging Analytics para solucionar problemas, supervisar el comportamiento de consumo del modelo de IA, generar informes personalizados para supervisar el consumo de recursos y tomar decisiones informadas sobre las inversiones futuras de la cartera de IA de su organización. Los registros se pueden transmitir a los sistemas de facturación si las organizaciones desean monetizar modelos de IA ajustados.
OCI API Gateway puede emitir métricas a OCI Monitoring, donde las métricas de plan de uso se pueden utilizar para supervisar a los clientes de mayor consumo y otras dimensiones para solucionar problemas de despliegue y problemas de OCI API Gateway.
Red
Se puede acceder a OCI API Gateway desde la red pública de Internet y mediante una conexión de red privada.
Los usuarios y las aplicaciones desde Internet pueden acceder al gateway de API de OCI en una subred pública al frente del gateway de Internet.
Los usuarios y las aplicaciones locales pueden acceder a OCI API Gateway en una subred privada a través de OCI FastConnect o VPN. Las aplicaciones de Microsoft Azure o Google Cloud pueden acceder a OCI API Gateway en una subred privada a través de la interconexión de Oracle correspondiente para Microsoft Azure u Oracle Interconnect para Google Cloud.
En el siguiente diagrama se ilustra la arquitectura.
api-gateway-ai-architecture.zip
En el siguiente diagrama se ilustra el flujo de trabajo entre el gateway de API de OCI, los modelos de IA y otros servicios de Oracle:
El flujo de trabajo se asemeja a lo siguiente:
- Los consumidores de IA desde Internet se conectan a las API de servicio de IA a través del gateway de API. Los consumidores incluyen aplicaciones web y móviles creadas con cualquier tecnología de interfaz de usuario, como Oracle Visual Builder, Oracle Analytics Cloud y la aplicación Embedded Visual Builder Cloud Service dentro de Oracle SaaS. Los consumidores locales pueden establecer un túnel seguro de alto rendimiento entre OCI y los centros de datos locales que permita a los consumidores locales acceder a modelos de IA sin utilizar Internet.
- OCI API Gateway está integrado con OCI Identity and Access Management para la autenticación a fin de lograr una aplicación de seguridad estandarizada a través de OAuth 2.0 y la autenticación básica.
- OCI Vault almacena las credenciales de API del modelo de IA de forma segura y puede abstraer las credenciales de API de backend de los consumidores.
- Transmite los logs de OCI API Gateway a OCI Logging para retener logs más tiempo y crear informes a través de análisis de registro para generar estadísticas.
- Integre con OCI Cache with Redis para ayudar a reducir costos y mejorar el rendimiento de las API de modelo de IA mediante el almacenamiento en caché de solicitudes frecuentes.
- OCI Functions se puede utilizar como envoltorio en torno a modelos de IA que no tienen puntos finales de REST. OCI Functions soporta la implantación desde diferentes lenguajes como Python, Java, Node, Go, Ruby y C#.
- Integre OCI API Gateway con servicios de IA directamente si el servicio de IA expone puntos finales de REST.
- Oracle Integration Cloud Service puede implantar transformaciones complejas o implantar lógica de orquestación antes de devolver la salida de inferencia a los consumidores.
La arquitectura tiene los siguientes componentes:
- Región
Una región de Oracle Cloud Infrastructure es un área geográfica localizada que contiene uno o más centros de datos, denominados dominios de disponibilidad. Las regiones son independientes entre sí y puede haber grandes distancias que las separen (entre países e incluso continentes).
- Dominios de disponibilidad
Los dominios de disponibilidad son centros de datos independientes dentro de una región. Los recursos físicos de cada dominio de disponibilidad están aislados de los recursos de los otros dominios de disponibilidad, lo que proporciona tolerancia a fallos. Los dominios de disponibilidad no comparten infraestructura, como la alimentación o la refrigeración, ni la red interna del dominio de disponibilidad. Por lo tanto, un fallo en un dominio de disponibilidad no debería afectar a los otros dominios de disponibilidad de la región.
- Dominios de errores
Un dominio de errores es una agrupación de hardware e infraestructura dentro de un dominio de disponibilidad. Cada dominio de disponibilidad cuenta con tres dominios de errores con energía y hardware independientes. Al distribuir los recursos entre varios dominios de errores, las aplicaciones pueden tolerar fallos físicos del servidor, mantenimiento del sistema y fallos de energía en un dominio de errores.
- Red y subredes virtuales en la nube (VCN)
Una VCN es una red personalizable y definida por software que puede configurar en una región de Oracle Cloud Infrastructure. Al igual que las redes de los centros de datos tradicionales, las redes virtuales le proporcionan el control de su entorno de red. Una VCN puede tener varios bloques de CIDR no superpuestos que puede cambiar después de crear la VCN. Puede segmentar una VCN en subredes, las cuales se pueden acotar a una región o a un dominio de disponibilidad. Cada subred está formada por un rango contiguo de direcciones que no se solapan con las demás subredes de la VCN. Puede cambiar el tamaño de una subred después de la creación. Una subred puede ser pública o privada.
- Gateway de API
Oracle API Gateway permite publicar API con puntos finales privados accesibles desde la red y que se pueden exponer a la red pública de Internet si es necesario. Los puntos finales admiten la validación de API, la transformación de solicitud y respuesta, CORS, la autenticación y autorización, y la limitación de solicitudes.
- Functions
Oracle Cloud Infrastructure Functions es una plataforma de funciones como servicio (FaaS) totalmente gestionada, multi-inquilino, altamente escalable y bajo demanda. Se basa en el motor de origen abierto Fn Project. Las funciones le permiten desplegar el código y llamarlo directamente o dispararlo en respuesta a eventos. Oracle Functions utiliza contenedores de Docker alojados en Oracle Cloud Infrastructure Registry.
- Caché con Redis
Oracle Cloud Infrastructure Cache with Redis es una solución de almacenamiento en caché completa y gestionada en memoria basada en Redis de código abierto. Este servicio totalmente gestionado acelera las lecturas y escrituras de datos, lo que mejora significativamente los tiempos de respuesta de las aplicaciones y el rendimiento de la base de datos para proporcionar una experiencia de cliente mejorada.
- Integración
Oracle Integration es un servicio totalmente gestionado que permite integrar las aplicaciones, automatizar procesos, obtener información detallada de los procesos de su negocio y crear aplicaciones visuales.
- Vault
Oracle Cloud Infrastructure Vault permite gestionar de forma central las claves de cifrado que protegen los datos y las credenciales secretas que utiliza para proteger el acceso a los recursos en la nube. Puede utilizar el servicio Vault para crear y gestionar almacenes, claves y secretos.
- LoggingLogging es un servicio altamente escalable y totalmente gestionado que proporciona acceso a los siguientes tipos de logs de sus recursos en la nube:
- Logs de auditoría: logs relacionados con eventos emitidos por el servicio de auditoría.
- Logs de servicios: logs emitidos por servicios individuales como API Gateway, eventos, funciones, equilibrio de carga, Object Storage y logs de flujo de VCN.
- Logs personalizados: logs que contienen información de diagnóstico de aplicaciones personalizadas, otros proveedores de nube o un entorno local.
- Monitoring
El servicio Oracle Cloud Infrastructure Monitoring supervisa de forma activa y pasiva los recursos en la nube mediante métricas para supervisar recursos y alarmas para notificarle cuando estas métricas cumplen los disparadores especificados por la alarma.
- Identity and Access Management (IAM)
Oracle Cloud Infrastructure Identity and Access Management (IAM) es el plano de control de acceso para Oracle Cloud Infrastructure (OCI) y Oracle Cloud Applications. La API de IAM y la interfaz de usuario le permiten gestionar los dominios de identidad y los recursos dentro del dominio de identidad. Cada dominio de identidad de OCI IAM representa una solución independiente de gestión de identidad y acceso o una población de usuarios diferente.
- Política
Una política de Oracle Cloud Infrastructure Identity and Access Management especifica quién puede acceder a qué recursos y de qué modo. El acceso se otorga en el nivel de grupo y compartimento, lo que significa que puede escribir una política que proporcione a un grupo un tipo específico de acceso dentro de un compartimento específico o al arrendamiento.
- Caché con Redis
Oracle Cloud Infrastructure Cache with Redis es una solución de almacenamiento en caché completa y gestionada en memoria basada en Redis de código abierto. Este servicio totalmente gestionado acelera las lecturas y escrituras de datos, lo que mejora significativamente los tiempos de respuesta de las aplicaciones y el rendimiento de la base de datos para proporcionar una experiencia de cliente mejorada.
- Visión
Oracle Cloud Infrastructure Vision es un servicio de IA para realizar análisis de imágenes basados en aprendizaje profundo a escala. Con modelos predefinidos disponibles listos para usar, los desarrolladores pueden crear fácilmente reconocimiento de imágenes y reconocimiento de texto en sus aplicaciones sin experiencia en aprendizaje automático (ML).
- IA generativa
Oracle Cloud Infrastructure Generative AI es un servicio OCI totalmente gestionado que proporciona un conjunto de modelos de lenguaje grandes (LLM) personalizables y de última generación que abarcan una amplia gama de casos de uso para la generación de texto, resúmenes, búsqueda semántica y mucho más. Utilice el patio de recreo para probar los modelos preentrenados listos para usar, o crear y alojar sus propios modelos personalizados de ajuste basados en sus propios datos en clusters de IA dedicados.
- Análisis de documentos
Document Understanding de Oracle Cloud Infrastructure es un servicio de IA que permite realizar análisis de documentos basados en el aprendizaje profundo a escala. Con los modelos predefinidos disponibles listos para usar, los desarrolladores pueden crear fácilmente el procesamiento inteligente de documentos en sus aplicaciones sin experiencia en machine learning (ML).
- Digital Assistant
Oracle Digital Assistant es una plataforma que permite crear y desplegar asistentes digitales para sus usuarios. Con Oracle Digital Assistant, puede crear interfaces basadas en inteligencia artificial (o bots conversacionales) para aplicaciones empresariales a través de interfaces de texto, chat y voz. Cada asistente digital tiene una recopilación de una o más aptitudes especializadas para ayudar a los usuarios a realizar diversas tareas en conversaciones en lenguaje natural. Por ejemplo, un asistente digital individual puede tener aptitudes que se centren en tipos específicos de tareas, como el seguimiento del inventario, el envío de fichas de horas y la creación de informes de gastos.
- Oracle Database 23ai
Oracle Database 23ai aporta el poder de la IA a los datos y aplicaciones empresariales. La búsqueda vectorial de Oracle AI permite buscar fácilmente documentos, imágenes y datos relacionales almacenados en bases de datos esenciales en función de su contenido conceptual.
- Oracle Autonomous Database Select AI
Oracle Autonomous Database Select AI permite a Oracle Autonomous Database utilizar IA generativa con modelos de lenguaje grandes (LLM) para convertir la entrada del usuario en Oracle SQL. Oracle Autonomous Database Select AI procesa la petición de datos en lenguaje natural, complementa la petición de datos con metadatos y, a continuación, genera y ejecuta una consulta SQL.
- IA general de Oracle HeatWave
Oracle HeatWave Gen AI con almacén de vectores se puede utilizar para una implementación de generación aumentada de recuperación (RAG) para mejorar la precisión y el rendimiento de los modelos de IA.
Consideraciones
Al implantar OCI API Gateway para la gestión de API de modelo de IA, tenga en cuenta lo siguiente:
- Seguridad
Los modelos de IA utilizan grandes cantidades de datos empresariales. Los equipos de control deben garantizar que las medidas de seguridad gestionen los datos mediante la aplicación de enmascaramiento, cifrado y controles de acceso.
- Condiciones de uso y licencias del modelo de IA
Los modelos de IA de terceros vienen con sus propias licencias y términos de acuerdo. Los equipos de gobernanza de IA deben conocer las condiciones de uso legales para garantizar el cumplimiento al exponer modelos a través de OCI API Gateway.
Explorar más
Obtén más información sobre la infraestructura de IA de OCI y el gateway de API de OCI.
Revise estos recursos adicionales:
OCI AI
- Infraestructura de IA de OCI
- IA generativa de OCI
- Creación de aplicaciones con tecnología LLM mediante OCI Generative AI
OCI
- Visión general de gateway de API
- Marco de mejores prácticas para Oracle Cloud Infrastructure
- Estimador de costos de Oracle Cloud
Multinube