Despliegue de modelo

Siga estos pasos para desplegar modelos con acciones rápidas de IA.

Creación de despliegue de modelo

Puede crear un despliegue de modelo a partir de los modelos básicos con la etiqueta Listo para desplegar en el explorador de modelos o con modelos ajustados. Al crear un despliegue de modelo en acciones rápidas de IA, está creando un despliegue de modelo de OCI Data Science, que es un recurso gestionado en el servicio OCI Data Science. Puede desplegar el modelo como puntos finales HTTP en OCI.

Debe tener la política necesaria para utilizar el despliegue del modelo de Data Science. Puede seleccionar la unidad de computación para el despliegue del modelo. Puede configurar el registro para supervisar el despliegue del modelo. El registro es opcional, pero se recomienda encarecidamente que ayude a solucionar errores con el despliegue del modelo. Debe tener la política necesaria para activar el registro. Consulte Logs de despliegue de modelo para obtener más información sobre los logs. En la opción avanzada, puede seleccionar el número de instancias que desea desplegar y el ancho de banda del equilibrador de carga.

Consulte Despliegue de modelos en GitHub para obtener más información y consejos sobre el despliegue de modelos.

Nota

Para acceder a despliegues de modelo mediante puntos finales privados, cree una sesión de bloc de notas con el tipo de red definido en redes personalizadas. La salida personalizada debe residir en la misma VCN y subred que el recurso de punto final privado.

Puede desplegar modelos mediante tres opciones en la página Desplegar modelo:
- Desplegar un solo modelo: despliegue un modelo en una unidad de computación.
- Desplegar varios modelos: despliegue varios modelos en una única instancia informática.
- Desplegar pila de modelos: despliegue un modelo base y varias variantes ajustadas como una pila en una sola unidad de computación.
En esta sección, se describe cada opción de despliegue.
1. Navegue hasta Model Explorer.
2. Seleccione la tarjeta de modelo para el modelo que desea desplegar.
3. Seleccione Desplegar para desplegar el modelo. Se muestra la página Desplegar modelo con las tres opciones. Siga los pasos en función del modelo seleccionado:
4. Desplegar modelo único:
  
  Asigne un nombre al despliegue.
  
  Seleccione una forma de cálculo.
  
  (Opcional) Seleccione un grupo de registros.
  
  (Opcional) Seleccione un registro de predicción y acceso.
  
  (Opcional) Seleccione un punto final público privado.
  Nota
  
  Se debe crear un punto final privado como requisito para el recurso de despliegue de modelo.
  La función de punto final privado para el despliegue de modelos solo está activada en el dominio OC1. Para otros dominios, cree una solicitud de servicio para Data Science.
  La lista para seleccionar y utilizar un punto final privado en el despliegue del modelo solo aparece en la consola si existe un punto final privado en el compartimento.
  
  Seleccione Mostrar Opciones Avanzadas.
  
  Actualice el recuento de instancias y el ancho de banda del equilibrador de carga.
  
  (Opcional) En Contenedor de inferencias, seleccione un contenedor de inferencias.
  
  (Opcional) Seleccione Modo de inferencia.
  
  Seleccione Desplegar.
5. Desplegar varios modelos: solo está soportado el contenedor vLLM. Los modelos gestionados por servicio se pueden combinar en un solo despliegue.
  
  Introduzca un nombre para el despliegue.
  
  Seleccione los modelos que desea desplegar.
  
  Seleccione una unidad de computación adecuada para los modelos.
  
  (Opcional) Configure grupos de logs, prediga y acceda a logs o puntos finales privados.
  
  Seleccione Mostrar Opciones Avanzadas.
  
  Actualice el recuento de instancias y el ancho de banda del equilibrador de carga.
  
  (Opcional) En Contenedor de inferencias, seleccione un contenedor de inferencias.
  
  (Opcional) Seleccione Modo de inferencia.
  
  Seleccione Desplegar.
6. Desplegar pila de modelos: solo está soportado el contenedor vLLM.
  
  Introduzca un nombre para el despliegue.
  
  Seleccione el modelo base.
  
  Seleccione los pesos o las variantes ajustados.
  
  Seleccione una unidad de computación.
  
  (Opcional) Configure grupos de logs, prediga y acceda a logs o puntos finales privados.
  Se recomienda el registro para realizar un seguimiento de las operaciones de despliegue y solucionar problemas.
  
  Seleccione Mostrar Opciones Avanzadas.
  
  Actualice el recuento de instancias y el ancho de banda del equilibrador de carga.
  
  (Opcional) En Contenedor de inferencias, seleccione un contenedor de inferencias.
  
  (Opcional) Seleccione Modo de inferencia.
  
  Seleccione Desplegar.
7. En Acciones rápidas de IA, seleccione Despliegues.
  Se muestra la lista de despliegues de modelo. Para el despliegue anterior creado, espere a que el estado del ciclo de vida pase a ser Activo antes de hacer clic en él para utilizarlo.
8. Desplácese para mostrar la ventana de inferencia.
9. Introduzca texto en Petición de datos para probar el modelo.
10. (Opcional) Ajuste los parámetros del modelo según corresponda.
11. Seleccione Generate (Generar).
  La salida se muestra en Respuesta.
Para obtener una lista completa de parámetros y valores para los comandos de la CLI de acciones rápidas de AI, consulte AI Quick Actions CLI.
Esta tarea no se puede realizar con la API.

Invocar despliegue de modelo en acciones rápidas de IA

Puede llamar al despliegue de modelos en acciones rápidas de IA desde la CLI o el SDK de Python.

Para obtener más información, consulte la sección sobre consejos para el despliegue de modelos en GitHub.

Artefactos de modelos

Dónde encontrar artefactos de modelo.

Cuando se descarga un modelo en una instancia de despliegue de modelo, se descarga en la carpeta /opt/ds/model/deployed_model/<object_storage_folder_name_and_path> .

Uso de despliegues de modelo en Autonomous Database Select AI

Puede hacer que los despliegues de modelos creados con acciones rápidas de IA estén disponibles para consultas de lenguaje natural con Oracle Autonomous Database Select AI.

Requisitos previos

Despliegue de modelos finalizado y OCID de despliegue de modelos.
Instancia de Autonomous Database con la opción Select AI activada. Consulte Seleccionar IA con Autonomous Database.
Permisos necesarios de Oracle Cloud Infrastructure (OCI) para crear credenciales y perfiles.

En la instancia de Autonomous Database, cree una credencial para acceder al despliegue del modelo.
```
BEGIN
    DBMS_CLOUD.create_credential(
        credential_name   => '<CREDENTIAL_NAME>',
        user_ocid         => '<USER_OCID>',
        tenancy_ocid      => '<TENANCY_OCID>',
        private_key       => '<PRIVATE_KEY>',
        fingerprint       => '<FINGERPRINT>'
    );
END;
/
```
Sustituya cada marcador de posición por valores específicos:
- <CREDENTIAL_NAME>: nombre de la credencial
- <USER_OCID>: OCID de usuario de OCI
- <TENANCY_OCID>: OCID de arrendamiento de OCI
- <PRIVATE_KEY>: clave privada de API en formato PEM
- <FINGERPRINT>: huella de clave pública de API
Consulte Gestión de Credenciales para obtener más información.
Cree un perfil Select AI para conectar la base de datos autónoma a su modelo desplegado.
```
BEGIN
    DBMS_CLOUD_AI.CREATE_PROFILE(
        profile_name => '<PROFILE_NAME>',
        attributes => '
{
  "credential_name": "<CREDENTIAL_NAME>",
  "model": "<MODEL_NAME>",
  "provider": "openai",
  "provider_endpoint": "<MODEL_DEPLOYMENT_OCID>",
  "conversation": "",
  "object_list": [
    {"owner": "ADMIN", "name": "customers"}
  ]
}'
    );
END;
/
```
Sustituya los marcadores de posición:
- <PROFILE_NAME>: nombre del perfil.
- <CREDENTIAL_NAME>: nombre de la credencial del paso 1.
- <MODEL_NAME>: nombre del modelo desplegado (por ejemplo, odsc_2025llm).
- <MODEL_DEPLOYMENT_OCID>: OCID de Despliegue de Modelo.
- Actualice "object_list" para reflejar el esquema y la tabla que desea exponer.

Documentación de Oracle Cloud Infrastructure

Despliegue de modelo

Creación de despliegue de modelo

Invocar despliegue de modelo en acciones rápidas de IA

Artefactos de modelos

Uso de despliegues de modelo en Autonomous Database Select AI