Importación de modelos ajustados
Prepare un modelo que haya ajustado fuera de OCI Generative AI para la importación y, a continuación, lo aloje en un cluster de IA dedicado.
Puede importar una versión ajustada de un modelo base compatible de Hugging Face en OCI Generative AI. Cargue los archivos de modelo completos en un cubo de Object Storage o en un repositorio de Hugging Face y, a continuación, siga los pasos estándar de importación y alojamiento para desplegar el modelo en un cluster de AI dedicado.
Buscar la información que necesita:
Modelos y hardware
- ¿Qué modelos de ajuste puedo importar?
-
Puede importar una versión ajustada de un modelo que se muestra en Modelos compatibles para importación. Su página model-family muestra los requisitos y el hardware compatible.
La exportación ajustada debe conservar una arquitectura compatible, cumplir con el requisito de versión de Transformers del modelo base y tener un recuento total de parámetros dentro de ±10% del modelo base original. Este recuento incluye todo el modelo, no solo los parámetros del adaptador entrenable.
Para la adaptación de bajo rango (LoRA), fusione un adaptador en el modelo base antes de la importación. Cada modelo de ajuste importado puede contener los pesos fusionados de un solo adaptador LoRA.
- ¿Qué hardware puedo utilizar para mi modelo ajustado?
-
Utilice las mismas opciones de hardware compatibles que el modelo base. Las tablas de familia de modelos muestran la unidad mínima para cada familia de hardware soportada. Seleccione una unidad compatible igual o superior a ese mínimo entre las opciones disponibles en su región. Consulte Unidades de unidad de hardware por región.
Por ejemplo, Modelos de Alibaba compatibles muestra
H100_X1como la unidad H100 mínima paraQwen/Qwen3.8-27B. También puede seleccionarH100_X2cuando se ofrece como opción compatible. - ¿Puedo ajustar un modelo importado dentro de la IA generativa?
-
OCI Generative AI no ajusta los modelos importados. Ajustar los modelos preentrenados soportados del servicio es un flujo de trabajo independiente. El único modelo disponible para el ajuste en el servicio es el modelo estándar Meta Llama 3.3 (70B) en las regiones comerciales soportadas (OC1). Consulte Ajuste de los modelos base en la IA generativa.
Para entrenar en OCI, consulta Ajuste con las acciones rápidas de IA de OCI Data Science para conocer sus modelos y requisitos soportados. Un modelo entrenado en otro servicio aún debe cumplir con los requisitos de importación de IA generativa.
Pesos de fusión y exportación de LoRA
- ¿Cómo puedo convertir un adaptador LoRA en un modelo importable?
-
Fusione el adaptador en el modelo base para crear un modelo completo. Los archivos de solo adaptador, como
adapter_model.safetensorsyadapter_config.json, dependen del modelo base.- Cargue la revisión del modelo base utilizada para el entrenamiento y el adaptador.
- Fusione el adaptador en el modelo base. Con Hugging Face PEFT, utilice
merge_and_unload()para una configuración LoRA soportada. Consulte Fusión de los pesos. - Guarde el modelo completo y su tokenizador en un nuevo directorio de exportación, utilizando una precisión soportada para el modelo base compatible. Conserve el modelo base y el adaptador originales para futuras exportaciones.
- ¿Cómo puedo manejar la precisión del modelo exportado?
-
Utilice una precisión soportada para el modelo base compatible. La formación y la fusión pueden cambiar el tipo de dato del tensor almacenado. Inspeccione los pesos guardados antes de cargarlos con una conversión de tipo de dato.
Para cambiar la precisión, convierta los tensores reales y guarde una nueva exportación. La edición de
torch_dtypeodtypeenconfig.jsonno convierte los pesos. Para los modelos cuantificados, siga el procedimiento de fusión y exportación soportado por el modelo y la herramienta.
Preparación de los archivos de modelo
- ¿Qué archivos necesito importar?
-
Utilice una exportación completa en formato Hugging Face. El directorio de artefacto de modelo contiene
config.jsony los archivos necesarios para cargar el modelo:- Pesos de modelo completo, como
model.safetensors, o cada partición horizontal de peso a la que hace referencia un índice comomodel.safetensors.index.json. - Tokenizador coincidente, configuración de tokenizador, definiciones de token especial y plantilla de chat, si corresponde.
- Configuración de generación y cualquier archivo de procesador requerido por el modelo.
Mantenga cada exportación en su propio directorio para que los archivos de configuración y peso de diferentes ejecuciones no se mezclen. Para modelos de chat, consulte la guía sobre la plantilla de chat de Hugging Face.
- Pesos de modelo completo, como
- ¿Dónde pongo los archivos modelo?
-
Cargue la exportación completa a un directorio de artefactos de modelo en un cubo de Object Storage o haga que esté disponible en un repositorio de modelos de Hugging Face. Utilice ese directorio o repositorio al importar el modelo ajustado.
Metadatos de configuración
- ¿Qué significa transformers_version?
-
El campo
transformers_versiondeconfig.jsonregistra la versión de la biblioteca Hugging Face Transformers utilizada al guardar la configuración. Este valor es independiente de la biblioteca instalada actualmente en el entorno de entrenamiento y de la etiqueta de versión del modelo que introduzca en la consola.El valor exportado debe cumplir el requisito de versión descrito en la página de familia del modelo compatible. Compárelo con la configuración de la revisión del modelo base utilizada para el entrenamiento.
Consejo
Guardar con una biblioteca de transformadores más reciente puede cambiartransformers_versionincluso cuando la arquitectura del modelo sigue siendo la misma. Una discrepancia en la versión de metadatos puede hacer que la importación falle y se produzca un error de validación de arquitectura. - ¿Qué describe la configuración del modelo?
-
En la siguiente tabla, se describen los campos de configuración relevantes para importar. Compare el
config.jsonexportado con la configuración del modelo base y los pesos y el tokenizador guardados. La configuración debe describir los archivos de modelo de la exportación.Campos de configuración de modelo Campo o configuración Contenido esperado architecturesymodel_typeClase de modelo y familia que coinciden con los pesos exportados. transformers_versionUna versión grabada que cumple con el requisito de versión de Transformers del modelo base compatible. torch_dtypeodtypeLa precisión de los pesos almacenados. El cambio de este valor no convierte los tensores. Recuentos de capas, tamaños ocultos, configuración de atención y tamaño de vocabulario Configuración que coincide con los tensores y el tokenizador guardados. Una fusión LoRA que solo actualiza las matrices de peso originales mantiene estos valores de arquitectura sin cambios. quantization_config, cuando esté presenteConfiguración de cuantificación para el modelo exportado. La eliminación de estos metadatos no convierte un punto de control cuantificado.
Importar y alojar el modelo
- ¿Cómo puedo desplegar mi modelo de ajuste?
-
Siga el flujo de trabajo de importación del modelo estándar, utilizando la exportación ajustada como origen:
- Complete los requisitos previos de origen en Gestión de modelos importados y configure los permisos de modelo importados necesarios.
- Importe el modelo ajustado desde un cubo de Object Storage o desde Hugging Face.
- Espere a que finalice la importación. Consulte Obtención de detalles de un modelo importado.
- Cree un cluster de AI dedicado de alojamiento. Seleccione una unidad compatible para el modelo de entre las opciones disponibles en su región, como se describe en Modelos y hardware.
- Cree un punto final para el modelo importado y, a continuación, envíe solicitudes al punto final.
Utilice un nombre descriptivo y una versión para distinguir el modelo ajustado de su modelo base y otras exportaciones.
Solución de errores de importación
- ¿Por qué la importación informa un error de validación de arquitectura?
-
Una importación puede fallar con este mensaje cuando el modelo exportado no cumple un requisito de compatibilidad:
The imported model architecture is not yet validated for serving.El mensaje no identifica la diferencia específica. Una discrepancia en los metadatos
transformers_versionpuede provocar este error incluso cuando la arquitectura no se modifica.- Compare los archivos
config.jsonbase y exportados mediante Metadatos de configuración y los requisitos de la página de familia del modelo compatible. - Revise la exportación de los cambios de tipo de dato, las particiones horizontales de peso que faltan o los archivos del tokenizador de un modelo diferente. Para LoRA, utilice el modelo fusionado completo en lugar del punto de control de solo adaptador.
- Después de corregir la exportación, guárdela en un directorio de artefactos independiente e importe esa versión.
- Compare los archivos