Gestión de modelos importados

Antes de importar un modelo directamente desde Hugging Face:

• Decida qué modelo validado de Hugging Face importar y observe su unidad de hardware de cluster de IA dedicada recomendada.
• Para acceder a algunos modelos y utilizarlos, necesita un token Hugging Face, especialmente las versiones más recientes y cerradas, como Llama 3 y Llama 3.1. Para estos modelos, genere un token de acceso desde la configuración de su cuenta Hugging Face en Tokens de acceso. Asegúrese de que tiene los permisos necesarios (al menos acceso de "lectura").

Antes de importar un modelo desde un cubo de Object Storage:

• Si no es un administrador de OCI, solicite a uno que le otorgue permiso de IAM para gestionar Object Storage en el compartimento:

  allow group <your-group-name> to manage object-family in compartment <compartment-with-bucket>
                              

• Decida un modelo que funcione con el punto final /v1/chat/completions: solo están soportados estos modelos.
• Asegúrese de que el modelo solo soporta una de estas capacidades:
  • TEXT_TO_TEXT: texto en, texto fuera
  • IMAGE_TEXT_TO_TEXT: imagen o texto, o ambos,
  • AUDIO_TO_TEXT: entrada de audio y salida de texto
  • EMBEDDING: texto en incrustaciones de vectores
  • RERANK: consulta y documentos candidatos, puntuaciones de relevancia y una lista ordenada.
• Guardar artefactos de modelo en un cubo de Object Storage.
• Importante: El archivo de configuración se debe llamar config.json para una importación correcta, similar a la mayoría de los modelos Hugging Face.

Al crear un cluster de AI dedicado de alojamiento para un modelo importado, seleccione el modelo importado y una unidad de hardware compatible que esté disponible en la región de destino. Los nombres de unidad de modelo importados no incluyen un prefijo de proveedor de modelo. Por ejemplo, seleccione H100_X2 o A100_80G_X1, en lugar de un valor específico del proveedor, como Cohere_H100_X2.

Antes de crear el cluster, consulte Unidades de unidades de hardware de modelo importadas, límites de servicio y recuentos de unidades de AI para:

• Identifique las unidades de hardware disponibles en la región de destino.
• Seleccione una unidad de hardware de modelo importado.
• Busque el nombre del límite de servicio y las unidades de hardware necesarias.
• Busque el recuento de unidades de IA para calcular el precio por hora.

Después de realizar los requisitos previos y de importar un modelo, puede realizar las siguientes tareas en los modelos importados:

• Enumerar los modelos importados
• Obtener detalles de un modelo importado
• Actualizar un modelo importado
• Mover un modelo importado
• Suprimir un modelo importado