Gestión de modelos importados (nuevo)

Antes de importar un modelo directamente desde Hugging Face:

• Decida qué modelo admitido de Hugging Face importar y observe su tamaño de unidad de cluster de AI dedicado recomendado.
• Para acceder a algunos modelos y utilizarlos, necesita un token Hugging Face, especialmente las versiones más recientes y cerradas, como Llama 3 y Llama 3.1. Para estos modelos, genere un token de acceso desde la configuración de su cuenta Hugging Face en Tokens de acceso. Asegúrese de que tiene los permisos necesarios (al menos acceso de "lectura").

Antes de importar un modelo desde un cubo de Object Storage:

• Si no es un administrador de OCI, solicite a uno que le otorgue permiso de IAM para gestionar Object Storage en el compartimento:

  allow group <your-group-name> to manage object-family in compartment <compartment-with-bucket>
                              

• Decida un modelo que funcione con el punto final /v1/chat/completions: solo están soportados estos modelos.
• Asegúrese de que el modelo solo soporta una de estas capacidades:
  • TEXT_TO_TEXT: texto en, texto fuera
  • IMAGE_TEXT_TO_TEXT: imagen o texto, o ambos,
  • EMBEDDING: texto en incrustaciones de vectores
  • RERANK: consulta y documentos candidatos, puntuaciones de relevancia y una lista ordenada.
• Guardar artefactos de modelo en un cubo de Object Storage.
• Importante: El archivo de configuración se debe llamar config.json para una importación correcta, similar a la mayoría de los modelos Hugging Face.

Para acceder a un modelo importado, cree un punto final para ese modelo en un cluster de IA dedicado. Utilice la siguiente tabla para solicitar recursos de cluster de AI dedicados antes de importar un modelo.

Después de realizar los requisitos previos y de importar un modelo, puede realizar las siguientes tareas en los modelos importados:

• Enumerar los modelos importados
• Obtener detalles de un modelo importado
• Actualizar un modelo importado
• Mover un modelo importado
• Suprimir un modelo importado