Gestion des modèles importés (nouveau)

Avant d'importer un modèle directement à partir de Hugging Face :

• Choisissez le modèle pris en charge à partir de Hugging Face à importer et notez la taille d'unité de cluster d'IA dédié recommandée.
• Pour accéder à certains modèles et les utiliser, vous avez besoin d'un jeton Hugging Face, en particulier les versions plus récentes et fermées telles que Llama 3 et Llama 3.1. Pour ces modèles, générez un jeton d'accès à partir des paramètres de votre compte Hugging Face sous Jetons d'accès. Assurez-vous qu'il dispose des droits d'accès nécessaires (au moins "lecture").

Avant d'importer un modèle à partir d'un bucket Object Storage, procédez comme suit :

• Si vous n'êtes pas un administrateur OCI, demandez-lui de vous accorder le droit d'accès IAM pour gérer Object Storage dans votre compartiment :

  allow group <your-group-name> to manage object-family in compartment <compartment-with-bucket>
                              

• Choisissez un modèle qui fonctionne avec l'adresse /v1/chat/completions. Seuls ces modèles sont pris en charge.
• Assurez-vous que le modèle ne prend en charge qu'une seule des fonctionnalités suivantes :
  • TEXT_TO_TEXT : texte entrant, texte sortant
  • IMAGE_TEXT_TO_TEXT : image ou texte, ou les deux, texte sortant
  • EMBEDING : texte entrant, incorporations vectorielles sortantes
  • RERANK : recherche et documents de candidat, scores de pertinence et liste réorganisée
• Enregistrez les artefacts de modèle dans un bucket Object Storage.
• Important : le fichier de configuration doit être appelé config.json pour que l'import réussisse, comme la plupart des modèles Hugging Face.

Pour atteindre un modèle importé, vous créez une adresse pour ce modèle sur un cluster d'IA dédié. Utilisez le tableau suivant pour demander des ressources de cluster AI dédiées avant d'importer un modèle.

Après avoir effectué les prérequis et importé un modèle, vous pouvez effectuer les tâches suivantes sur les modèles importés :

• Répertorier les modèles importés
• Obtenir les détails d'un modèle importé
• Mettre à jour un modèle importé
• Déplacer un modèle importé
• Supprimer un modèle importé