Gestion des modèles importés (Nouveau)

Avant d'importer un modèle directement depuis Hugging Face :

• Décidez quel modèle pris en charge à partir de Hugging Face pour importer et noter sa taille d'unité de grappe dédiée à l'IA recommandée.
• Pour accéder et utiliser certains modèles, vous avez besoin d'un jeton Hugging Face, en particulier les versions plus récentes et fermées telles que Llama 3 et Llama 3.1 Pour ces modèles, générez un jeton d'accès à partir des paramètres de votre compte Hugging Face sous Jetons d'accès. Assurez-vous qu'il dispose des autorisations nécessaires (au moins l'accès "lecture").

Avant d'importer un modèle à partir d'un seau de stockage d'objets :

• Si vous n'êtes pas un administrateur OCI, demandez à un administrateur de vous accorder l'autorisation IAM pour gérer le stockage d'objets dans votre compartiment :

  allow group <your-group-name> to manage object-family in compartment <compartment-with-bucket>
                              

• Choisissez un modèle qui fonctionne avec le point d'extrémité /v1/chat/completions. Seuls ces modèles sont pris en charge.
• Assurez-vous que le modèle ne prend en charge qu'une des fonctions suivantes :
  • TEXT_TO_TEXT : texte in, texte out
  • IMAGE_TEXT_TO_TEXT : image ou texte, ou les deux, texte sortant
  • REGISTREMENT : texte en, plongements vectoriels en sortie
  • RERANK : interrogation et documents de candidat, notes de pertinence et liste reclassée
• Enregistrez les artefacts de modèle dans un seau de stockage d'objets.
• Important : Le fichier de configuration doit être nommé config.json pour que l'importation soit réussie, comme pour la plupart des modèles Hugging Face.

Pour atteindre un modèle importé, vous créez un point d'extrémité pour ce modèle sur une grappe dédiée à l'IA. Utilisez le tableau suivant pour demander des ressources de grappe dédiée à l'IA avant d'importer un modèle.

Après avoir effectué les préalables et importé un modèle, vous pouvez effectuer les tâches suivantes sur les modèles importés :

• Répertorier les modèles importés
• Obtenir les détails d'un modèle importé
• Mettre à jour un modèle importé
• Déplacer un modèle importé
• Supprimer un modèle importé