Gestion des modèles importés

Avant d'importer un modèle directement depuis Hugging Face :

• Décidez quel modèle validé à partir de Hugging Face pour importer et noter sa forme d'unité matérielle de grappe dédiée à l'IA recommandée.
• Pour accéder et utiliser certains modèles, vous avez besoin d'un jeton Hugging Face, en particulier les versions plus récentes et fermées telles que Llama 3 et Llama 3.1 Pour ces modèles, générez un jeton d'accès à partir des paramètres de votre compte Hugging Face sous Jetons d'accès. Assurez-vous qu'il dispose des autorisations nécessaires (au moins l'accès "lecture").

Avant d'importer un modèle à partir d'un seau de stockage d'objets :

• Si vous n'êtes pas un administrateur OCI, demandez à un administrateur de vous accorder l'autorisation IAM pour gérer le stockage d'objets dans votre compartiment :

  allow group <your-group-name> to manage object-family in compartment <compartment-with-bucket>
                              

• Choisissez un modèle qui fonctionne avec le point d'extrémité /v1/chat/completions. Seuls ces modèles sont pris en charge.
• Assurez-vous que le modèle ne prend en charge qu'une des fonctions suivantes :
  • TEXT_TO_TEXT : texte in, texte out
  • IMAGE_TEXT_TO_TEXT : image ou texte, ou les deux, texte sortant
  • AUDIO_TO_TEXT : entrée audio, sortie texte
  • REGISTREMENT : texte en, plongements vectoriels en sortie
  • RERANK : interrogation et documents de candidat, notes de pertinence et liste reclassée
• Enregistrez les artefacts de modèle dans un seau de stockage d'objets.
• Important : Le fichier de configuration doit être nommé config.json pour que l'importation soit réussie, comme pour la plupart des modèles Hugging Face.

Lorsque vous créez une grappe dédiée à l'IA d'hébergement pour un modèle importé, sélectionnez le modèle importé et une forme d'unité matérielle compatible disponible dans la région cible. Les noms de forme d'unité de modèle importés n'incluent pas de préfixe de fournisseur de modèle. Par exemple, sélectionnez H100_X2 ou A100_80G_X1, plutôt qu'une valeur propre au fournisseur telle que Cohere_H100_X2.

Avant de créer la grappe, voir Formes d'unité de matériel de modèle importées, limites de service et nombre d'unités d'intelligence artificielle pour :

• Identifier les formes matérielles disponibles dans la région cible.
• Sélectionnez une forme d'unité matérielle de modèle importé.
• Recherchez le nom de la limite de service et les unités matérielles requises.
• Recherchez le nombre d'unités d'intelligence artificielle pour le calcul du prix horaire.

Après avoir effectué les préalables et importé un modèle, vous pouvez effectuer les tâches suivantes sur les modèles importés :

• Répertorier les modèles importés
• Obtenir les détails d'un modèle importé
• Mettre à jour un modèle importé
• Déplacer un modèle importé
• Supprimer un modèle importé