Documentation Oracle Cloud Infrastructure

Choisir une méthode de réglage fin dans l'IA générative

Lorsque vous créez un modèle personnalisé, OCI Generative AI affine les modèles de base préentraînés à l'aide d'une méthode qui correspond au modèle de base.

Important

Certains modèles de base préentraînés fondamentaux d'OCI Generative AI pris en charge pour le mode de service dédié sont désormais en phase d'abandon et seront mis hors service au plus tôt 6 mois après la publication du 1er modèle de remplacement. Vous pouvez héberger un modèle de base ou affiner un modèle de base et héberger le modèle affiné sur un cluster d'IA dédié (mode de service dédié) jusqu'à ce que le modèle de base soit retraité. Pour connaître les dates de retrait du mode de service dédié, voir Mise hors service des modèles.

Le tableau suivant répertorie la méthode utilisée par Generative AI pour entraîner chaque type de modèle de base :

Modèles de base préentraînés Méthode de formation
  • meta.llama-3.3-70b-instruct (Nouveau)
  • meta.llama-3.1-70b-instruct
  • meta.llama-3-70b-instruct (obsolète)
  • LoRA
  • T-Few
  • LoRA
  • T-Few
  • Vanilla
Remarque

Pour plus d'informations sur les hyperparamètres utilisés pour chaque méthode d'entraînement, reportez-vous à Hyperparamètres pour le réglage fin d'un modèle dans Generative AI.

Choisir entre T-Few et Vanilla

Pour les modèles cohere.command et cohere.command-light, OCI Generative AI propose deux méthodes d'entraînement : T-Few et Vanilla. Suivez les instructions ci-après pour sélectionner la meilleure méthode de formation pour vos cas d'emploi.

Caractéristique Options et recommandations
Méthodes de formation pour cohere.command et cohere.command-light
  • T-Few
  • Vanilla
Taille de l'ensemble de données
  • Utilisez T-Few pour les petits ensembles de données (quelques milliers d'échantillons ou moins)
  • Utiliser Vanilla pour les ensembles de données volumineux (de cent mille échantillons à des millions d'échantillons)

L'utilisation de petits ensembles de données pour la méthode Vanilla peut entraîner un surajustement. Le surajustement se produit lorsque le modèle entraîné donne d'excellents résultats pour les données d'entraînement, mais ne peut pas généraliser les sorties pour les données invisibles.
Complexité
  • Utilisez T-Few pour formater les éléments suivants ou les instructions suivantes.
  • Utilisez Vanilla pour améliorer la compréhension sémantique, par exemple pour améliorer la compréhension des cas médicaux par un modèle.
Hébergement
  • Utilisez T-Few si vous prévoyez d'héberger plusieurs modèles affinés sur le même cluster d'IA dédié à l'hébergement. Si tous les modèles sont entraînés sur le même modèle de base, vous pouvez les héberger sur le même cluster. Cette fonctionnalité de service empilé permet d'économiser des coûts et offre de bonnes performances si le trafic utilisateur vers chaque modèle affiné T-Few est relativement faible. Reportez-vous à Ajout d'adresses à des clusters d'hébergement.
  • Chaque modèle affiné à la méthode Vanilla nécessite son propre cluster d'IA dédié à l'hébergement.