Documentation sur Oracle Cloud Infrastructure

Hyperparamètres de réglage fin dans le service d'intelligence artificielle générative

meta.llama-3.3-70b-instruct est le modèle de base préentraîné actuellement disponible pour le réglage de précision dans le service d'intelligence artificielle générative pour OCI. Cette page répertorie les hyperparamètres pris en charge, les intervalles valides et les valeurs par défaut.

Note

La variante meta.llama-3.3-70b-instruct standard est disponible pour le réglage de précision. La variante meta.llama-3.3-70b-instruct-fp8-dynamic n'est pas disponible pour le réglage de précision. Voir Meta Llama 3.3 (70B) et Modèles par région.

Avant d'affiner le réglage, vérifiez les exigences relatives aux données d'entraînement. Pour le processus complet, voir Flux de travail de réglage fin.

Conseil

Commencez à affiner le réglage avec les valeurs d'hyperparamètre par défaut. Une fois le modèle personnalisé créé, dans la page des détails du modèle, sous Performance du modèle, vérifiez les valeurs pour Exactitude et perte. Si les résultats ne répondent pas à vos besoins, créez un autre modèle personnalisé avec un jeu de données plus volumineux ou des hyperparamètres différents.

meta.llama-3.3-70b-instruct

Le tableau suivant décrit les hyperparamètres utilisés par l'intelligence artificielle générative pour OCI pour entraîner un modèle de base meta.llama-3.3-70b-instruct avec la méthode LoRA.

Hyperparamètre Description Intervalle valide Par défaut
Nombre total d'époques d'entraînement Nombre d'itérations de l'entraînement sur l'ensemble du jeu de données d'entraînement. Par exemple, 1 epoch signifie que le modèle a été entraîné une seule fois à l'aide de l'ensemble du jeu de données d'entraînement.

1 ou un entier supérieur

 3
Fréquence d'apprentissage Vitesse à laquelle les pondérations du modèle sont mises à jour par rapport au gradient d'erreur. Nombre compris entre 0 et 1.0 0
Taille de lot d'entraînement Nombre d'échantillons dans un mini-lot à traiter avant la mise à jour des paramètres du modèle. Nombre entier compris entre 8 et 16 8
Patience avant arrêt précoce Définit le nombre de délais de grâce pour poursuivre le cycle d'évaluation, une fois le seuil d'arrêt anticipé déclenché. L'entraînement s'arrête si la mesure de perte ne s'améliore pas au-delà du seuil d'arrêt précoce pour ce nombre de fois d'évaluation. 0 pour désactiver et 1 ou un entier supérieur pour ajouter un délai de grâce 15
Seuil d'arrêt précoce La perte s'améliore lorsqu'elle diminue au cours du prochain cycle d'entraînement. Si la perte ne s'améliore pas assez, vous pouvez arrêter l'entraînement. Définissez l'amélioration minimale de perte d'évaluation qui devrait déclencher le compteur d'arrêt précoce. Si la perte ne s'améliore pas au-delà de la valeur minimale pendant la période de patience, l'entraînement s'arrête. Sinon, l'entraînement se poursuit et le compteur se réinitialise. 0 ou un nombre positif 0
Intervalle d'enregistrement des mesures du modèle en étapes Nombre d'étapes par journalisation. Les mesures du modèle telles que la perte d'entraînement et le taux d'apprentissage sont consignées. Si la perte de formation ne diminue pas comme prévu, vérifiez les données de formation ou le taux d'apprentissage. Prédéfini à 10 10
LoRA r (pour la méthode LoRA uniquement) Dimension d'attention (rang) des matrices de mise à jour. Un rang inférieur produit des matrices de mise à jour plus petites avec moins de paramètres entraînables. Nombre entier compris entre 1 et 64 8
LoRA alpha (pour la méthode LoRA uniquement) Paramètre alpha pour l'ajustement LoRA. Les matrices de pondération LoRA sont mises à l'échelle en divisant LoRA alpha par LoRA r. Le paramètre alpha définit les pondérations LoRA, qui sont un nombre inférieur de nouvelles pondérations et sont les seules à être entraînées dans le modèle. Nombre entier compris entre 1 et 128 8
LoRA dropout (pour la méthode LoRA uniquement) Probabilité d'abandon pour les neurones dans les couches LoRA. La méthode d'abandon empêche le surajustement en ignorant aléatoirement (supprimant) les neurones dans une couche. Une baisse de 10% signifie que chaque neurone a 10% de chance d'être abandonné. Nombre décimal inférieur à 1 pour le pourcentage, par exemple 0,1 pour 10 0,1
L'équation suivante montre comment le modèle calcule le paramètre totalTrainingSteps.
totalTrainingSteps = (totalTrainingEpochs * size(trainingDataset)) / trainingBatchSize
Dans l'équation précédente, le modèle ignore certains calculs d'arrondissement.