Meta Llama 3.1 (70B)

Pour modifier les réponses du modèle, vous pouvez modifier les valeurs des paramètres suivants dans le playground de test ou l'API.

Nombre maximal de sèmes de sortie

Nombre maximal de sèmes que le modèle doit générer pour chaque réponse. Estimez quatre caractères par jeton. Comme vous demandez un modèle de discussion, la réponse dépend de l'invite et chaque réponse n'utilise pas nécessairement le nombre maximal de jetons alloués.

Température

Niveau de randomité utilisé pour générer le texte de sortie.

Conseil

Commencez par définir la température sur 0 et augmentez-la à mesure que vous régénérez les invitations pour affiner les sorties. Les températures élevées peuvent introduire des hallucinations et des informations factuellement incorrectes.

Valeur Top p

Méthode d'échantillonnage qui contrôle la probabilité cumulée des jetons supérieurs à prendre en compte pour le jeton suivant. Affectez à p un nombre décimal compris entre 0 et 1 pour la probabilité. Par exemple, entrez 0,75 pour les 75 % les plus importants à prendre en compte. Définissez p sur 1 pour prendre en compte tous les jetons.

Valeur Top k

Méthode d'échantillonnage dans laquelle le modèle choisit le jeton suivant de manière aléatoire parmi les jetons top k les plus probables. Une valeur élevée pour k génère une sortie plus aléatoire, ce qui rend le texte de sortie plus naturel. La valeur par défaut de k est 0 pour les modèles Cohere Command et -1 pour les modèles Meta Llama, ce qui signifie que le modèle doit prendre en compte tous les jetons et ne pas utiliser cette méthode.

Pénalité de fréquence

Pénalité affectée à un jeton lorsque ce dernier apparaît fréquemment. Les pénalités élevées encouragent moins de jetons répétés et produisent un résultat plus aléatoire.

Pour les modèles de la famille Meta Llama, cette pénalité peut être positive ou négative. Les nombres positifs encouragent le modèle à utiliser de nouveaux jetons et les nombres négatifs encouragent le modèle à répéter les jetons. Définissez la valeur sur 0 pour désactiver.

Pénalité de présence

Pénalité affectée à chaque jeton lorsqu'il apparaît dans la sortie pour encourager les sorties avec des jetons qui n'ont pas été utilisés.

Prédéfinir

Paramètre qui fait le meilleur effort pour échantillonner les jetons de manière déterministe. Lorsqu'une valeur est affectée à ce paramètre, le modèle de langage volumineux vise à renvoyer le même résultat pour les demandes répétées lorsque vous affectez les mêmes valeurs initiales et paramètres aux demandes.

Les valeurs autorisées sont des entiers et l'affectation d'une valeur de départ élevée ou faible n'affecte pas le résultat. L'affectation d'un nombre au paramètre prédéfini est similaire à l'étiquetage de la demande avec un nombre. Le modèle de langage volumineux vise à générer le même ensemble de jetons pour le même entier dans des demandes consécutives. Cette fonctionnalité est particulièrement utile pour le débogage et le test. Le paramètre prédéfini n'a pas de valeur maximale pour l'API et, dans la console, sa valeur maximale est 9999. Si la valeur de départ n'est pas indiquée dans la console ou si elle est NULL dans l'API, cette fonctionnalité est désactivée.

Avertissement

Le paramètre prédéfini risque de ne pas produire le même résultat à long terme, car les mises à jour de modèle dans le service OCI Generative AI risquent d'invalider la valeur prédéfinie.