Documentation sur Oracle Cloud Infrastructure

Meta Llama 3.3 (70B)

Le modèle meta.llama-3.3-70b-instruct est disponible pour l'inférence à la demande, l'hébergement dédié et le réglage fin, et offre de meilleures performances que Llama 3.1 70B et Llama 3.2 90B pour les tâches textuelles.

Accéder à ce modèle

Accédez à ce modèle au moyen de la console, de l'API et de l'interface de ligne de commande :
Note

Les points d'extrémité d'API pour toutes les régions commerciales, souveraines et gouvernementales prises en charge sont listés dans les liens API de gestion et API d'inférence. Vous ne pouvez accéder à chaque modèle qu'au moyen de ses régions prises en charge.

Principales fonctions

  • Le modèle a 70 milliards de paramètres.
  • Accepte les entrées textuelles et produit des sorties textuelles.
  • Utilise le même format d'invite que Llama 3.1 70B.
  • Prend en charge le même interpréteur de code que Llama 3.1 70B et conserve la longueur de contexte du jeton de 128 000. (Invite maximale + longueur de réponse : 128 000 jetons pour chaque exécution.)
  • Par rapport à son prédécesseur Llama 3.1 70B, répond avec un raisonnement, un codage, des mathématiques et un suivi des instructions améliorés. Voir la carte modèle Llama 3.3.
  • Disponible pour l'inférence à la demande, l'hébergement dédié et le réglage fin.
  • Pour l'inférence sur demande, la longueur de la réponse est plafonnée à 4 000 jetons pour chaque exécution.
  • Pour le mode dédié, la longueur de la réponse n'est pas plafonnée et la longueur du contexte est de 128 000 jetons.

Meta Llama 3.3 Variantes

Le modèle Meta Llama 3.3 (70B) est proposé en deux variantes : la version standard meta.llama-3.3-70b-instruct et la version optimisée meta.llama-3.3-70b-instruct-fp8-dynamic (version dynamique FP8). À l'exception de quelques régions, les deux variantes sont proposées dans les mêmes régions. La disponibilité varie selon la région et le mode (grappes d'IA sur demande ou dédiées). Voir Modèles par région pour obtenir la liste complète et des détails complets.

Variante standard : meta.llama-3.3-70b-instruct
  • Performance : Fournit une performance de pleine précision.
  • Réglage de précision : Vous pouvez ajuster ce modèle avec votre jeu de données dans des régions commerciales (OC1). Le réglage fin n'est pas pris en charge pour les modèles dans les régions OC4 et OC19.
  • Quand utiliser : Idéal pour les tâches à usage général nécessitant une grande précision, telles que le raisonnement complexe, la génération de contenu et tout cas d'utilisation où un réglage fin est nécessaire.
Variante FP8 dynamique : meta.llama-3.3-70b-instruct-fp8-dynamic
  • Performance : Utilise FP8 (point flottant de 8 bits), un format numérique de précision réduite qui représente des nombres à virgule flottante utilisant 8 bits pour accélérer l'inférence. Par rapport aux formats 16 bits tels que FP16, FP8 réduit de moitié les besoins en bande passante de mémoire, ce qui peut augmenter le débit de calcul et réduire la consommation d'énergie des processeurs graphiques.
  • Efficacité : Optimisée pour l'efficacité, cette variante offre une inférence plus rapide avec une perte de précision minimale pour de nombreuses tâches.
  • Réglage de précision : Non disponible.
  • Quand utiliser : Sélectionnez cette variante pour les scénarios à volume élevé et sensibles à la latence, tels que les applications en temps réel, les services à grande échelle ou les inférences optimisées pour le coût, où la vitesse et l'efficacité importent plus que le réglage fin ou la précision maximale. Cette variante est idéale pour les environnements de production axés sur le débit plutôt que sur la personnalisation.
Note

Pour les demandes d'API, spécifiez toujours l'ID modèle exact.

Mode sur demande

Consultez le tableau suivant pour connaître le nom du produit sur demande de ce modèle dans la page de tarification.

Nom de modèle Nom du modèle OCI Nom du produit de la page de tarification
Meta Llama 3.3 (70B) (Standard) meta.llama-3.3-70b-instruct Large Meta
Meta Llama 3.3 (70B) (dynamique FP8) meta.llama-3.3-70b-instruct-fp8-dynamic Large Meta

En savoir plus sur le mode sur demande.

Grappe d'IA dédiée pour le modèle

Pour les modèles en mode sur demande, aucune grappe n'est requise. Accédez-les au moyen du terrain de jeu et de l'API de la console. Pour les modèles disponibles en mode dédié, utilisez des points d'extrémité créés sur des grappes d'IA dédiées. En savoir plus sur le mode dédié.

Le tableau suivant répertorie la taille des unités matérielles et les limites de service pour les grappes dédiées à l'IA.

Modèle de base Cluster de réglage fin Grappe d'hébergement Informations sur la page de tarification Demander une augmentation de limite de grappe
  • Nom du modèle : Meta Llama 3.3 (70B) (Standard)
  • Nom du modèle OCI : meta.llama-3.3-70b-instruct
  • Taille de l'unité : Large Generic
  • Unités requises : 2

    Réglage de précision non disponible pour EU Sovereign Central (Francfort) (OC19) et UK Gov South (Londres) (OC4)
  • Taille de l'unité : Large Generic
  • Unités requises : 1
  • Nom du produit de la page Tarification : Large Meta - Dedicated
  • Pour l'hébergement, Multiplier le prix unitaire : x2
  • Pour le réglage de précision, multipliez le prix unitaire : x4
  • Nom de la limite : dedicated-unit-llama2-70-count
  • Pour l'hébergement, demandez une augmentation de limite de : 2
  • Pour le réglage fin, demandez une augmentation de limite de : 4
  • Nom du modèle : Meta Llama 3.3 (70B) (Dynamic FP8)
  • Nom du modèle OCI : meta.llama-3.3-70b-instruct-fp8-dynamic
Non disponible pour le réglage fin

Pour UAE East (Dubai):

  • Taille de l'unité : LARGE_GENERIC_V1
  • Unités requises : 1

Pour les autres régions disponibles :

  • Taille de l'unité : Large Generic
  • Unités requises : 1
  • Nom du produit de la page Tarification : Large Meta - Dedicated
  • Pour l'hébergement, Multiplier le prix unitaire : x2
  • Nom de la limite : dedicated-unit-llama2-70-count
  • Pour l'hébergement, demandez une augmentation de limite de : 2
Conseil

  • Si vous n'avez pas suffisamment de limites de grappe dans la location pour héberger le modèle Meta Llama 3.3 (70B) (standard ou dynamique fp8) sur une grappe dédiée à l'IA, demandez que la limite dedicated-unit-llama2-70-count augmente de 2.
  • Pour le réglage de précision, demandez que la limite dedicated-unit-llama2-70-count augmente de 4.

Règles de point d'extrémité pour les grappes

  • Une grappe dédiée à l'IA peut contenir jusqu'à 50 points d'extrémité.
  • Utilisez ces points d'extrémité pour créer des alias qui pointent tous vers le même modèle de base ou vers la même version d'un modèle personnalisé, mais pas vers les deux types.
  • Plusieurs points d'extrémité pour le même modèle permettent de les affecter facilement à différents utilisateurs ou objectifs.
Taille d'unité de la grappe d'hébergement Règles de point d'extrémité
Large Generic pour meta.llama-3.3-70b-instruct
  • Modèle de base : Pour exécuter le modèle meta.llama-3.3-70b-instruct  sur plusieurs points d'extrémité, créez autant de points d'extrémité que nécessaire sur une grappe Large Generic (taille de l'unité).
  • Modèle personnalisé : Il en va de même pour un modèle personnalisé créé en plus de  meta.llama-3.3-70b-instruct : Créez le nombre requis de points d'extrémité sur une grappe Large Generic (taille de l'unité).
Large Generic pour meta.llama-3.3-70b-instruct-fp8-dynamic
  • Modèle de base : Pour exécuter le modèle meta.llama-3.3-70b-instruct-fp8-dynamic  sur plusieurs points d'extrémité, créez autant de points d'extrémité que nécessaire sur une grappe Large Generic (taille de l'unité).
  • Modèle personnalisé : Vous ne pouvez pas affiner le réglage meta.llama-3.3-70b-instruct-fp8-dynamic, vous ne pouvez donc pas créer et héberger des modèles personnalisés créés à partir de cette base.
LARGE_GENERIC_V1 pour meta.llama-3.3-70b-instruct-fp8-dynamic (UAE East (Dubai) seulement)
  • Modèle de base : Pour exécuter le modèle meta.llama-3.3-70b-instruct-fp8-dynamic  sur plusieurs points d'extrémité dans UAE East (Dubai), créez autant de points d'extrémité que nécessaire sur une grappe LARGE_GENERIC_V1 (taille de l'unité).
  • Modèle personnalisé : Vous ne pouvez pas affiner le réglage meta.llama-3.3-70b-instruct-fp8-dynamic, vous ne pouvez donc pas créer et héberger des modèles personnalisés créés à partir de cette base dans UAE East (Dubai).
Conseil

Tests de performance des grappes

Consultez les points de référence de performance de grappe Meta Llama 3.3 (70B) pour différents cas d'utilisation.

Paramètres du modèle

Pour modifier les réponses du modèle, vous pouvez modifier les valeurs des paramètres suivants dans le terrain de jeu ou l'API.

Nombre maximal de jetons de sortie

Nombre maximal de marqueurs que le modèle doit générer pour chaque réponse. Estimer quatre caractères par jeton. Comme vous demandez un modèle de clavardage, la réponse dépend de l'invite et chaque réponse n'utilise pas nécessairement le nombre maximal de jetons alloués.

Température

Niveau de caractère aléatoire utilisé pour générer le texte de sortie.

Conseil

Commencez avec la température réglée à 0 ou moins d'un, puis augmentez la température au fur et à mesure que vous régénérez les invites pour une sortie plus créative. Les températures élevées peuvent introduire des hallucinations et des informations factuellement incorrectes.
Haut p

Méthode d'échantillonnage qui contrôle la probabilité cumulative des jetons supérieurs à prendre en compte pour le jeton suivant. Affectez à p un nombre décimal compris entre 0 et 1 pour la probabilité. Par exemple, entrez 0,75 pour les 75 % principaux à prendre en compte. Réglez p à 1 pour prendre en compte tous les jetons.

Échantillonnage k premier

Méthode d'échantillonnage dans laquelle le modèle choisit le jeton suivant de manière aléatoire à partir des jetons top k les plus probables. Une valeur élevée pour k génère une sortie plus aléatoire, ce qui rend le texte de sortie plus naturel. La valeur par défaut pour k est 0 pour les modèles Cohere Command et -1 pour les modèles Meta Llama, ce qui signifie que le modèle doit prendre en compte tous les jetons et ne pas utiliser cette méthode.

Pénalité de fréquence

Pénalité affectée à un jeton lorsque ce jeton apparaît fréquemment. Les pénalités élevées encouragent moins de jetons répétés et produisent un résultat plus aléatoire.

Pour les modèles de la famille Meta Llama, cette pénalité peut être positive ou négative. Les nombres positifs encouragent le modèle à utiliser de nouveaux jetons et les nombres négatifs encouragent le modèle à répéter les jetons. Réglez à 0 pour désactiver.

Pénalité de présence

Pénalité affectée à chaque jeton lorsqu'il apparaît dans la sortie pour favoriser la génération de sorties contenant des jetons qui n'ont pas été utilisés.

Prédéfinir

Paramètre qui fait le meilleur effort pour échantillonner les jetons de manière déterministe. Lorsqu'une valeur est affectée à ce paramètre, le grand modèle de langage vise à renvoyer le même résultat pour les demandes répétées lorsque vous affectez les mêmes valeurs de départ et les mêmes paramètres pour les demandes.

Les valeurs autorisées sont des nombres entiers et l'affectation d'une valeur de départ grande ou petite n'a aucune incidence sur le résultat. L'affectation d'un nombre au paramètre de départ est similaire au marquage de la demande par un nombre. Le grand modèle de langage vise à générer le même ensemble de jetons pour le même entier dans des demandes consécutives. Cette fonction est particulièrement utile pour le débogage et les tests. Le paramètre de départ n'a pas de valeur maximale pour l'API. Dans la console, sa valeur maximale est 9999. Le fait de laisser la valeur de départ vide dans la console ou nulle dans l'API désactive cette fonction.

Avertissement

Il est possible que le paramètre de départ ne produise pas le même résultat à long terme, car les mises à jour du modèle dans le service d'intelligence artificielle générative pour OCI risquent d'invalider la valeur de départ.