Documentation Oracle Cloud Infrastructure

Meta Llama 3.3 (70B)

Le modèle meta.llama-3.3-70b-instruct est disponible pour l'inférence à la demande, l'hébergement dédié et le réglage fin, et offre de meilleures performances que Llama 3.1 70B et Llama 3.2 90B pour les tâches de texte.

Régions pour ce modèle

Important

Pour les régions prises en charge, les types d'adresse (clusters d'IA dédiés ou à la demande) et l'hébergement (appels externes ou OCI Generative AI) pour ce modèle, reportez-vous à la page Modèles par région. Pour plus de détails sur les régions, reportez-vous à la page Régions d'IA générative.

Principales fonctionnalités

  • Le modèle a 70 milliards de paramètres.
  • Accepte les entrées de type texte uniquement et génère des sorties de type texte uniquement.
  • Utilise le même format d'invite que Llama 3.1 70B.
  • Prend en charge le même interpréteur de code que Llama 3.1 70B et conserve la longueur de contexte de jeton 128 000. (Nombre maximal d'invites + longueur de réponse : 128 000 jetons pour chaque exécution.)
  • Par rapport à son prédécesseur Llama 3.1 70B, répond avec un raisonnement, un codage, des mathématiques et un suivi des instructions améliorés. Reportez-vous à la carte modèle Llama 3.3.
  • Disponible pour l'inférence à la demande, l'hébergement dédié et le réglage fin.
  • Pour l'inférence à la demande, la longueur de la réponse est limitée à 4 000 jetons pour chaque exécution.
  • Pour le mode dédié, la longueur de la réponse n'est pas limitée et la longueur du contexte est de 128 000 jetons.

Meta Llama 3.3 Variantes

Le modèle Meta Llama 3.3 (70B) est proposé en deux variantes : le standard meta.llama-3.3-70b-instruct et le optimisé meta.llama-3.3-70b-instruct-fp8-dynamic (version dynamique FP8). A l'exception de quelques régions, les deux variantes sont proposées dans les mêmes régions. La disponibilité varie d'une région à l'autre (clusters d'IA dédiés ou à la demande). Pour obtenir la liste complète et des détails complets, reportez-vous à Modèles par région.

Variante standard : meta.llama-3.3-70b-instruct
  • Performances : fournit des performances de précision totale.
  • Réglage fin : vous pouvez affiner ce modèle avec votre ensemble de données dans les régions commerciales (OC1). Le réglage fin n'est pas pris en charge pour les modèles dans les régions OC4 et OC19.
  • Quand l'utiliser ? Idéal pour les tâches à usage général nécessitant une grande précision, telles que le raisonnement complexe, la génération de contenu et tout cas d'utilisation nécessitant un réglage fin.
Variante FP8 dynamique : meta.llama-3.3-70b-instruct-fp8-dynamic
  • Performances : utilise FP8 (à virgule flottante 8 bits), un format numérique de précision réduite qui représente les nombres à virgule flottante en utilisant 8 bits pour accélérer l'inférence. Par rapport aux formats 16 bits tels que FP16, FP8 réduit de moitié les besoins en bande passante de mémoire, ce qui peut augmenter le débit de calcul et réduire la consommation d'énergie des GPU.
  • Efficacité : optimisée pour l'efficacité, cette variante offre une inférence plus rapide avec une perte de précision minimale pour de nombreuses tâches.
  • Réglage fin : non disponible.
  • Quand utiliser : sélectionnez cette variante pour les scénarios à volume élevé et sensibles à la latence, tels que les applications en temps réel, le service à grande échelle ou l'inférence optimisée pour les coûts, où la vitesse et l'efficacité importent plus que le réglage fin ou la précision maximale. Cette variante est idéale pour les environnements de production axés sur le débit plutôt que sur la personnalisation.
Remarque

Pour les demandes d'API, indiquez toujours l'ID de modèle exact.

Mode à la demande

Reportez-vous au tableau suivant pour connaître le nom de produit à la demande de ce modèle sur la page de tarification.

Nom du modèle Nom du modèle OCI Nom du produit de la page de tarification
Meta Llama 3.3 (70B) (standard) meta.llama-3.3-70b-instruct Large Meta
Meta Llama 3.3 (70B) (FP8 dynamique) meta.llama-3.3-70b-instruct-fp8-dynamic Large Meta

Découvrez le mode à la demande.

Cluster d'IA dédié pour le modèle

Pour les modèles en mode à la demande, aucun cluster n'est requis. Accédez-y via le playground de test et l'API de la console. Pour les modèles disponibles en mode dédié, utilisez des adresses créées sur des clusters d'IA dédiés. Découvrez le mode dédié.

Le tableau suivant répertorie les tailles d'unité matérielle et les limites de service pour les clusters d'IA dédiés.

Modèle de base Cluster de réglage fin Cluster d'hébergement Informations sur la page de tarification Demander une augmentation de limite de cluster
  • Nom du modèle : Meta Llama 3.3 (70B) (Standard)
  • Nom du modèle OCI : meta.llama-3.3-70b-instruct
  • Taille d'unité : Large Generic
  • Unités obligatoires : 2

    Réglage fin non disponible pour EU Sovereign Central (Francfort) (OC19) et UK Gov South (Londres) (OC4))
  • Taille d'unité : Large Generic
  • Unités obligatoires : 1
  • Nom du produit de la page de tarification : Large Meta - Dedicated
  • Pour l'Hébergement, Multiplier le Prix Unitaire : x2
  • Pour le réglage fin, multipliez le prix unitaire : x4
  • Nom de la limite : dedicated-unit-llama2-70-count
  • Pour l'hébergement, demandez une augmentation de limite de : 2
  • Pour le réglage fin, augmentez la limite des demandes de : 4
  • Nom du modèle : Meta Llama 3.3 (70B) (dynamique FP8)
  • Nom du modèle OCI : meta.llama-3.3-70b-instruct-fp8-dynamic
Non disponible pour le réglage fin

Pour UAE East (Dubai):,

  • Taille d'unité : LARGE_GENERIC_V1
  • Unités obligatoires : 1

Pour les autres régions disponibles :

  • Taille d'unité : Large Generic
  • Unités obligatoires : 1
  • Nom du produit de la page de tarification : Large Meta - Dedicated
  • Pour l'Hébergement, Multiplier le Prix Unitaire : x2
  • Nom de la limite : dedicated-unit-llama2-70-count
  • Pour l'hébergement, demandez une augmentation de limite de : 2
Conseil

  • Si vous ne disposez pas de suffisamment de limites de cluster dans la location pour héberger le modèle Meta Llama 3.3 (70B) (fp8 standard ou dynamique) sur un cluster d'IA dédié, demandez une augmentation de 2 de la limite dedicated-unit-llama2-70-count.
  • Pour le réglage fin, demandez une augmentation de 4 de la limite dedicated-unit-llama2-70-count.

Règles d'adresse pour les clusters

  • Un cluster d'IA dédié peut contenir jusqu'à 50 adresses.
  • Utilisez ces adresses pour créer des alias qui pointent tous vers le même modèle de base ou vers la même version d'un modèle personnalisé, mais pas les deux types.
  • Plusieurs points d'extrémité pour le même modèle facilitent leur affectation à différents utilisateurs ou objectifs.
Taille de l'unité de cluster d'hébergement Règles d'adresse
Large Generic pour meta.llama-3.3-70b-instruct
  • Modèle de base : pour exécuter le modèle ⁇ meta.llama-3.3-70b-instruct ⁇ sur plusieurs adresses, créez autant d'adresses que nécessaire sur un cluster Large Generic (taille d'unité).
  • Modèle personnalisé : il en va de même pour un modèle personnalisé basé sur meta.llama-3.3-70b-instruct : créez le nombre requis d'adresses sur un cluster Large Generic (taille unitaire).
Large Generic pour meta.llama-3.3-70b-instruct-fp8-dynamic
  • Modèle de base : pour exécuter le modèle ⁇ meta.llama-3.3-70b-instruct-fp8-dynamic ⁇ sur plusieurs adresses, créez autant d'adresses que nécessaire sur un cluster Large Generic (taille d'unité).
  • Modèle personnalisé : vous ne pouvez pas affiner ⁇ meta.llama-3.3-70b-instruct-fp8-dynamic, de sorte que vous ne pouvez pas créer et héberger des modèles personnalisés créés à partir de cette base.
LARGE_GENERIC_V1 pour meta.llama-3.3-70b-instruct-fp8-dynamic (UAE East (Dubai) uniquement)
  • Modèle de base : pour exécuter le modèle ⁇ meta.llama-3.3-70b-instruct-fp8-dynamic ⁇ sur plusieurs adresses dans UAE East (Dubai), créez autant d'adresses que nécessaire sur un cluster LARGE_GENERIC_V1 (taille unitaire).
  • Modèle personnalisé : vous ne pouvez pas affiner meta.llama-3.3-70b-instruct-fp8-dynamic, de sorte que vous ne pouvez pas créer et héberger de modèles personnalisés créés à partir de cette base dans UAE East (Dubai).
Conseil

Tests de performances du cluster

Consultez les tests d'évaluation des performances du cluster Meta Llama 3.3 (70B) pour différents cas d'utilisation.

Paramètres de modèle

Pour modifier les réponses du modèle, vous pouvez modifier les valeurs des paramètres suivants dans le playground de test ou l'API.

Nombre maximal de sèmes de sortie

Nombre maximal de sèmes que le modèle doit générer pour chaque réponse. Estimez quatre caractères par jeton. Comme vous demandez un modèle de discussion, la réponse dépend de l'invite et chaque réponse n'utilise pas nécessairement le nombre maximal de jetons alloués.

Température

Niveau de randomité utilisé pour générer le texte de sortie.

Conseil

Commencez par définir la température sur 0 et augmentez-la à mesure que vous régénérez les invitations pour affiner les sorties. Les températures élevées peuvent introduire des hallucinations et des informations factuellement incorrectes.
Valeur Top p

Méthode d'échantillonnage qui contrôle la probabilité cumulée des jetons supérieurs à prendre en compte pour le jeton suivant. Affectez à p un nombre décimal compris entre 0 et 1 pour la probabilité. Par exemple, entrez 0,75 pour les 75 % les plus importants à prendre en compte. Définissez p sur 1 pour prendre en compte tous les jetons.

Valeur Top k

Méthode d'échantillonnage dans laquelle le modèle choisit le jeton suivant de manière aléatoire parmi les jetons top k les plus probables. Une valeur élevée pour k génère une sortie plus aléatoire, ce qui rend le texte de sortie plus naturel. La valeur par défaut de k est 0 pour les modèles Cohere Command et -1 pour les modèles Meta Llama, ce qui signifie que le modèle doit prendre en compte tous les jetons et ne pas utiliser cette méthode.

Pénalité de fréquence

Pénalité affectée à un jeton lorsque ce dernier apparaît fréquemment. Les pénalités élevées encouragent moins de jetons répétés et produisent un résultat plus aléatoire.

Pour les modèles de la famille Meta Llama, cette pénalité peut être positive ou négative. Les nombres positifs encouragent le modèle à utiliser de nouveaux jetons et les nombres négatifs encouragent le modèle à répéter les jetons. Définissez la valeur sur 0 pour désactiver.

Pénalité de présence

Pénalité affectée à chaque jeton lorsqu'il apparaît dans la sortie pour encourager les sorties avec des jetons qui n'ont pas été utilisés.

Prédéfinir

Paramètre qui fait le meilleur effort pour échantillonner les jetons de manière déterministe. Lorsqu'une valeur est affectée à ce paramètre, le modèle de langage volumineux vise à renvoyer le même résultat pour les demandes répétées lorsque vous affectez les mêmes valeurs initiales et paramètres aux demandes.

Les valeurs autorisées sont des entiers et l'affectation d'une valeur de départ élevée ou faible n'affecte pas le résultat. L'affectation d'un nombre au paramètre prédéfini est similaire à l'étiquetage de la demande avec un nombre. Le modèle de langage volumineux vise à générer le même ensemble de jetons pour le même entier dans des demandes consécutives. Cette fonctionnalité est particulièrement utile pour le débogage et le test. Le paramètre prédéfini n'a pas de valeur maximale pour l'API et, dans la console, sa valeur maximale est 9999. Si la valeur de départ n'est pas indiquée dans la console ou si elle est NULL dans l'API, cette fonctionnalité est désactivée.

Avertissement

Le paramètre prédéfini risque de ne pas produire le même résultat à long terme, car les mises à jour de modèle dans le service OCI Generative AI risquent d'invalider la valeur prédéfinie.