Documentation sur Oracle Cloud Infrastructure

OpenAI gpt-oss-120b

OCI Generative AI prend en charge l'accès au modèle OpenAI gpt-oss-120b préentraîné.

Le openai.gpt-oss-120b est un modèle de langage textuel ouvert conçu pour un raisonnement puissant et des tâches agéntiques.

Accéder à ce modèle

Accédez à ce modèle au moyen de la console, de l'API et de l'interface de ligne de commande :
Note

Les points d'extrémité d'API pour toutes les régions commerciales, souveraines et gouvernementales prises en charge sont listés dans les liens API de gestion et API d'inférence. Vous ne pouvez accéder à chaque modèle qu'au moyen de ses régions prises en charge.

Principales fonctions

  • Nom du modèle dans le service d'intelligence artificielle générative pour OCI : openai.gpt-oss-120b
  • Taille du modèle : 117 milliards de paramètres
  • Mode texte seulement : Entrez du texte et obtenez une sortie de texte. Les images et les entrées de fichier telles que les fichiers audio, vidéo et document ne sont pas prises en charge.
  • Savoir : Spécialisé dans le raisonnement avancé et les tâches textuelles dans un large éventail de sujets.
  • Longueur de contexte : 128 000 jetons (invite maximale + longueur de réponse est de 128 000 jetons pour chaque exécution). Dans le terrain de jeu, la longueur de réponse est plafonnée à 16 000 jetons pour chaque course.
  • Excelle dans ces cas d'utilisation : En raison de ses données d'entraînement, ce modèle est particulièrement solide en STEM (science, technologie, ingénierie et mathématiques), en codage et en connaissances générales. Convient pour les tâches de haut niveau de production.
  • Appel de fonction : Oui, au moyen de l'API.
  • A un motif : Oui.
  • Arrêt des connaissances : Juin 2024

Pour des détails sur les fonctions clés, consultez la documentation sur OpenAI gpt-oss.

Grappe d'IA dédiée pour le modèle

Pour les modèles en mode sur demande, aucune grappe n'est requise. Accédez-les au moyen du terrain de jeu et de l'API de la console. Pour les modèles disponibles en mode dédié, utilisez des points d'extrémité créés sur des grappes d'IA dédiées. En savoir plus sur le mode dédié.

Le tableau suivant répertorie la taille des unités matérielles, les régions disponibles et les limites de service pour les grappes dédiées à l'IA. Ce modèle n'est pas disponible pour le réglage fin.

Taille de l'unité matérielle Régions disponibles Nom de la limite
OAI_A100_40G_X4
  • Émirats arabes unis - Est (Dubaï)
  • Nom de la limite : dedicated-unit-a100-40g-count
  • Demander une augmentation de : 4
OAI_A100_80G_X2
  • États-Unis - Midwest (Chicago)
  • États-Unis - Ouest (Phoenix)
  • Nom de la limite : dedicated-unit-a100-80g-count
  • Demander une augmentation de : 2
OAI_H100_X2
  • Brésil - Est (Sao Paulo)
  • Allemagne - Centre (Francfort)
  • Inde - Sud (Hyderabad)
  • Japon - Centre (Osaka)
  • Royaume-Uni - Sud (Londres)
  • États-Unis - Est (Ashburn)
  • États-Unis - Midwest (Chicago)
  • Nom de la limite : dedicated-unit-h100-count
  • Demander une augmentation de : 2
OAI_H200_X1
  • Centre de l'Arabie saoudite (Riyad)
  • Nom de la limite : dedicated-unit-h200-count
  • Demander une augmentation de : 1
Important

  • Pour la tarification du matériel, consultez l'évaluateur de coût.
  • Si les limites de la location ne sont pas suffisantes pour héberger ce modèle sur une grappe dédiée à l'IA, demandez une augmentation de la limite matérielle pertinente. Par exemple, demandez une augmentation de 2 pour la limite dedicated-unit-h100-count. Voir Demande d'une augmentation de limite de service.

Tests de performance des grappes

Consultez les points de référence de performance de grappe OpenAI gpt-oss-120b (New) pour différents cas d'utilisation.

Paramètres du modèle

Pour modifier les réponses du modèle, vous pouvez modifier les valeurs des paramètres suivants dans le terrain de jeu ou l'API.

Nombre maximal de jetons de sortie

Nombre maximal de marqueurs que le modèle doit générer pour chaque réponse. Estimer quatre caractères par jeton. Comme vous demandez un modèle de clavardage, la réponse dépend de l'invite et chaque réponse n'utilise pas nécessairement le nombre maximal de jetons alloués. La longueur maximale de l'invite et de la sortie est de 128 000 jetons pour chaque exécution. Dans le terrain de jeu, les jetons de sortie maximum sont plafonnés à 16 000 jetons pour chaque course.

Conseil

Pour les entrées volumineuses présentant des problèmes difficiles, définissez une valeur élevée pour le paramètre de nombre maximal de jetons de sortie.
Température

Niveau de caractère aléatoire utilisé pour générer le texte de sortie. Min : 0, Max : 2, Par défaut : 1

Conseil

Commencez avec la température réglée à 0 ou moins d'un, puis augmentez la température au fur et à mesure que vous régénérez les invites pour une sortie plus créative. Les températures élevées peuvent introduire des hallucinations et des informations factuellement incorrectes.
Haut p

Méthode d'échantillonnage qui contrôle la probabilité cumulative des jetons supérieurs à prendre en compte pour le jeton suivant. Affectez à p un nombre décimal compris entre 0 et 1 pour la probabilité. Par exemple, entrez 0,75 pour les 75 % principaux à prendre en compte. Réglez p à 1 pour prendre en compte tous les jetons. Valeur par défaut : 1

Pénalité de fréquence

Pénalité affectée à un jeton lorsque ce jeton apparaît fréquemment. Les pénalités élevées encouragent moins de jetons répétés et produisent un résultat plus aléatoire. Réglez à 0 pour désactiver. Par défaut : 0

Pénalité de présence

Pénalité affectée à chaque jeton lorsqu'il apparaît dans la sortie pour favoriser la génération de sorties contenant des jetons qui n'ont pas été utilisés. Réglez à 0 pour désactiver. Par défaut : 0