OpenAI gpt-oss-20b
OCI Generative AI prend en charge l'accès au modèle OpenAI gpt-oss-20b préentraîné.
openai.gpt-oss-20b est un modèle de langage à poids ouvert, en texte uniquement, conçu pour des tâches agentiques et de raisonnement puissantes.
Régions pour ce modèle
Pour les régions prises en charge, les types d'adresse (clusters d'IA dédiés ou à la demande) et l'hébergement (appels externes ou OCI Generative AI) pour ce modèle, reportez-vous à la page Modèles par région. Pour plus de détails sur les régions, reportez-vous à la page Régions d'IA générative.
Accéder à ce modèle
Les adresses d'API pour toutes les régions commerciales, souveraines et gouvernementales prises en charge sont répertoriées dans les liens API de gestion et d'inférence. Vous pouvez accéder à chaque modèle uniquement via ses régions prises en charge.
Principales fonctionnalités
- Nom du modèle dans OCI Generative AI :
openai.gpt-oss-20b - Taille du modèle : 21 milliards de paramètres
- Mode texte uniquement : saisissez du texte et obtenez une sortie texte. Les images et les entrées de fichier telles que les fichiers audio, vidéo et de document ne sont pas prises en charge.
- Connaissances : spécialisé dans les tâches avancées de raisonnement et de texte sur un large éventail de sujets.
- Longueur du contexte : 128 000 jetons (la longueur maximale de l'invite + de la réponse est de 128 000 jetons pour chaque exécution). Dans le terrain de jeu, la longueur de la réponse est plafonnée à 16 000 jetons pour chaque exécution.
- Excelle dans ces cas d'utilisation : en raison de ses données d'entraînement, ce modèle est particulièrement adapté aux STEM (science, technologie, ingénierie et mathématiques), au codage et aux connaissances générales. Utilisation pour les cas d'utilisation à faible latence, sur les périphériques, l'inférence locale ou l'itération rapide qui ne nécessitent pas de mémoire importante.
- Appel de fonction : Oui, via l'API.
- A un raisonnement : Oui.
- Limite de connaissances : juin 2024
Pour plus d'informations sur les principales fonctionnalités, reportez-vous à la documentation gpt-oss OpenAI.
Mode à la demande
| Nom du modèle | Nom du modèle OCI | Nom du produit de la page de tarification |
|---|---|---|
| OpenAI gpt-oss-20b | openai.gpt-oss-20b |
OpenAI - gpt-oss-20b Prix pour :
|
Découvrez le mode à la demande.
Cluster d'IA dédié pour le modèle
Pour les modèles en mode à la demande, aucun cluster n'est requis. Accédez-y via le playground de test et l'API de la console. Pour les modèles disponibles en mode dédié, utilisez des adresses créées sur des clusters d'IA dédiés. Découvrez le mode dédié.
Le tableau suivant répertorie les tailles des unités matérielles, les régions disponibles et les limites de service pour les clusters d'IA dédiés. Ce modèle n'est pas disponible pour le réglage fin.
| Taille de l'unité matérielle | Régions disponibles | Nom de la limite |
|---|---|---|
| OAI_A10_X2 |
|
|
| OAI_A100_40G_X1 |
|
|
| OAI_A100_80G_X1 |
|
|
| OAI_H100_X1 |
|
|
| OAI_H200_X1 |
|
|
- Pour connaître les tarifs du matériel, reportez-vous à l'évaluateur de coûts.
- Si les limites de location sont insuffisantes pour héberger ce modèle sur un cluster d'IA dédié, demandez une augmentation de la limite matérielle concernée. Par exemple, demandez une augmentation de 1 pour la limite
dedicated-unit-h100-count. Reportez-vous à Création d'une demande d'augmentation de limite.
Tests de performances du cluster
Consultez les tests d'évaluation des performances du cluster OpenAI gpt-oss-20b (nouveau) pour différents cas d'utilisation.
Dates de publication et de retrait OCI
Pour les dates de déblocage et de sortie et les options de modèle de remplacement, reportez-vous aux pages suivantes en fonction du mode (à la demande ou dédié) :
Paramètres de modèle
Pour modifier les réponses du modèle, vous pouvez modifier les valeurs des paramètres suivants dans le playground de test ou l'API.
- Nombre maximal de sèmes de sortie
-
Nombre maximal de sèmes que le modèle doit générer pour chaque réponse. Estimez quatre caractères par jeton. Comme vous demandez un modèle de discussion, la réponse dépend de l'invite et chaque réponse n'utilise pas nécessairement le nombre maximal de jetons alloués. La longueur maximale de l'invite + de la sortie est de 128 000 jetons pour chaque exécution. Dans le terrain de jeu, le nombre maximal de jetons de sortie est plafonné à 16 000 pour chaque exécution.
Conseil
Pour les entrées volumineuses présentant des problèmes difficiles, définissez une valeur élevée pour le paramètre de jetons de sortie maximum. - Température
-
Niveau de randomité utilisé pour générer le texte de sortie. Min : 0, Max : 2, Valeur par défaut : 1
Conseil
Commencez par définir la température sur 0 et augmentez-la à mesure que vous régénérez les invitations pour affiner les sorties. Les températures élevées peuvent introduire des hallucinations et des informations factuellement incorrectes. - Valeur Top p
-
Méthode d'échantillonnage qui contrôle la probabilité cumulée des jetons supérieurs à prendre en compte pour le jeton suivant. Affectez à
pun nombre décimal compris entre 0 et 1 pour la probabilité. Par exemple, entrez 0,75 pour les 75 % les plus importants à prendre en compte. Définissezpsur 1 pour prendre en compte tous les jetons. Par défaut : 1 - Pénalité de fréquence
-
Pénalité affectée à un jeton lorsque ce dernier apparaît fréquemment. Les pénalités élevées encouragent moins de jetons répétés et produisent un résultat plus aléatoire. Définissez la valeur sur 0 pour désactiver. Par défaut : 0
- Pénalité de présence
-
Pénalité affectée à chaque jeton lorsqu'il apparaît dans la sortie pour encourager les sorties avec des jetons qui n'ont pas été utilisés. Définissez la valeur sur 0 pour désactiver. Par défaut : 0