OpenAI gpt-oss-20b
OCI Generative AI prend en charge l'accès au modèle OpenAI gpt-oss-20b préentraîné.
Le openai.gpt-oss-20b est un modèle de langage textuel ouvert conçu pour un raisonnement puissant et des tâches agéntiques.
Régions pour ce modèle
Pour les régions prises en charge, les types de point d'extrémité (grappes d'IA sur demande ou dédiées) et l'hébergement (IA générative pour OCI ou appels externes) pour ce modèle, voir la page Modèles par région. Pour plus de détails sur les régions, consultez la page Régions du service d'intelligence artificielle générative.
Accéder à ce modèle
Les points d'extrémité d'API pour toutes les régions commerciales, souveraines et gouvernementales prises en charge sont listés dans les liens API de gestion et API d'inférence. Vous ne pouvez accéder à chaque modèle qu'au moyen de ses régions prises en charge.
Principales fonctions
- Nom du modèle dans le service d'intelligence artificielle générative pour OCI :
openai.gpt-oss-20b - Taille du modèle : 21 milliards de paramètres
- Mode texte seulement : Entrez du texte et obtenez une sortie de texte. Les images et les entrées de fichier telles que les fichiers audio, vidéo et document ne sont pas prises en charge.
- Savoir : Spécialisé dans le raisonnement avancé et les tâches textuelles dans un large éventail de sujets.
- Longueur de contexte : 128 000 jetons (invite maximale + longueur de réponse est de 128 000 jetons pour chaque exécution). Dans le terrain de jeu, la longueur de réponse est plafonnée à 16 000 jetons pour chaque course.
- Excelle dans ces cas d'utilisation : En raison de ses données d'entraînement, ce modèle est particulièrement b en STEM (science, technologie, ingénierie et mathématiques), codage et connaissances générales. À utiliser pour les cas d'utilisation sur appareil à faible latence, les inférences locales ou les itérations rapides qui ne nécessitent pas de mémoire volumineuse.
- Appel de fonction : Oui, au moyen de l'API.
- A un motif : Oui.
- Arrêt des connaissances : Juin 2024
Pour des détails sur les fonctions clés, consultez la documentation sur OpenAI gpt-oss.
Mode sur demande
| Nom de modèle | Nom du modèle OCI | Nom du produit de la page de tarification |
|---|---|---|
| OpenAI gpt-oss-20b | openai.gpt-oss-20b |
OpenAI - gpt-oss-20b Prix pour :
|
En savoir plus sur le mode sur demande.
Grappe d'IA dédiée pour le modèle
Pour les modèles en mode sur demande, aucune grappe n'est requise. Accédez-les au moyen du terrain de jeu et de l'API de la console. Pour les modèles disponibles en mode dédié, utilisez des points d'extrémité créés sur des grappes d'IA dédiées. En savoir plus sur le mode dédié.
Le tableau suivant répertorie la taille des unités matérielles, les régions disponibles et les limites de service pour les grappes dédiées à l'IA. Ce modèle n'est pas disponible pour le réglage fin.
| Taille de l'unité matérielle | Régions disponibles | Nom de la limite |
|---|---|---|
| OAI_A10_X2 |
|
|
| OAI_A100_40G_X1 |
|
|
| OAI_A100_80G_X1 |
|
|
| OAI_H100_X1 |
|
|
| OAI_H200_X1 |
|
|
- Pour la tarification du matériel, consultez l'évaluateur de coût.
- Si les limites de la location ne sont pas suffisantes pour héberger ce modèle sur une grappe dédiée à l'IA, demandez une augmentation de la limite matérielle pertinente. Par exemple, demandez une augmentation de 1 pour la limite
dedicated-unit-h100-count. Voir Demande d'une augmentation de limite de service.
Tests de performance des grappes
Consultez les points de référence de performance de grappe OpenAI gpt-oss-20b (New) pour différents cas d'utilisation.
Dates de version et de mise hors service OCI
Pour connaître les dates de sortie et de mise hors service et les options de modèle de remplacement, consultez les pages suivantes en fonction du mode (sur demande ou dédié) :
Paramètres du modèle
Pour modifier les réponses du modèle, vous pouvez modifier les valeurs des paramètres suivants dans le terrain de jeu ou l'API.
- Nombre maximal de jetons de sortie
-
Nombre maximal de marqueurs que le modèle doit générer pour chaque réponse. Estimer quatre caractères par jeton. Comme vous demandez un modèle de clavardage, la réponse dépend de l'invite et chaque réponse n'utilise pas nécessairement le nombre maximal de jetons alloués. La longueur maximale de l'invite et de la sortie est de 128 000 jetons pour chaque exécution. Dans le terrain de jeu, les jetons de sortie maximum sont plafonnés à 16 000 jetons pour chaque course.
Conseil
Pour les entrées volumineuses présentant des problèmes difficiles, définissez une valeur élevée pour le paramètre de nombre maximal de jetons de sortie. - Température
-
Niveau de caractère aléatoire utilisé pour générer le texte de sortie. Min : 0, Max : 2, Par défaut : 1
Conseil
Commencez avec la température réglée à 0 ou moins d'un, puis augmentez la température au fur et à mesure que vous régénérez les invites pour une sortie plus créative. Les températures élevées peuvent introduire des hallucinations et des informations factuellement incorrectes. - Haut p
-
Méthode d'échantillonnage qui contrôle la probabilité cumulative des jetons supérieurs à prendre en compte pour le jeton suivant. Affectez à
pun nombre décimal compris entre 0 et 1 pour la probabilité. Par exemple, entrez 0,75 pour les 75 % principaux à prendre en compte. Réglezpà 1 pour prendre en compte tous les jetons. Valeur par défaut : 1 - Pénalité de fréquence
-
Pénalité affectée à un jeton lorsque ce jeton apparaît fréquemment. Les pénalités élevées encouragent moins de jetons répétés et produisent un résultat plus aléatoire. Réglez à 0 pour désactiver. Par défaut : 0
- Pénalité de présence
-
Pénalité affectée à chaque jeton lorsqu'il apparaît dans la sortie pour favoriser la génération de sorties contenant des jetons qui n'ont pas été utilisés. Réglez à 0 pour désactiver. Par défaut : 0