xAI Grok 3 Mini
Le modèle xai.grok-3-mini
est un modèle léger qui réfléchit avant de répondre. Rapide, intelligent et idéal pour les tâches logiques qui ne nécessitent pas une connaissance approfondie du domaine. Les traces de pensée brutes sont accessibles.
Les modèles xai.grok-3-mini
et xai.grok-3-mini-fast
utilisent tous les deux le même modèle sous-jacent et offrent une qualité de réponse identique. La différence réside dans la façon dont ils sont servis : le modèle xai.grok-3-mini-fast
est servi sur une infrastructure plus rapide, offrant des temps de réponse nettement plus rapides que le modèle xai.grok-3-mini
standard. La vitesse accrue a un coût plus élevé par jeton de sortie.
Les modèles xai.grok-3-mini
et xai.grok-3-mini-fast
pointent vers le même modèle sous-jacent. Sélectionnez xai.grok-3-mini-fast
pour les applications sensibles à la latence et xai.grok-3-mini
pour un coût réduit.
Disponible dans ces régions
- États-Unis - Est (Ashburn) (sur demande seulement)
- Midwest des États-Unis (Chicago) (sur demande seulement)
- États-Unis - Ouest (Phoenix) (sur demande seulement)
Appels externes
Les modèles Grok xAI accessibles au moyen du service d'intelligence artificielle générative pour OCI sont hébergés à l'externe par xAI. Par conséquent, un appel à un modèle Grok xAI (au moyen du service d'intelligence artificielle générative pour OCI) entraîne un appel à un emplacement xAI.
Principales fonctions
- Nom du modèle dans le service d'intelligence artificielle générative pour OCI :
xai.grok-3-mini
- Disponible sur demande : Accédez à ce modèle sur demande au moyen du terrain de jeu de la console ou de l'API.
- Mode texte seulement : Entrez du texte et obtenez une sortie de texte. (Aucune prise en charge d'image.)
- Rapide : Idéal pour les tâches logiques qui ne nécessitent pas de connaissances approfondies sur le domaine.
- Longueur de contexte : 131 072 jetons (invite maximale + longueur de réponse est de 131 072 jetons pour chaque exécution). Dans le terrain de jeu, la longueur de réponse est plafonnée à 16 000 jetons pour chaque course.
- Appel de fonction : Oui, au moyen de l'API.
- Sorties structurées : Oui.
- A un motif : Oui. Voir le paramètre
reasoning_effort
dans la section Paramètres de modèle. - Arrêt des connaissances : Novembre 2024
Limites
- Jetons par minute (TPM)
-
Les appels d'inférence à ce modèle sont plafonnés à 100 000 jetons par minute (TPM) par client ou location.
Pour voir la limite courante de votre location, dans la console, naviguez jusqu'à Gouvernance et administration. Sous Gestion de la location, sélectionnez Limites, quotas et utilisation. Sous Service, sélectionnez Intelligence artificielle générative et vérifiez les limites de service. Pour demander une augmentation de limite de service, sélectionnez Demander une augmentation de limite de service. Pour l'augmentation de limite TPM, utilisez le nom de limite suivant :
grok-3-mini-chat-tokens-per-minute-count
.
Mode sur demande
-
Vous payez à l'utilisation pour chaque appel d'inférence lorsque vous utilisez les modèles dans le terrain de jeu ou lorsque vous appelez les modèles au moyen de l'API.
- Faible barrière pour commencer à utiliser l'IA générative.
- Idéal pour l'expérimentation, la preuve de concepts et l'évaluation des modèles.
- Disponible pour les modèles préentraînés dans les régions non listées (grappe dédiée à l'IA uniquement).
Pour garantir un accès fiable aux modèles d'IA générative en mode sur demande, nous recommandons de mettre en oeuvre une stratégie de secours, qui implique de retarder les demandes après un rejet. Sans cela, des demandes rapides répétées peuvent entraîner d'autres rejets au fil du temps, une latence accrue et un blocage temporaire potentiel du client par le service d'IA générative. En utilisant une stratégie d'attente, telle qu'une stratégie d'attente exponentielle, vous pouvez répartir les demandes plus uniformément, réduire la charge et améliorer le succès des tentatives, en suivant les meilleures pratiques du secteur et en améliorant la stabilité et la performance globales de votre intégration au service.
Les modèles Grok sont disponibles uniquement en mode sur demande.
Voir le tableau suivant pour le nom du produit de ce modèle dans la page de tarification.
Nom de modèle | Nom du modèle OCI | Nom du produit de la page de tarification |
---|---|---|
xAI Grok 3 Mini | xai.grok-3-mini |
xAI – Grok 3 Mini |
Date de version
Modèle | Date de lancement de la version bêta | Date de lancement de la disponibilité générale | Date de mise hors service sur demande | Date de mise hors service en mode dédié |
---|---|---|---|---|
xai.grok-3-mini |
2,025-5-22 | 2,025-6-24 | Provisoire | Ce modèle n'est pas disponible pour le mode dédié. |
Pour obtenir la liste de toutes les lignes de temps du modèle et les détails de mise hors service, voir Mise hors service des modèles.
Paramètres du modèle
Pour modifier les réponses du modèle, vous pouvez modifier les valeurs des paramètres suivants dans le terrain de jeu ou l'API.
- Nombre maximal de jetons de sortie
-
Nombre maximal de marqueurs que le modèle doit générer pour chaque réponse. Estimer quatre caractères par jeton. Comme vous demandez un modèle de clavardage, la réponse dépend de l'invite et chaque réponse n'utilise pas nécessairement le nombre maximal de jetons alloués. La longueur maximale de l'invite et de la sortie est de 131 072 jetons pour chaque exécution. Dans le terrain de jeu, les jetons de sortie maximum sont plafonnés à 16 000 jetons pour chaque course.
- Température
-
Niveau de caractère aléatoire utilisé pour générer le texte de sortie. Min. : 0, Max. : 2
Conseil
Commencez avec la température réglée à 0 ou moins d'un, puis augmentez la température au fur et à mesure que vous régénérez les invites pour une sortie plus créative. Les températures élevées peuvent introduire des hallucinations et des informations factuellement incorrectes. - p premiers
-
Méthode d'échantillonnage qui contrôle la probabilité cumulative des jetons supérieurs à prendre en compte pour le jeton suivant. Min. : 0, Max. : 1.
Affectez à
p
un nombre décimal compris entre 0 et 1 pour la probabilité. Par exemple, entrez 0,75 pour les 75 % principaux à prendre en compte. Réglezp
à 1 pour prendre en compte tous les jetons. - Effort de raisonnement
-
Le paramètre
reasoning_effort
, disponible au moyen de l'API et non de la console, contrôle le temps de réflexion du modèle avant de répondre. Vous devez la régler à l'une des valeurs suivantes :low
: Temps de réflexion minimal, avec moins de jetons pour les réponses rapides.high
: Temps de réflexion maximal, utilisation d'un plus grand nombre de jetons pour les problèmes complexes.
Le choix du niveau approprié dépend de votre tâche : utilisez
low
pour les interrogations simples qui se terminent rapidement ethigh
pour les problèmes plus difficiles où la latence de réponse est moins importante. En savoir plus sur ce paramètre dans les guides xAI.