xAI Grok 3 Mini

Le modèle xai.grok-3-mini est un modèle léger qui réfléchit avant de répondre. Rapide, intelligent et idéal pour les tâches basées sur la logique qui ne nécessitent pas de connaissances approfondies du domaine. Les traces de pensée brute sont accessibles.

Les modèles xai.grok-3-mini et xai.grok-3-mini-fast utilisent tous deux le même modèle sous-jacent et fournissent une qualité de réponse identique. La différence réside dans la façon dont ils sont servis : le modèle xai.grok-3-mini-fast est servi sur une infrastructure plus rapide, offrant des temps de réponse nettement plus rapides que le modèle xai.grok-3-mini standard. La vitesse accrue se traduit par un coût plus élevé par jeton de sortie.

Les modèles xai.grok-3-mini et xai.grok-3-mini-fast pointent vers le même modèle sous-jacent. Sélectionnez xai.grok-3-mini-fast pour les applications sensibles à la latence et xai.grok-3-mini pour un coût réduit.

Disponible dans ces régions

Est des Etats-Unis (Ashburn) (à la demande uniquement)
Midwest des Etats-Unis (Chicago) (à la demande uniquement)
Ouest des Etats-Unis (Phoenix) (à la demande uniquement)

Important

Appels externes

Les modèles xAI Grok accessibles via le service OCI Generative AI sont hébergés en externe par xAI. Par conséquent, un appel à un modèle xAI Grok (via le service OCI Generative AI) entraîne un appel vers un emplacement xAI.

Principales fonctionnalités

Nom du modèle dans OCI Generative AI : xai.grok-3-mini
Disponible à la demande : accédez à ce modèle à la demande, via le playground de test de la console ou l'API.
Mode texte uniquement : saisissez du texte et obtenez une sortie texte. (Aucune image prise en charge.)
Fast : idéal pour les tâches logiques qui ne nécessitent pas de connaissances approfondies du domaine.
Longueur de contexte : 131 072 jetons (la longueur maximale de l'invite + de la réponse est de 131 072 jetons pour chaque exécution). Dans le terrain de jeu, la longueur de la réponse est plafonnée à 16 000 jetons pour chaque exécution.
Appel de fonction : Oui, via l'API.
Sorties structurées : Oui.
A un raisonnement : Oui. Reportez-vous au paramètre reasoning_effort dans la section Paramètres du modèle.
Limite de connaissances : novembre 2024

Limites

Jetons par minute (TPM)

Les appels d'inférence vers ce modèle sont plafonnés à 100 000 jetons par minute (TPM) par client ou location.

Afin d'afficher la limite en cours pour votre location, accédez à Gouvernance et administration dans la console. Sous Gestion des locations, sélectionnez Limites, quotas et utilisation. Sous Service, sélectionnez IA générative et vérifiez les limites de service. Pour demander une augmentation du nombre limite de service, sélectionnez Demander une augmentation du nombre limite de service. Pour l'augmentation de limite TPM, utilisez le nom de limite suivant : grok-3-mini-chat-tokens-per-minute-count.

Mode à la demande

Vous pouvez atteindre les modèles de base préentraînés dans l'IA générative via deux modes : à la demande et dédié. Voici les principales fonctionnalités du mode à la demande :

Vous payez au fur et à mesure pour chaque appel d'inférence lorsque vous utilisez les modèles dans le playground de test ou lorsque vous appelez les modèles via l'API.
Faible barrière pour commencer à utiliser l'IA générative.
Idéal pour l'expérimentation, la preuve de concepts et l'évaluation des modèles.
Disponible pour les modèles préentraînés dans les régions non répertoriées en tant que (cluster d'IA dédié uniquement).

Conseil

Pour garantir un accès fiable aux modèles d'IA générative en mode à la demande, nous vous recommandons d'implémenter une stratégie de back-off, qui implique de retarder les demandes après un rejet. Sans cela, des demandes rapides répétées peuvent entraîner d'autres rejets au fil du temps, une latence accrue et un blocage temporaire potentiel du client par le service d'IA générative. En utilisant une stratégie de back-off, telle qu'une stratégie de back-off exponentielle, vous pouvez répartir les demandes plus uniformément, réduire la charge et améliorer le succès des nouvelles tentatives, en respectant les meilleures pratiques du secteur et en améliorant la stabilité et les performances globales de votre intégration au service.

Remarque

Les modèles Grok sont disponibles uniquement en mode à la demande.

Reportez-vous au tableau suivant pour connaître le nom de produit de ce modèle sur la page de tarification.


Nom du modèle	Nom du modèle OCI	Nom du produit de la page de tarification
xAI Grok 3 Mini	`xai.grok-3-mini`	xAI – Grok 3 Mini

Date de lancement


Modèle	Date de version bêta	Date de publication de la disponibilité générale	Date de sortie à la demande	Date de retrait du mode dédié
`xai.grok-3-mini`	2 025-5-22	2 025-6-24	Provisoire	Ce modèle n'est pas disponible pour le mode dédié.

Important

Pour obtenir la liste de toutes les lignes de temps du modèle et des détails de sortie, voir Mettre hors service les modèles.

Paramètres de modèle

Pour modifier les réponses du modèle, vous pouvez modifier les valeurs des paramètres suivants dans le playground de test ou l'API.

Nombre maximal de sèmes de sortie

Nombre maximal de sèmes que le modèle doit générer pour chaque réponse. Estimez quatre caractères par jeton. Comme vous demandez un modèle de discussion, la réponse dépend de l'invite et chaque réponse n'utilise pas nécessairement le nombre maximal de jetons alloués. La longueur maximale de l'invite + de la sortie est de 131 072 jetons pour chaque exécution. Dans le terrain de jeu, le nombre maximal de jetons de sortie est plafonné à 16 000 pour chaque exécution.

Température

Niveau de randomité utilisé pour générer le texte de sortie. Min : 0, Max : 2

Conseil

Commencez par définir la température sur 0 et augmentez-la à mesure que vous régénérez les invitations pour affiner les sorties. Les températures élevées peuvent introduire des hallucinations et des informations factuellement incorrectes.

Valeur Top p

Méthode d'échantillonnage qui contrôle la probabilité cumulée des jetons supérieurs à prendre en compte pour le jeton suivant. Min : 0, Max : 1.

Affectez à p un nombre décimal compris entre 0 et 1 pour la probabilité. Par exemple, entrez 0,75 pour les 75 % les plus importants à prendre en compte. Définissez p sur 1 pour prendre en compte tous les jetons.

Effort de raisonnement

Le paramètre reasoning_effort, disponible via l'API et non via la console, contrôle le temps que le modèle passe à réfléchir avant de répondre. Vous devez la définir sur l'une des valeurs suivantes :

low : temps de réflexion minimal, en utilisant moins de jetons pour des réponses rapides.
high : temps de réflexion maximal, en exploitant davantage de jetons pour les problèmes complexes.

Le choix du niveau approprié dépend de votre tâche : utilisez low pour les requêtes simples qui se terminent rapidement et high pour les problèmes plus complexes où la latence de réponse est moins importante. En savoir plus sur ce paramètre dans les guides xAI.