xAI Grok 3 Fast

Le modèle xai.grok-3-fast excelle dans les cas d'utilisation d'entreprise tels que l'extraction de données, le codage et la récapitulation de texte. Ce modèle possède une connaissance approfondie du domaine de la finance, des soins de santé, du droit et des sciences.

Les modèles xai.grok-3 et xai.grok-3-fast utilisent tous les deux le même modèle sous-jacent et offrent une qualité de réponse identique. La différence réside dans la façon dont ils sont servis : le modèle xai.grok-3-fast est servi sur une infrastructure plus rapide, offrant des temps de réponse nettement plus rapides que le modèle xai.grok-3 standard. La vitesse accrue a un coût plus élevé par jeton de sortie.

Les modèles xai.grok-3 et xai.grok-3-fast pointent vers le même modèle sous-jacent. Sélectionnez xai.grok-3-fast pour les applications sensibles à la latence et xai.grok-3 pour un coût réduit.

Disponible dans ces régions

États-Unis - Est (Ashburn) (sur demande seulement)
Midwest des États-Unis (Chicago) (sur demande seulement)
États-Unis - Ouest (Phoenix) (sur demande seulement)

Important

Appels externes

Les modèles Grok xAI accessibles au moyen du service d'intelligence artificielle générative pour OCI sont hébergés à l'externe par xAI. Par conséquent, un appel à un modèle Grok xAI (au moyen du service d'intelligence artificielle générative pour OCI) entraîne un appel à un emplacement xAI.

Principales fonctions

Nom du modèle dans le service d'intelligence artificielle générative pour OCI : xai.grok-3-fast
Disponible sur demande : Accédez à ce modèle sur demande au moyen du terrain de jeu de la console ou de l'API.
Mode texte seulement : Entrez du texte et obtenez une sortie de texte. (Aucune prise en charge d'image.)
Connaissance : A une connaissance approfondie du domaine en finance, soins de santé, droit et science.
Longueur de contexte : 131 072 jetons (invite maximale + longueur de réponse est de 131 072 jetons pour chaque exécution). Dans le terrain de jeu, la longueur de réponse est plafonnée à 16 000 jetons pour chaque course.
Excelle dans ces cas d'utilisation : Extraction de données, codage et récapitulation de texte
Appel de fonction : Oui, au moyen de l'API.
Sorties structurées : Oui.
A un motif : Non.
Arrêt des connaissances : Novembre 2024

Limites

Jetons par minute (TPM)

Les appels d'inférence à ce modèle sont plafonnés à 100 000 jetons par minute (TPM) par client ou location.

Pour voir la limite courante de votre location, dans la console, naviguez jusqu'à Gouvernance et administration. Sous Gestion de la location, sélectionnez Limites, quotas et utilisation. Sous Service, sélectionnez Intelligence artificielle générative et vérifiez les limites de service. Pour demander une augmentation de limite de service, sélectionnez Demander une augmentation de limite de service. Pour l'augmentation de limite TPM, utilisez le nom de limite suivant : grok-3-chat-tokens-per-minute-count.

Mode sur demande

Vous pouvez accéder aux modèles fondamentaux préentraînés dans l'IA générative au moyen de deux modes : sur demande et dédié. Voici les principales fonctions du mode sur demande :

Vous payez à l'utilisation pour chaque appel d'inférence lorsque vous utilisez les modèles dans le terrain de jeu ou lorsque vous appelez les modèles au moyen de l'API.
Faible barrière pour commencer à utiliser l'IA générative.
Idéal pour l'expérimentation, la preuve de concepts et l'évaluation des modèles.
Disponible pour les modèles préentraînés dans les régions non listées (grappe dédiée à l'IA uniquement).

Conseil

Pour garantir un accès fiable aux modèles d'IA générative en mode sur demande, nous recommandons de mettre en oeuvre une stratégie de secours, qui implique de retarder les demandes après un rejet. Sans cela, des demandes rapides répétées peuvent entraîner d'autres rejets au fil du temps, une latence accrue et un blocage temporaire potentiel du client par le service d'IA générative. En utilisant une stratégie d'attente, telle qu'une stratégie d'attente exponentielle, vous pouvez répartir les demandes plus uniformément, réduire la charge et améliorer le succès des tentatives, en suivant les meilleures pratiques du secteur et en améliorant la stabilité et la performance globales de votre intégration au service.

Note

Les modèles Grok sont disponibles uniquement en mode sur demande.

Voir le tableau suivant pour le nom du produit de ce modèle dans la page de tarification.


Nom de modèle	Nom du modèle OCI	Nom du produit de la page de tarification
xAI Grok 3 Fast	`xai.grok-3-fast`	xAI – Grok 3 Fast

Date de version


Modèle	Date de lancement de la version bêta	Date de lancement de la disponibilité générale	Date de mise hors service sur demande	Date de mise hors service en mode dédié
`xai.grok-3-fast`	2,025-5-22	2,025-6-24	Provisoire	Ce modèle n'est pas disponible pour le mode dédié.

Important

Pour obtenir la liste de toutes les lignes de temps du modèle et les détails de mise hors service, voir Mise hors service des modèles.

Paramètres du modèle

Pour modifier les réponses du modèle, vous pouvez modifier les valeurs des paramètres suivants dans le terrain de jeu ou l'API.

Nombre maximal de jetons de sortie

Nombre maximal de marqueurs que le modèle doit générer pour chaque réponse. Estimer quatre caractères par jeton. Comme vous demandez un modèle de clavardage, la réponse dépend de l'invite et chaque réponse n'utilise pas nécessairement le nombre maximal de jetons alloués. La longueur maximale de l'invite et de la sortie est de 131 072 jetons pour chaque exécution. Dans le terrain de jeu, les jetons de sortie maximum sont plafonnés à 16 000 jetons pour chaque course.

Température

Niveau de caractère aléatoire utilisé pour générer le texte de sortie. Min. : 0, Max. : 2

Conseil

Commencez avec la température réglée à 0 ou moins d'un, puis augmentez la température au fur et à mesure que vous régénérez les invites pour une sortie plus créative. Les températures élevées peuvent introduire des hallucinations et des informations factuellement incorrectes.

p premiers

Méthode d'échantillonnage qui contrôle la probabilité cumulative des jetons supérieurs à prendre en compte pour le jeton suivant. Affectez à p un nombre décimal compris entre 0 et 1 pour la probabilité. Par exemple, entrez 0,75 pour les 75 % principaux à prendre en compte. Réglez p à 1 pour prendre en compte tous les jetons.

Pénalité de fréquence

Pénalité affectée à un jeton lorsque ce jeton apparaît fréquemment. Les pénalités élevées encouragent moins de jetons répétés et produisent un résultat plus aléatoire.

Cette pénalité peut être positive ou négative. Les nombres positifs encouragent le modèle à utiliser de nouveaux jetons et les nombres négatifs encouragent le modèle à répéter les jetons. Min. : -2, Max. : 2. Réglez à 0 pour désactiver.

Pénalité de présence

Pénalité affectée à chaque jeton lorsqu'il apparaît dans la sortie pour favoriser la génération de sorties contenant des jetons qui n'ont pas été utilisés. Min. : -2, Max. : 2. Réglez à 0 pour désactiver.