Documentation sur Oracle Cloud Infrastructure

xAI Grok 3

Le modèle xai.grok-3 excelle dans les cas d'utilisation d'entreprise tels que l'extraction de données, le codage et la récapitulation de texte. Ce modèle possède une connaissance approfondie du domaine de la finance, des soins de santé, du droit et des sciences.

Les modèles xai.grok-3 et xai.grok-3-fast utilisent tous les deux le même modèle sous-jacent et offrent une qualité de réponse identique. La différence réside dans la façon dont ils sont servis : le modèle xai.grok-3-fast est servi sur une infrastructure plus rapide, offrant des temps de réponse nettement plus rapides que le modèle xai.grok-3 standard. La vitesse accrue a un coût plus élevé par jeton de sortie.

Les modèles xai.grok-3 et xai.grok-3-fast pointent vers le même modèle sous-jacent. Sélectionnez xai.grok-3-fast pour les applications sensibles à la latence et xai.grok-3 pour un coût réduit.

Disponible dans ces régions

  • États-Unis - Est (Ashburn) (sur demande seulement)
  • Midwest des États-Unis (Chicago) (sur demande seulement)
  • États-Unis - Ouest (Phoenix) (sur demande seulement)
Important

Appels externes

Les modèles Grok xAI sont hébergés dans un centre de données OCI, dans une location provisionnée pour xAI. Les modèles Grok xAI, accessibles au moyen du service d'intelligence artificielle générative pour OCI, sont gérés par xAI.

Principales fonctions

  • Nom du modèle dans le service d'intelligence artificielle générative pour OCI : xai.grok-3
  • Disponible sur demande : Accédez à ce modèle sur demande au moyen du terrain de jeu de la console ou de l'API.
  • Mode texte seulement : Entrez du texte et obtenez une sortie de texte. (Aucune prise en charge d'image.)
  • Connaissance : A une connaissance approfondie du domaine en finance, soins de santé, droit et science.
  • Longueur de contexte : 131 072 jetons (invite maximale + longueur de réponse est de 131 072 jetons pour conserver le contexte). Dans le terrain de jeu, la longueur de réponse est plafonnée à 16 000 jetons pour chaque course, mais le contexte reste de 131 072.
  • Excelle dans ces cas d'utilisation : Extraction de données, codage et récapitulation de texte
  • Appel de fonction : Oui, au moyen de l'API.
  • Sorties structurées : Oui.
  • A un motif : Non.

  • Jetons d'entrée mis en cache : Oui

    Note importante : La fonction d'entrée en mémoire cache est disponible à la fois dans le terrain de jeu et dans l'API. Toutefois, ces informations ne peuvent être extraites qu'au moyen de l'API.

  • Arrêt des connaissances : Novembre 2024

Limites

Jetons par minute (TPM)

Les appels d'inférence à ce modèle sont plafonnés à 100 000 jetons par minute (TPM) par client ou location.

Pour voir la limite courante d'une location, dans la console, naviguez jusqu'à Gouvernance et administration. Sous Gestion de la location, sélectionnez Limites, quotas et utilisation. Sous Service, sélectionnez Intelligence artificielle générative et vérifiez les limites de service. Pour demander une augmentation de limite de service, sélectionnez Demander une augmentation de limite de service. Pour l'augmentation de limite TPM, utilisez le nom de limite suivant : grok-3-chat-tokens-per-minute-count.

Mode sur demande

Note

Les modèles Grok sont disponibles uniquement en mode sur demande.

Nom de modèle Nom du modèle OCI Nom du produit de la page de tarification
xAI Grok 3 xai.grok-3 xAI – Grok 3
Les prix sont indiqués pour :
  • Jetons d'entrée
  • Jetons de sortie
  • Jetons d'entrée en mémoire cache
Vous pouvez accéder aux modèles fondamentaux préentraînés dans l'IA générative au moyen de deux modes : sur demande et dédié. Voici les principales fonctions du mode sur demande :

  • Vous payez à l'utilisation pour chaque appel d'inférence lorsque vous utilisez les modèles dans le terrain de jeu ou lorsque vous appelez les modèles au moyen de l'API.

  • Faible barrière pour commencer à utiliser l'IA générative.
  • Idéal pour l'expérimentation, la preuve de concept et l'évaluation de modèle.
  • Disponible pour les modèles préentraînés dans les régions non listées (grappe dédiée à l'IA uniquement).

Date de version

Modèle Date de lancement de la version bêta Date de lancement de la disponibilité générale Date de mise hors service sur demande Date de mise hors service en mode dédié
xai.grok-3 2,025-5-22 2,025-6-24 Provisoire Ce modèle n'est pas disponible pour le mode dédié.
Important

Pour obtenir la liste de toutes les lignes de temps du modèle et les détails de mise hors service, voir Mise hors service des modèles.

Paramètres du modèle

Pour modifier les réponses du modèle, vous pouvez modifier les valeurs des paramètres suivants dans le terrain de jeu ou l'API.

Nombre maximal de jetons de sortie

Nombre maximal de marqueurs que le modèle doit générer pour chaque réponse. Estimer quatre caractères par jeton. Comme vous demandez un modèle de clavardage, la réponse dépend de l'invite et chaque réponse n'utilise pas nécessairement le nombre maximal de jetons alloués. La longueur maximale de l'invite et de la sortie est de 131 072 jetons pour chaque exécution. Dans le terrain de jeu, les jetons de sortie maximum sont plafonnés à 16 000 jetons pour chaque course.

Température

Niveau de caractère aléatoire utilisé pour générer le texte de sortie. Min. : 0, Max. : 2

Conseil

Commencez avec la température réglée à 0 ou moins d'un, puis augmentez la température au fur et à mesure que vous régénérez les invites pour une sortie plus créative. Les températures élevées peuvent introduire des hallucinations et des informations factuellement incorrectes.
p premiers

Méthode d'échantillonnage qui contrôle la probabilité cumulative des jetons supérieurs à prendre en compte pour le jeton suivant. Affectez à p un nombre décimal compris entre 0 et 1 pour la probabilité. Par exemple, entrez 0,75 pour les 75 % principaux à prendre en compte. Réglez p à 1 pour prendre en compte tous les jetons.

Pénalité de fréquence

Pénalité affectée à un jeton lorsque ce jeton apparaît fréquemment. Les pénalités élevées encouragent moins de jetons répétés et produisent un résultat plus aléatoire.

Cette pénalité peut être positive ou négative. Les nombres positifs encouragent le modèle à utiliser de nouveaux jetons et les nombres négatifs encouragent le modèle à répéter les jetons. Min. : -2, Max. : 2. Réglez à 0 pour désactiver.

Pénalité de présence

Pénalité affectée à chaque jeton lorsqu'il apparaît dans la sortie pour favoriser la génération de sorties contenant des jetons qui n'ont pas été utilisés. Min. : -2, Max. : 2. Réglez à 0 pour désactiver.