Documentazione dell'infrastruttura Oracle Cloud

xAI Grok 3 Fast

Il modello xai.grok-3-fast eccelle nei casi d'uso aziendali come l'estrazione dei dati, la codifica e il testo di riepilogo. Questo modello ha una profonda conoscenza del dominio in finanza, sanità, diritto e scienza.

I modelli xai.grok-3 e xai.grok-3-fast, entrambi utilizzano lo stesso modello di base e offrono la stessa qualità di risposta. La differenza sta nel modo in cui vengono serviti: il modello xai.grok-3-fast viene servito su un'infrastruttura più veloce, offrendo tempi di risposta notevolmente più veloci rispetto al modello standard xai.grok-3. La velocità aumentata viene fornita a un costo più elevato per token di output.

I modelli xai.grok-3 e xai.grok-3-fast puntano allo stesso modello di base. Selezionare xai.grok-3-fast per le applicazioni sensibili alla latenza e selezionare xai.grok-3 per ridurre i costi.

Disponibile in quest'area

  • Midwest degli Stati Uniti (Chicago) (solo su richiesta)
Importante

Chiamate tra più aree

Quando un utente inserisce una richiesta di inferenza a questo modello a Chicago, il servizio di intelligenza artificiale generativa a Chicago effettua una richiesta a questo modello ospitato a Salt Lake City e restituisce la risposta del modello a Chicago da cui proviene la richiesta di inferenza dell'utente. Vedere Modelli pre-addestrati con chiamate tra più aree.

Caratteristiche principali

  • Nome del modello in OCI Generative AI: xai.grok-3-fast
  • Disponibile su richiesta: accedi a questo modello on-demand tramite l'area di gioco della console o l'API.
  • Solo in modalità testo: immettere il testo e ottenere un output di testo. (Nessun supporto immagine.)
  • Knowledge: ha una profonda conoscenza del dominio in finance, sanità, diritto e scienza.
  • Lunghezza contesto: 131.072 token (la lunghezza massima del prompt + della risposta è di 131.072 token per ogni esecuzione). Nel parco giochi, la lunghezza della risposta è limitata a 16.000 gettoni per ogni esecuzione.
  • Escelte in questi casi d'uso: estrazione dei dati, codifica e riepilogo del testo
  • Chiamata di funzione: Sì, tramite l'API.
  • Output strutturati: Sì.
  • Motivo: n.
  • Knowledge Cutoff: novembre 2024

Data di rilascio

Modello Data rilascio beta Data rilascio disponibilità generale Data smobilizzo su richiesta Data smobilizzo modalità dedicata
xai.grok-3-fast 2.025-5-22 2.025-6-24 Provvisorio Questo modello non è disponibile per la modalità dedicata.
Importante

Per un elenco di tutte le linee temporali del modello e dei relativi dettagli, vedere Ritiro dei modelli.

Parametri modello

Per modificare le risposte del modello, è possibile modificare i valori dei seguenti parametri nell'area di gioco o nell'API.

Numero massimo di token di output

Numero massimo di token che si desidera venga generato dal modello per ogni risposta. Ogni risposta. Stima quattro caratteri per token. Poiché si sta richiedendo un modello di chat, la risposta dipende dal prompt e ogni risposta non utilizza necessariamente il numero massimo di token allocati. La lunghezza massima del prompt + output è di 131.072 token per ogni esecuzione. Nel campo di gioco, i token di output massimi sono limitati a 16.000 token per ogni esecuzione.

Temperatura

Livello di casualità utilizzato per generare il testo di output. Min: 0, Max: 2

Suggerimento

Iniziare con la temperatura impostata su 0 o meno e aumentare la temperatura quando si rigenerano i prompt per ottenere un output più creativo. Le alte temperature possono introdurre allucinazioni e informazioni di fatto errate.
Top p

Metodo di campionamento che controlla la probabilità cumulativa dei primi token da considerare per il token successivo. Assegnare a p un numero decimale compreso tra 0 e 1 per la probabilità. Ad esempio, immettere 0,75 per il primo 75% da considerare. Impostare p su 1 per considerare tutti i token.

Penalità di frequenza

Penale assegnata a un token quando tale token appare frequentemente. Le sanzioni elevate incoraggiano un minor numero di token ripetuti e producono un output più casuale.

Questa penalità può essere positiva o negativa. I numeri positivi incoraggiano il modello a utilizzare nuovi token e i numeri negativi incoraggiano il modello a ripetere i token. Min: -2, Max: 2. Impostare su 0 per disabilitare.

Penalità di presenza

Penalità assegnata a ciascun token quando viene visualizzato nell'output per incoraggiare la generazione di output con token non utilizzati. Min: -2, Max: 2. Impostare su 0 per disabilitare.