xAI Grok 3 Fast
Il modello xai.grok-3-fast eccelle nei casi d'uso aziendali come l'estrazione dei dati, la codifica e il testo di riepilogo. Questo modello ha una profonda conoscenza del dominio in finanza, sanità, diritto e scienza.
I modelli xai.grok-3 e xai.grok-3-fast, entrambi utilizzano lo stesso modello di base e offrono la stessa qualità di risposta. La differenza sta nel modo in cui vengono serviti: il modello xai.grok-3-fast viene servito su un'infrastruttura più veloce, offrendo tempi di risposta notevolmente più veloci rispetto al modello standard xai.grok-3. La velocità aumentata viene fornita a un costo più elevato per token di output.
I modelli xai.grok-3 e xai.grok-3-fast puntano allo stesso modello di base. Selezionare xai.grok-3-fast per le applicazioni sensibili alla latenza e selezionare xai.grok-3 per ridurre i costi.
Disponibile in queste aree
- US East (Ashburn) (solo on-demand)
- Midwest degli Stati Uniti (Chicago) (solo su richiesta)
- US West (Phoenix) (solo on-demand)
Chiamate esterne
I modelli xAI Grok a cui è possibile accedere tramite il servizio OCI Generative AI sono ospitati esternamente da xAI. Pertanto, una chiamata a un modello xAI Grok (tramite il servizio OCI Generative AI) determina una chiamata a una posizione xAI.
Caratteristiche principali
- Nome del modello in OCI Generative AI:
xai.grok-3-fast - Disponibile su richiesta: accedi a questo modello on-demand tramite l'area di gioco della console o l'API.
- Solo in modalità testo: immettere il testo e ottenere un output di testo. (Nessun supporto immagine.)
- Knowledge: ha una profonda conoscenza del dominio in finance, sanità, diritto e scienza.
- Lunghezza contesto: 131.072 token (la lunghezza massima del prompt + della risposta è di 131.072 token per ogni esecuzione). Nel parco giochi, la lunghezza della risposta è limitata a 16.000 gettoni per ogni esecuzione.
- Escelte in questi casi d'uso: estrazione dei dati, codifica e riepilogo del testo
- Chiamata di funzione: Sì, tramite l'API.
- Output strutturati: Sì.
- Motivo: n.
- Knowledge Cutoff: novembre 2024
Limiti
- Token al minuto (TPM)
-
Le chiamate di inferenza a questo modello hanno un limite di 100.000 token al minuto (TPM) per cliente o tenancy.
Per visualizzare il limite corrente per la tenancy, nella console andare a Governance e amministrazione. In Gestione tenancy selezionare Limiti, quote e uso. In Servizio, selezionare AI generativa e rivedere i limiti del servizio. Per richiedere un aumento del limite del servizio, selezionare Richiedere un aumento del limite del servizio. Per l'aumento del limite TPM, utilizzare il nome limite seguente:
grok-3-chat-tokens-per-minute-count.
Modalità su richiesta
-
È possibile pagare man mano per ogni chiamata di inferenza quando si utilizzano i modelli nell'area di gioco o quando si chiamano i modelli tramite l'API.
- Barriera bassa per iniziare a utilizzare l'intelligenza artificiale generativa.
- Ottimo per sperimentare, dimostrare i concetti e valutare i modelli.
- Disponibile per i modelli pre-addestrati in aree non elencate come (solo cluster AI dedicato).
Per garantire un accesso affidabile AI modelli di intelligenza artificiale generativa in modalità on-demand, si consiglia di implementare una strategia di back-off, che prevede il ritardo delle richieste dopo un rifiuto. Senza una richiesta, le ripetute richieste rapide possono portare a ulteriori rifiuti nel tempo, a una maggiore latenza e a un potenziale blocco temporaneo del client da parte del servizio di intelligenza artificiale generativa. Utilizzando una strategia di back-off, ad esempio una strategia di back-off esponenziale, puoi distribuire le richieste in modo più uniforme, ridurre il carico e migliorare il successo dei nuovi tentativi, seguendo le best practice del settore e migliorando la stabilità e le prestazioni complessive della tua integrazione nel servizio.
I modelli Grok sono disponibili solo in modalità su richiesta.
Vedere la tabella riportata di seguito per il nome del prodotto di questo modello nella pagina Determinazione prezzi.
| Nome modello | Nome modello OCI | Nome prodotto pagina determinazione prezzi |
|---|---|---|
| xAI Grok 3 Fast | xai.grok-3-fast |
xAI – Grok 3 Fast |
Data di rilascio
| Modello | Data rilascio beta | Data rilascio disponibilità generale | Data smobilizzo su richiesta | Data smobilizzo modalità dedicata |
|---|---|---|---|---|
xai.grok-3-fast |
2.025-5-22 | 2.025-6-24 | Provvisorio | Questo modello non è disponibile per la modalità dedicata. |
Per un elenco di tutte le linee temporali del modello e dei relativi dettagli, vedere Ritiro dei modelli.
Parametri modello
Per modificare le risposte del modello, è possibile modificare i valori dei seguenti parametri nell'area di gioco o nell'API.
- Numero massimo di token di output
-
Numero massimo di token che si desidera venga generato dal modello per ogni risposta. Ogni risposta. Stima quattro caratteri per token. Poiché si sta richiedendo un modello di chat, la risposta dipende dal prompt e ogni risposta non utilizza necessariamente il numero massimo di token allocati. La lunghezza massima del prompt + output è di 131.072 token per ogni esecuzione. Nel campo di gioco, i token di output massimi sono limitati a 16.000 token per ogni esecuzione.
- Temperatura
-
Livello di casualità utilizzato per generare il testo di output. Min: 0, Max: 2
Suggerimento
Iniziare con la temperatura impostata su 0 o meno e aumentare la temperatura quando si rigenerano i prompt per ottenere un output più creativo. Le alte temperature possono introdurre allucinazioni e informazioni di fatto errate. - Top p
-
Metodo di campionamento che controlla la probabilità cumulativa dei primi token da considerare per il token successivo. Assegnare a
pun numero decimale compreso tra 0 e 1 per la probabilità. Ad esempio, immettere 0,75 per il primo 75% da considerare. Impostarepsu 1 per considerare tutti i token. - Penalità di frequenza
-
Penale assegnata a un token quando tale token appare frequentemente. Le sanzioni elevate incoraggiano un minor numero di token ripetuti e producono un output più casuale.
Questa penalità può essere positiva o negativa. I numeri positivi incoraggiano il modello a utilizzare nuovi token e i numeri negativi incoraggiano il modello a ripetere i token. Min: -2, Max: 2. Impostare su 0 per disabilitare.
- Penalità di presenza
-
Penalità assegnata a ciascun token quando viene visualizzato nell'output per incoraggiare la generazione di output con token non utilizzati. Min: -2, Max: 2. Impostare su 0 per disabilitare.