Modelli Mistral compatibili
Puoi importare modelli di linguaggio di grandi dimensioni dai bucket di storage degli oggetti Hugging Face e OCI nell'AI generativa OCI, creare endpoint per tali modelli e utilizzarli nel servizio AI generativa.
Prima di selezionare un modello, esaminare le istruzioni riportate nelle tabelle modello in questa pagina per selezionare una forma di unità hardware compatibile e comprendere la fatturazione per i cluster AI dedicati che ospitano i modelli importati.
Questi modelli hanno un'architettura Transformer ad alte prestazioni e solo decodificatore con Sliding Window Attention (SWA) per una gestione efficiente del lungo contesto e un'attenzione alle query raggruppate (GQA) opzionale per una maggiore scalabilità. Per ulteriori dettagli, vedere Mistral nella documentazione di Hugging Face.
Mistral
| ID modello viso abbraccio | Capacità modello | Forma unità cluster AI dedicata minima |
|---|---|---|
| mistralai/Magistral-Piccolo-2509 | TEXT_TO_TEXT |
|
| Mistralai/Mistral-Medium-3.5-128B | TEXT_TO_TEXT |
|
| mistralai/Devstral-2-123B-Instruct-2512 | TEXT_TO_TEXT |
|
| mistralai/Mixtral-8x7B-Instruct-v0.1 | TEXT_TO_TEXT | A100_80G_X2 |
| Mistralai/Mistral-Nemo-Instruct-2407 | TEXT_TO_TEXT | A100_80G_X1 |
| mistralai/Mistral-7B-Instruct-v0.3 | TESTO_A_TESTO | A100_80G_X1 |
| mistralai/Mistral-7B-Instruct-v0.2 | TESTO_A_TESTO | A100_80G_X1 |
| mistralai/Mistral-7B-Instruct-v0.1 | TESTO_A_TESTO | A100_80G_X1 |
| intfloat/e5-mistral-7b-istruzioni | INTEGRAZIONE | A10_X1 |
- Per i modelli importati, è possibile utilizzare la lunghezza del contesto nativo specificata dal provider del modello. Tuttavia, la lunghezza massima effettiva del contesto è limitata dall'impostazione hardware di base selezionata per l'hosting dei cluster AI dedicati in OCI Generative AI. Per sfruttare appieno la lunghezza del contesto nativo di un modello, potrebbe essere necessario eseguire il provisioning di più risorse hardware.
- Requisiti del modello ottimizzati
È possibile ottimizzare i modelli di base supportati elencati in questa pagina al di fuori dell'AI generativa OCI e importare i modelli risultanti se soddisfano i requisiti seguenti:
- Il modello ottimizzato deve utilizzare la stessa versione di Hugging Face Transformers del modello di base supportato. Per una spiegazione del campo di metadati
transformers_versioninconfig.json, vedere Comprendere i metadati di configurazione. - Il conteggio totale dei parametri deve essere compreso tra ±10% del modello di base originale.
Per i modelli ottimizzati con
LoRA:- Prima della distribuzione, unire i pesi dell'adattatore
LoRAnel modello di base. - È possibile unire automaticamente i pesi utilizzando PEFT o un repository o uno strumento simile.
- L'unione rende il modello trasparente al motore di servizio e fornisce le migliori prestazioni.
- Ogni modello ottimizzato può contenere i pesi uniti di una sola scheda
LoRA.
Per informazioni sulla preparazione dell'esportazione, sui controlli dei tipi di dati e sulla Guida sugli errori di convalida, vedere Importazione di modelli ottimizzati.
- Il modello ottimizzato deve utilizzare la stessa versione di Hugging Face Transformers del modello di base supportato. Per una spiegazione del campo di metadati
- Per decidere dove ospitare un modello importato, trovare una forma di unità compatibile per il modello nella tabella in questa pagina, quindi verificare che la forma hardware sia disponibile nell'area di destinazione in Forme unità hardware per area. Un modello può essere ospitato in un'area solo quando l'area fornisce una forma hardware elencata per tale modello.
- Per i passi su come distribuire i modelli importati, vedere Gestione dei modelli importati.
- Per sostituire un modello in un cluster AI dedicato hosting esistente, vedere Switching Models on Dedicated AI Clusters.
Fatturazione per cluster AI dedicati che ospitano modelli importati
I cluster AI dedicati che ospitano modelli importati non richiedono l'impegno minimo di 744 ore che si applica AI cluster AI dedicati che ospitano modelli pre-addestrati disponibili nell'AI generativa OCI. Invece, un cluster AI dedicato modello importato ha una durata fatturabile minima di un'ora. Ad esempio, un cluster che utilizza un'unità AI ed è in esecuzione per 30 minuti viene fatturato per un'unità oraria AI.
Dopo la prima ora, i costi si basano sul tempo di esecuzione effettivo del cluster e vengono ripartiti proporzionalmente al millisecondo. Ad esempio, un cluster che viene eseguito per un'ora e un minuto viene fatturato per tale durata, anziché per due ore complete.
OCI invia record d'uso alla misurazione e alla fatturazione ogni cinque minuti durante l'esecuzione del cluster. Se il cluster viene eliminato prima del raggiungimento del valore minimo di un'ora, OCI continua a generare report sull'uso fatturabile fino a quando non viene raggiunto il valore minimo. Se il cluster viene eseguito per più di un'ora, OCI continua a inviare record di utilizzo ogni cinque minuti fino all'eliminazione del cluster.