Modello Mistral supportato
Puoi importare modelli di linguaggio di grandi dimensioni dai bucket di storage degli oggetti Hugging Face e OCI nell'AI generativa OCI, creare endpoint per tali modelli e utilizzarli nel servizio AI generativa.
Questi modelli hanno un'architettura Transformer ad alte prestazioni e solo decodificatore con Sliding Window Attention (SWA) per una gestione efficiente del lungo contesto e un'attenzione alle query raggruppate (GQA) opzionale per una maggiore scalabilità. Per ulteriori dettagli, vedere Mistral nella documentazione di Hugging Face.
Mistral
| ID modello viso abbraccio | Capacità modello | Forma unità cluster AI dedicata consigliata |
|---|---|---|
| intfloat/e5-mistral-7b-istruzioni | INTEGRAZIONE | A10_X1 |
Nota
- Per importare una versione ottimizzata di un modello, sono supportati solo i modelli ottimizzati che utilizzano la stessa versione dei trasformatori del modello originale e hanno un conteggio dei parametri entro ±10% dell'originale.
- Se il tipo di istanza per la forma di unità consigliata non è disponibile nell'area, selezionare un'istanza di livello superiore (ad esempio, selezionare una forma H100 anziché una forma A100-80G).
- Per i prerequisiti e le modalità di importazione dei modelli, vedere Gestione dei modelli importati (Nuovo).