Metadati compatibili
Puoi importare modelli di linguaggio di grandi dimensioni dai bucket di storage degli oggetti Hugging Face e OCI nell'AI generativa OCI, creare endpoint per tali modelli e utilizzarli nel servizio AI generativa.
Meta Llama
I seguenti modelli sono una versione migliorata dei modelli Meta Llama con attenzione alle query raggruppate (GQA). Per ulteriori informazioni, vedere Llama 3.3 e Llama 4 nella documentazione di Hugging Face.
| ID modello viso abbraccio | Capacità modello | Forma unità cluster AI dedicata consigliata |
|---|---|---|
| meta-llama/Llama-4-Maverick-17B-128E-Instruct-FP8 | IMAGE_TEXT_TO_TEXT | H100_X8 |
| meta-llama/Llama-4-Scout-17B-16E-Istruzioni | IMAGE_TEXT_TO_TEXT | H100_X4 |
| meta-llama/Llama-3.3-70B-Instruct | TEXT_TO_TEXT | A100_80G_X4 |
| meta-llama/Llama-3.2-3B-Istruzioni | TEXT_TO_TEXT | A100_80G_X1 |
| meta-llama/Llama-3.2-1B-Istruzioni | TEXT_TO_TEXT | A100_80G_X1 |
| meta-llama/Llama-3.1-8B-Istruzioni | TEXT_TO_TEXT | A100_80G_X1 |
| meta-llama/Meta-Llama-3-8B-Instruct | TEXT_TO_TEXT | A100_80G_X1 |
| meta-llama/Meta-Llama-3-70B-Instruct | TEXT_TO_TEXT | A100_80G_X4 |
| meta-llama/Llama-2-70b-chat-hf | TEXT_TO_TEXT | A100_80G_X4 |
| meta-llama/Llama-2-13b-chat-hf | TEXT_TO_TEXT | A100_80G_X1 |
| meta-llama/Llama-2-7b-chat-hf | TEXT_TO_TEXT | A100_80G_X1 |
Importante
- Per i modelli importati, è possibile utilizzare la lunghezza del contesto nativo specificata dal provider del modello. Tuttavia, la lunghezza massima effettiva del contesto è limitata dall'impostazione hardware di base selezionata per l'hosting dei cluster AI dedicati in OCI Generative AI. Per sfruttare appieno la lunghezza del contesto nativo di un modello, potrebbe essere necessario eseguire il provisioning di più risorse hardware.
- Utilizzare i modelli ottimizzati solo se corrispondono alla versione del trasformatore del modello di base compatibile e hanno un conteggio dei parametri entro ±10% dell'originale.
- Per informazioni sull'hardware disponibile e sulla procedura per distribuire i modelli importati, vedere Gestione dei modelli importati.