Documentazione dell'infrastruttura Oracle Cloud

Metadati modelli supportati

Puoi importare modelli di linguaggio di grandi dimensioni dai bucket di storage degli oggetti Hugging Face e OCI nell'AI generativa OCI, creare endpoint per tali modelli e utilizzarli nel servizio AI generativa.

Questi modelli sono una versione migliorata dei modelli Meta Llama con attenzione alle query raggruppate (GQA). Per ulteriori informazioni, vedere Llama 3.3 e Llama 4 nella documentazione di Hugging Face.

Meta Llama

Modelli Meta Llama supportati
ID modello viso abbraccio Capacità modello Forma unità cluster AI dedicata consigliata
meta-llama/Llama-4-Maverick-17B-128E-Instruct-FP8 IMAGE_TEXT_TO_TEXT H100_X8
meta-llama/Llama-4-Scout-17B-16E-Istruzioni IMAGE_TEXT_TO_TEXT H100_X4
meta-llama/Llama-3.3-70B-Instruct TEXT_TO_TEXT A100_80G_X4
meta-llama/Llama-3.2-3B-Istruzioni TEXT_TO_TEXT A100_80G_X1
meta-llama/Llama-3.2-1B-Istruzioni TEXT_TO_TEXT A100_80G_X1
meta-llama/Llama-3.1-8B-Istruzioni TEXT_TO_TEXT A100_80G_X1
meta-llama/Meta-Llama-3-8B-Instruct TEXT_TO_TEXT A100_80G_X1
meta-llama/Meta-Llama-3-70B-Instruct TEXT_TO_TEXT A100_80G_X4
meta-llama/Llama-2-70b-chat-hf TEXT_TO_TEXT A100_80G_X4
meta-llama/Llama-2-13b-chat-hf TEXT_TO_TEXT A100_80G_X1
meta-llama/Llama-2-7b-chat-hf TEXT_TO_TEXT A100_80G_X1
Importante

  • Sebbene sia possibile importare qualsiasi modello di chat, incorporamento (e ottimizzato) supportato da Open Model Engine (con runtime vLLM o SGLang), solo i modelli elencati in modo esplicito in questa pagina sono supportati per questa famiglia di modelli. I modelli non elencati potrebbero presentare problemi di compatibilità e si consiglia di testare qualsiasi modello non elencato prima dell'uso in produzione. Scopri di più sull'architettura del modello importato dall'AI generativa OCI.

  • I modelli importati supportano la lunghezza del contesto nativo specificata dal provider del modello. Tuttavia, la lunghezza massima effettiva del contesto è limitata anche dalla configurazione hardware di base di OCI Generative AI. Per sfruttare appieno la lunghezza del contesto nativo di un modello, potrebbe essere necessario eseguire il provisioning di più risorse hardware.
  • I modelli ottimizzati sono supportati solo se corrispondono alla versione del trasformatore del modello di base supportato e hanno un conteggio dei parametri entro ±10% dell'originale.
  • Per informazioni sull'hardware disponibile e sulla procedura per distribuire i modelli importati, vedere Gestione dei modelli importati.
  • Se la forma di unità consigliata non è disponibile nell'area, selezionare un'opzione di livello superiore. Ad esempio, se A100 non è disponibile, selezionare H100.