Documentazione dell'infrastruttura Oracle Cloud

Metadati modelli supportati

Puoi importare modelli di linguaggio di grandi dimensioni dai bucket di storage degli oggetti Hugging Face e OCI nell'AI generativa OCI, creare endpoint per tali modelli e utilizzarli nel servizio AI generativa.

Questi modelli sono una versione migliorata dei modelli Meta Llama con attenzione alle query raggruppate (GQA). Per ulteriori informazioni, vedere Llama 2, Llama 3, Llama 3.1, Llama 3.2, Llama 3.3, Llama 4 nella documentazione di Hugging Face.

Meta Llama

Modelli Meta Llama supportati
ID modello viso abbraccio Capacità modello Forma unità cluster AI dedicata consigliata
meta-llama/Llama-2-7b-chat-hf TEXT_TO_TEXT A100_80G_X1
meta-llama/Llama-2-13b-chat-hf TEXT_TO_TEXT A100_80G_X1
meta-llama/Llama-2-70b-chat-hf TEXT_TO_TEXT A100_80G_X4
meta-llama/Meta-Llama-3-8B-Instruct TEXT_TO_TEXT A100_80G_X1
meta-llama/Meta-Llama-3-70B-Instruct TEXT_TO_TEXT A100_80G_X4
meta-llama/Llama-3.1-8B-Istruzioni TEXT_TO_TEXT A100_80G_X1
meta-llama/Llama-3.1-70B-Instruct TEXT_TO_TEXT A100_80G_X4
meta-llama/Llama-3.1-405B-Instruct-FP8 TEXT_TO_TEXT H100_X8
meta-llama/Llama-3.2-1B-Istruzioni TEXT_TO_TEXT A100_80G_X1
meta-llama/Llama-3.2-3B-Istruzioni TEXT_TO_TEXT A100_80G_X1
meta-llama/Llama-3.2-11B-Vision-Instruct IMAGE_TEXT_TO_TEXT A100_80G_X1
RedHatAI/Llama-3.2-90B-Vision-Instruct-FP8-dinamico IMAGE_TEXT_TO_TEXT H100_X4
meta-llama/Llama-3.3-70B-Instruct TEXT_TO_TEXT A100_80G_X4
meta-llama/Llama-4-Maverick-17B-128E-Instruct-FP8 IMAGE_TEXT_TO_TEXT H100_X8
meta-llama/Llama-4-Scout-17B-16E-Istruzioni IMAGE_TEXT_TO_TEXT H100_X4
Nota

  • Per importare una versione ottimizzata di un modello, sono supportati solo i modelli ottimizzati che utilizzano la stessa versione dei trasformatori del modello originale e hanno un conteggio dei parametri entro ±10% dell'originale.
  • Se il tipo di istanza per la forma di unità consigliata non è disponibile nell'area, selezionare un'istanza di livello superiore (ad esempio, selezionare una forma H100 anziché una forma A100-80G).
  • Per i prerequisiti e le modalità di importazione dei modelli, vedere Gestione dei modelli importati (Nuovo).