Oracle Cloud Infrastructure-Dokumentation

Unterstützte Meta-Modelle

Sie können große Sprachmodelle aus Hugging Face- und OCI Object Storage-Buckets in OCI Generative AI importieren, Endpunkte für diese Modelle erstellen und im generativen KI-Service verwenden.

Diese Modelle sind eine verbesserte Version von Meta Llama-Modellen mit Grouped Query Attention (GQA). Weitere Informationen finden Sie in der Hugging Face-Dokumentation unter Llama 2, Llama 3, Llama 3.1, Llama 3.2, Llama 3.3, Llama 4.

Meta Llama

Unterstützte Meta Llama-Modelle
Umarmende Gesichtsmodell-ID Modellfähigkeit Empfohlene Ausprägung der dedizierten KI-Clustereinheit
meta-llama/Llama-2-7b-chat-hf TEXT_TO_TEXT A100_80G_X1
meta-llama/Llama-2-13b-chat-hf TEXT_TO_TEXT A100_80G_X1
meta-llama/Llama-2-70b-chat-hf TEXT_TO_TEXT A100_80G_X4
meta-llama/Meta-Llama-3-8B-Instanz TEXT_TO_TEXT A100_80G_X1
meta-llama/Meta-Llama-3-70B-Instanz TEXT_TO_TEXT A100_80G_X4
meta-llama/Llama-3.1-8B-Instanz TEXT_TO_TEXT A100_80G_X1
meta-llama/Llama-3.1-70B-Instanz TEXT_TO_TEXT A100_80G_X4
meta-llama/Llama-3.1-405B-Instruct-FP8 TEXT_TO_TEXT H100_X8
meta-llama/Llama-3.2-1B-Instanz TEXT_TO_TEXT A100_80G_X1
meta-llama/Llama-3.2-3B-Instanz TEXT_TO_TEXT A100_80G_X1
meta-llama/Llama-3.2-11B-Vision-Instruct IMAGE_TEXT_TO_TEXT A100_80G_X1
RedHatAI/Llama-3.2-90B-Vision-Instruct-FP8-dynamisch IMAGE_TEXT_TO_TEXT H100_X4
meta-llama/Llama-3.3-70B-Instanz TEXT_TO_TEXT A100_80G_X4
meta-llama/Llama-4-Maverick-17B-128E-Instruct-FP8 IMAGE_TEXT_TO_TEXT H100_X8
meta-llama/Llama-4-Scout-17B-16E-Instanz IMAGE_TEXT_TO_TEXT H100_X4
Hinweis

  • Um eine fein abgestimmte Version eines Modells zu importieren, werden nur fein abgestimmte Modelle unterstützt, die dieselbe Transformatorversion wie das Originalmodell verwenden und eine Parameteranzahl innerhalb von ±10% des Originals haben.
  • Wenn der Instanztyp für die empfohlene Einheitenausprägung in Ihrer Region nicht verfügbar ist, wählen Sie eine Instanz der höheren Ebene aus (Beispiel: Wählen Sie eine Ausprägung H100 anstelle einer Ausprägung A100-80G aus).
  • Voraussetzungen und das Importieren von Modellen finden Sie unter Importierte Modelle verwalten (Neu).