Documentation sur Oracle Cloud Infrastructure

Modèle NVIDIA Nemotron compatible

Vous pouvez importer de grands modèles de langage à partir de seaux de stockage d'objets Hugging Face et OCI dans le service d'intelligence artificielle générative pour OCI, créer des points d'extrémité pour ces modèles et les utiliser dans le service d'intelligence artificielle générative.

NVIDIA Nemotron™ est une famille de modèles ouverts avec des poids ouverts, des données d'entraînement et des recettes, adaptés aux flux de travail agéntiques, au raisonnement en contexte long, aux charges de travail à volume élevé (par exemple, l'automatisation des tickets informatiques), à l'utilisation d'outils et à la RAG. Pour les modèles compatibles sur Hugging Face, voir les liens dans le tableau suivant. En savoir plus sur NVIDIA Nemotron.

NVIDIA Nemotron

Modèles NVIDIA Nemotron compatibles
ID modèle de visage Hugging Capacité du modèle Forme d'unité de grappe dédiée à l'IA recommandée
nvidia/Llama-3.1-Nemotron-Nano-8B-v1 TEXT_TO_TEXT A100_80G_X1
nvidia/Llama-3.1-Nemotron-70B-Instruction-HF TEXT_TO_TEXT A100_80G_X4
NVIDIA/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4 TEXT_TO_TEXT B200_X4;
NVIDIA/NVIDIA-Nemotron-3-Super-120B-A12B-BF16 TEXT_TO_TEXT H100_X8
NVIDIA/NVIDIA-Nemotron-3-Nano-30B-A3B-FP8 TEXTE_TO_TEXT H100_X4
NVIDIA/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 TEXTE_TO_TEXT A100_80G_X1;
Important

  • Pour les modèles importés, vous pouvez utiliser la longueur du contexte natif spécifiée par le fournisseur de modèle. Toutefois, la longueur de contexte maximale en vigueur est limitée par la configuration matérielle sous-jacente que vous sélectionnez pour les grappes d'IA dédiées à l'hébergement dans l'IA générative OCI. Pour tirer pleinement parti de la longueur du contexte natif d'un modèle, vous devrez peut-être provisionner davantage de ressources matérielles.
  • Utilisez les modèles affinés uniquement s'ils correspondent à la version du transformateur du modèle de base compatible et ont un nombre de paramètres inférieur à ± 10 % de l'original.
  • Pour le matériel disponible et les étapes de déploiement des modèles importés, voir Gestion des modèles importés.