Modèle NVIDIA Nemotron validé
Vous pouvez importer des modèles de langage volumineux à partir de buckets Hugging Face et OCI Object Storage dans OCI Generative AI, créer des adresses pour ces modèles et les utiliser dans le service d'IA générative.
NVIDIA Nemotron™ est une famille de modèles ouverts avec des poids ouverts, des données d'entraînement et des recettes adaptées aux flux de travail agénétiques, au raisonnement en contexte long, aux charges de travail volumineuses (par exemple, automatisation des tickets informatiques), à l'utilisation d'outils et à la RAG. Pour les modèles validés sur Hugging Face, reportez-vous aux liens du tableau suivant. En savoir plus sur NVIDIA Nemotron.
NVIDIA Nemotron
| ID modèle Hugging Face | Capacité du modèle | Forme d'unité de cluster d'IA dédiée recommandée |
|---|---|---|
| NVIDIA/NVIDIA-Nemotron-3-Super-120B-A12B-BF16 | TEXT_TO_TEXT | H100_X8 |
| NVIDIA/NVIDIA-Nemotron-3-Nano-30B-A3B-FP8 | TEXT_TO_TEXT | H100_X4 |
| nvidia/Llama-3.1-Némotron-70B-Instruct-HF | TEXT_TO_TEXT | A100_80G_X4 |
| NVIDIA/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 | TEXT_TO_TEXT | A100_80G_X1 |
-
Bien que vous puissiez importer n'importe quel modèle de discussion, d'intégration (et de réglage fin) validé via Open Model Engine (avec exécution vLLM ou SGLang), seuls les modèles explicitement répertoriés sur cette page sont validés pour cette famille de modèles. Les modèles non répertoriés peuvent présenter des problèmes de compatibilité et nous vous recommandons de tester tous les modèles non répertoriés avant leur utilisation en production. Découvrez l'architecture de modèle importée d'OCI Generative AI.
- Pour les modèles importés, vous pouvez utiliser la longueur de contexte native indiquée par le fournisseur de modèle. Cependant, la longueur de contexte maximale effective est limitée par la configuration matérielle sous-jacente que vous sélectionnez pour l'hébergement de clusters d'IA dédiés dans OCI Generative AI. Pour tirer pleinement parti de la longueur du contexte natif d'un modèle, vous devrez peut-être provisionner davantage de ressources matérielles.
- Utilisez les modèles affinés uniquement s'ils correspondent à la version du transformateur du modèle de base validé et ont un nombre de paramètres inférieur à ±10 % de l'original.
- Pour connaître le matériel disponible et connaître les étapes de déploiement des modèles importés, reportez-vous à Gestion des modèles importés.
- Si la forme d'unité validée n'est pas disponible dans la région, sélectionnez une option de niveau supérieur. Par exemple, si A100 n'est pas disponible, sélectionnez H100.