Modelo NVIDIA Nemotron Compatível
Você pode importar grandes modelos de linguagem de buckets do Hugging Face e do OCI Object Storage para o OCI Generative AI, criar pontos finais para esses modelos e usá-los no serviço Generative AI.
NVIDIA Nemotron™ é uma família de modelos abertos com pesos abertos, dados de treinamento e receitas, adequados para fluxos de trabalho agênticos, raciocínio de longo contexto, cargas de trabalho de alto volume (por exemplo, automação de tíquetes de TI), uso de ferramentas e RAG. Para os modelos compatíveis no Hugging Face, consulte os links na tabela a seguir. Saiba mais sobre o NVIDIA Nemotron.
NVIDIA Nemotron
| Abraçando o ID do modelo facial | Capacidade do Modelo | Forma Recomendada da Unidade de Cluster de IA Dedicada |
|---|---|---|
| nvidia/Lhama-3.1-Nemotron-Nano-8B-v1 | TEXT_TO_TEXT | A100_80G_X1 |
| nvidia/Llama-3.1-Nemotron-70B-Instruct-HF | TEXT_TO_TEXT | A100_80G_X4 |
| NVIDIA/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4 | TEXT_TO_TEXT | B200_X4 |
| NVIDIA/NVIDIA-Nemotron-3-Super-120B-A12B-BF16 | TEXT_TO_TEXT | H100_X8 |
| NVIDIA/NVIDIA-Nemotron-3-Nano-30B-A3B-FP8 | TEXTO_PARA_TEXTO | H100_X4 |
| NVIDIA/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 | TEXTO_PARA_TEXTO | A100_80G_X1 |
Importante
- Para modelos importados, você pode usar o tamanho do contexto nativo especificado pelo provedor do modelo. No entanto, o tamanho máximo de contexto efetivo é limitado pela configuração de hardware subjacente que você seleciona para hospedar clusters de IA dedicados na OCI Generative AI. Para aproveitar ao máximo o tamanho do contexto nativo de um modelo, talvez seja necessário provisionar mais recursos de hardware.
- Use os modelos ajustados somente se eles corresponderem à versão do transformador do modelo base compatível e tiverem uma contagem de parâmetros dentro de ± 10% do original.
- Para obter o hardware disponível e as etapas sobre como implantar os modelos importados, consulte Gerenciando Modelos Importados.