Documentazione dell'infrastruttura Oracle Cloud

Modello Nemotron NVIDIA compatibile

Puoi importare modelli di linguaggio di grandi dimensioni dai bucket di storage degli oggetti Hugging Face e OCI nell'AI generativa OCI, creare endpoint per tali modelli e utilizzarli nel servizio AI generativa.

NVIDIA Nemotron™ è una famiglia di modelli aperti con pesi aperti, dati di formazione e ricette, adatti per flussi di lavoro identici, ragionamento a lungo termine, carichi di lavoro ad alto volume (ad esempio, automazione dei ticket IT), uso degli strumenti e RAG. Per i modelli compatibili su Hugging Face, vedere i collegamenti nella tabella seguente. Informazioni su NVIDIA Nemotron.

NVIDIA Nemotron

Modelli compatibili NVIDIA Nemotron
ID modello viso abbraccio Capacità modello Forma unità cluster AI dedicata consigliata
NVIDIA/NVIDIA-Nemotron-3-Super-120B-A12B-BF16 TEXT_TO_TEXT H100_X8
NVIDIA/NVIDIA-Nemotron-3-Nano-30B-A3B-FP8 TEXT_TO_TEXT H100_X4
nvidia/Llama-3.1-Nemotron-70B-Instruct-HF TEXT_TO_TEXT A100_80G_X4
NVIDIA/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 TEXT_TO_TEXT A100_80G_X1
Importante

  • Sebbene sia possibile importare qualsiasi modello di chat, incorporamento (e ottimizzato) convalidato tramite Open Model Engine (con runtime vLLM o SGLang), solo i modelli elencati in modo esplicito in questa pagina sono stati valutati da Oracle per questa famiglia di modelli rispetto ai runtime dei modelli open source e testati su configurazioni GPU supportate da Oracle. In deroga a quanto sopra, Oracle non è responsabile di eventuali problemi relativi a prestazioni, disponibilità, funzionamento o sicurezza dei Modelli Compatibili. I modelli non elencati potrebbero presentare problemi di compatibilità e si consiglia di testare qualsiasi modello non elencato prima dell'uso in produzione. Scopri di più sull'architettura del modello importato dall'AI generativa OCI.

  • Per i modelli importati, è possibile utilizzare la lunghezza del contesto nativo specificata dal provider del modello. Tuttavia, la lunghezza massima effettiva del contesto è limitata dall'impostazione hardware di base selezionata per l'hosting di cluster AI dedicati in OCI Generative AI. Per sfruttare appieno la lunghezza del contesto nativo di un modello, potrebbe essere necessario eseguire il provisioning di più risorse hardware.
  • Utilizzare i modelli ottimizzati solo se corrispondono alla versione del trasformatore del modello di base compatibile e hanno un conteggio dei parametri entro ±10% dell'originale.
  • Per informazioni sull'hardware disponibile e sulla procedura per distribuire i modelli importati, vedere Gestione dei modelli importati.
  • Se una forma consigliata non è disponibile in un'area, selezionare l'alternativa più vicina disponibile. Ad esempio, se H100_X2 non è disponibile ma A100_80G_X2 è, selezionare A100_80G_X2. Se sono disponibili entrambe le forme H100 e A100, selezionare H100 per ottenere prestazioni migliori.