互換NVIDIA Nemotronモデル
大規模言語モデルをHugging FaceおよびOCI Object StorageバケットからOCI生成AIにインポートし、それらのモデルのエンドポイントを作成して生成AIサービスで使用できます。
NVIDIA Nemotron™は、オープン・ウェイト、トレーニング・データ、レシピを備えたオープン・モデルのファミリで、エージェント・ワークフロー、長いコンテキストの推論、大量のワークロード(ITチケットの自動化など)、ツールの使用、RAGに適しています。Hugging Faceの互換性のあるモデルについては、次の表のリンクを参照してください。NVIDIA Nemotronについて学習します。
NVIDIA Nemotron
| Hugging FaceモデルID | モデル機能 | 推奨される専用AIクラスタ・ユニット・シェイプ |
|---|---|---|
| nvidia/Llama-3.1-Nemotronナノ8B-v1 | TEXT_TO_TEXT | A100_80G_X1 |
| nvidia/Llama-3.1-Nemotron-70B-Instruct-HF | TEXT_TO_TEXT | A100_80G_X4 |
| NVIDIA/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4 | TEXT_TO_TEXT | B200_X4 |
| NVIDIA/NVIDIA-Nemotron-3-Super-120B-A12B-BF16 | TEXT_TO_TEXT | H100_X8 |
| NVIDIA/NVIDIA-Nemotron-3-Nano-30B-A3B-FP8 | テキスト間_テキスト | H100_X4 |
| NVIDIA/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 | テキスト間_テキスト | A100_80G_X1 |
重要
- インポートされたモデルの場合は、モデル・プロバイダによって指定されたネイティブ・コンテキスト長を使用できます。ただし、効果的な最大コンテキスト長は、OCI生成AIでホスティング専用AIクラスタに選択する基礎となるハードウェア設定によって制限されます。モデルのネイティブ・コンテキスト長を最大限に活用するには、より多くのハードウェア・リソースをプロビジョニングする必要がある場合があります。
- ファインチューニング・モデルは、互換性のあるベース・モデルのトランスフォーマ・バージョンと一致し、パラメータ数が元のモデルの±10%以内である場合にのみ使用します。
- インポートされたモデルのデプロイ方法に関する使用可能なハードウェアおよびステップは、インポートされたモデルの管理を参照してください。