互換性のあるNVIDIA Nemotronモデル
大規模言語モデルをHugging FaceおよびOCI Object StorageバケットからOCI生成AIにインポートし、それらのモデルのエンドポイントを作成して生成AIサービスで使用できます。
モデルを選択する前に、このページのモデル表に従って、互換性のあるハードウェア・ユニット・シェイプを選択し、インポートされたモデルをホストする専用AIクラスタの請求を理解するためのガイダンスを確認します。
NVIDIA Nemotron™は、オープン・ウェイト、トレーニング・データ、レシピを備えたオープン・モデルのファミリで、エージェント・ワークフロー、長いコンテキストの推論、大量のワークロード(ITチケットの自動化など)、ツールの使用、RAGに適しています。Hugging Faceの互換性のあるモデルについては、次の表のリンクを参照してください。NVIDIA Nemotronについて学習します。
NVIDIA Nemotron
| Hugging FaceモデルID | モデル機能 | 最小専用AIクラスタ・ユニット・シェイプ | ノート |
|---|---|---|---|
| NVIDIA/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 | TEXT_TO_TEXT |
|
- |
| NVIDIA/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4 | TEXT_TO_TEXT |
|
- |
| NVIDIA/NVIDIA-Nemotron-3-Super-120B-A12B-NVFP4 | TEXT_TO_TEXT | B200_X1 | - |
| nvidia/Llama-3.1-Nemotronナノ8B-v1 | TEXT_TO_TEXT | A100_80G_X1 | - |
| nvidia/Llama-3.1-Nemotron-70B-Instruct-HF | テキスト間_テキスト | A100_80G_X4 | - |
| NVIDIA/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4 | テキスト間_テキスト | B200_X4 | - |
| NVIDIA/NVIDIA-Nemotron-3-Super-120B-A12B-BF16 | テキスト間_テキスト | H100_X8 | - |
| NVIDIA/NVIDIA-Nemotron-3-Nano-30B-A3B-FP8 | テキスト間_テキスト | H100_X4 | - |
| NVIDIA/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 | テキスト間_テキスト | A100_80G_X1 | - |
- インポートされたモデルの場合は、モデル・プロバイダによって指定されたネイティブ・コンテキスト長を使用できます。ただし、効果的な最大コンテキスト長は、OCI生成AIでホスティング専用AIクラスタに選択する基礎となるハードウェア設定によって制限されます。モデルのネイティブ・コンテキスト長を最大限に活用するには、より多くのハードウェア・リソースをプロビジョニングする必要がある場合があります。
- ファインチューニング・モデルは、互換性のあるベース・モデルのトランスフォーマ・バージョンと一致し、パラメータ数が元のモデルの±10%以内である場合にのみ使用します。
- インポートしたモデルをホストできる場所を決定するには、このページの表でモデルの互換性のあるユニット・シェイプを見つけ、「リージョン別のハードウェア・ユニット・シェイプ」のターゲット・リージョンでハードウェア・シェイプが使用可能であることを確認します。モデルをリージョンでホストできるのは、リージョンがそのモデルにリストされたハードウェア・シェイプを提供する場合のみです。
- インポートされたモデルをデプロイするステップは、「インポートされたモデルの管理」を参照してください。
インポートされたモデルをホストする専用AIクラスタの請求
インポートされたモデルをホストする専用AIクラスタでは、OCI Generative AIで利用可能な事前トレーニング済みモデルをホストする専用AIクラスタに適用される744ユニットの最小コミットメントは必要ありません。かわりに、インポートされたモデルの専用AIクラスタには、請求可能な最小期間は1時間です。たとえば、1つのAIユニットを使用し、30分間実行されるクラスタは、1つのAIユニット時間に対して請求されます。
最初の1時間後、料金はクラスタの実際の稼働時間に基づいており、ミリ秒に按分されます。たとえば、1時間1分間実行されるクラスタは、2時間ではなく、その期間について請求されます。
OCIは、クラスタの実行中に5分ごとに使用量レコードをMetering and Billingに送信します。最小1時間に達する前にクラスタが削除された場合、OCIは最小値を満たすまで請求可能な使用量を報告し続けます。クラスタが1時間以上実行された場合、OCIはクラスタが削除されるまで、使用状況レコードの送信を5分ごとに続けます。