互換性のあるNVIDIA Nemotronモデル

大規模言語モデルをHugging FaceおよびOCI Object StorageバケットからOCI生成AIにインポートし、それらのモデルのエンドポイントを作成して生成AIサービスで使用できます。

ノート

リストされた最小専用AIクラスタ・ユニット・シェイプでは、リージョンの可用性は確認されません。デプロイメントを計画する前に、ターゲット・リージョンでハードウェアが使用可能であることを確認します。ロールアウト・タイムラインは、ソブリン・クラウドや政府リージョンなど、リージョン間で異なる場合があります。インポートされたモデルのリージョン可用性ガイダンスを参照してください。

互換性のあるハードウェア・ユニット・シェイプを選択し、インポートされたモデルをホストする専用AIクラスタの請求を理解するには、このページのモデル表の後のガイダンスを確認してください。

NVIDIA Nemotron™は、オープン・ウェイト、トレーニング・データ、レシピを備えたオープン・モデルのファミリで、エージェント・ワークフロー、長いコンテキストの推論、大量のワークロード(ITチケットの自動化など)、ツールの使用、RAGに適しています。Hugging Faceの互換性のあるモデルについては、次の表のリンクを参照してください。NVIDIA Nemotronについて学習します。

NVIDIA Nemotron

各モデルにリストされている最小単位シェイプは、サポートされているハードウェア・ファミリに適用されます。ハードウェアの可用性はリージョンによって異なります。Hardware Unit Shapes by Regionを参照してください。

政府リージョンの可用性は、「ノート」列で識別されます。ダッシュは、モデルがOC2またはOC3でインポートできないことを示します。

互換性のあるNVIDIA Nemotronモデル
Hugging FaceモデルID モデル機能 最小専用AIクラスタ・ユニット・シェイプ ノート
NVIDIA/NVIDIA-Nemotron-3.5- スーパーVL-120B-A12B-NVFP4 IMAGE_TEXT_TO_TEXT
  • H100_X2
  • H200_X2
-
RedHatAI/NVIDIA-Nemotron-3-Ultra-550B-A55B-FP8- 動的 TEXT_TO_TEXT
  • H100_X8
  • H200_X4
-
NVIDIA/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 TEXT_TO_TEXT
  • A100_40G_X2
  • A100_80G_X1
  • H100_X1
  • H200_X1
  • B200_X1
-
NVIDIA/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4 TEXT_TO_TEXT
  • H100_X1
  • H200_X1
  • B200_X1
-
NVIDIA/NVIDIA-Nemotron-3-Super-120B-A12B-NVFP4 TEXT_TO_TEXT B200_X1 -
nvidia/Llama-3.1-Nemotronナノ8B-v1 テキスト間_テキスト
  • A10_X1
  • A100_40G_X1
  • A100_80G_X1
  • H100_X1
  • H200_X1
-
nvidia/Llama-3.1-Nemotron-70B-Instruct-HF テキスト間_テキスト
  • A100_80G_X4
  • H100_X4
  • H200_X2
-
NVIDIA/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4 テキスト間_テキスト
  • H100_X8
  • H200_X4
  • B200_X2
  • B300_X2
米国政府西部(フェニックス)(OC2)および米国DoD西部(フェニックス)(OC3)でのインポートに使用できます。両方のリージョンの最小単位シェイプはB300_X2です。
NVIDIA/NVIDIA-Nemotron-3-Super-120B-A12B-BF16 テキスト間_テキスト
  • A100_40G_X8
  • A100_80G_X4
  • H100_X4
  • H200_X2
  • B200_X2
  • B300_X2
米国政府西部(フェニックス)(OC2)および米国DoD西部(フェニックス)(OC3)でのインポートに使用できます。両方のリージョンの最小単位シェイプはB300_X2です。
NVIDIA/NVIDIA-Nemotron-3-Nano-30B-A3B-FP8 テキスト間_テキスト H100_X4 -
NVIDIA/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 TEXT_TO_TEXT
  • A10_X4
  • A100_40G_X2
  • A100_80G_X1
  • H100_X1
  • H200_X1
-
重要

  • インポートされたモデルの場合は、モデル・プロバイダによって指定されたネイティブ・コンテキスト長を使用できます。ただし、効果的な最大コンテキスト長は、OCI生成AIでホスティング専用AIクラスタに選択する基礎となるハードウェア設定によって制限されます。モデルのネイティブ・コンテキスト長を最大限に活用するには、より多くのハードウェア・リソースをプロビジョニングする必要がある場合があります。
  • ファインチューニング・モデル要件

    OCI生成AI以外でこのページにリストされているサポートされているベース・モデルを微調整し、結果モデルが次の要件を満たしている場合はインポートできます。

    • エクスポートされたモデルのconfig.json内のtransformers_versionメタデータは、サポートされているベース・モデルのバージョン要件と一致する必要があります。この記録された値は、トレーニング環境に現在インストールされているTransformersライブラリとは別のものです。新しいインストール済みライブラリだけでは、インポートの互換性は確立されません。構成メタデータおよびインポート・エラーのトラブルシューティングを参照してください。
    • パラメータの合計数は、元のベースモデルの±10%以内である必要があります。

    LoRAでファインチューニングされたモデルの場合:

    • デプロイメントの前に、LoRAアダプタの重みをベース・モデルにマージします。
    • PEFTまたは同様のリポジトリまたはツールを使用して、重みを自動的にマージできます。
    • マージにより、モデルはサービング・エンジンに対して透過的になり、最高のパフォーマンスが得られます。
    • 各ファインチューニング・モデルには、1つのLoRAアダプタのマージされた重みのみを含めることができます。

    エクスポートの準備、データ型のチェックおよび検証エラーのヘルプについては、ファインチューニング・モデルのインポートを参照してください。

  • インポートされたモデルのホスティング・リージョンを選択するには、このページの表で互換性のあるユニット・シェイプを検索し、リージョン別のハードウェア・ユニット・シェイプでハードウェアの可用性を確認します。デプロイメントを計画する前に、インポートされたモデルのリージョン可用性ガイダンスを確認してください。
  • インポートされたモデルをデプロイするステップは、「インポートされたモデルの管理」を参照してください。
  • 既存のホスティング専用AIクラスタのモデルを置き換えるには、専用AIクラスタでのモデルの切替えを参照してください。
ノート

インポートされたモデルをホストする専用AIクラスタの請求

インポートされたモデルをホストする専用AIクラスタでは、OCI Generative AIで利用可能な事前トレーニング済みモデルをホストする専用AIクラスタに適用される744ユニットの最小コミットメントは必要ありません。かわりに、インポートされたモデルの専用AIクラスタには、請求可能な最小期間は1時間です。たとえば、1つのAIユニットを使用し、30分間実行されるクラスタは、1つのAIユニット時間に対して請求されます。

最初の1時間後、料金はクラスタの実際の稼働時間に基づいており、ミリ秒に按分されます。たとえば、1時間1分間実行されるクラスタは、2時間ではなく、その期間について請求されます。

OCIは、クラスタの実行中に5分ごとに使用量レコードをMetering and Billingに送信します。最小1時間に達する前にクラスタが削除された場合、OCIは最小値を満たすまで請求可能な使用量を報告し続けます。クラスタが1時間以上実行された場合、OCIはクラスタが削除されるまで、使用状況レコードの送信を5分ごとに続けます。