Oracle Cloud Infrastructureドキュメント

モデルのホスティングのための専用AIクラスタを作成する

OCI生成AIで専用のAIクラスタ・リソースを作成し、事前トレーニング済ベース・モデル、カスタム・モデルまたはインポート済モデルのエンドポイントをホストします。

ホスティング専用AIクラスタは、モデル推論用のコンピュート・リソースを提供します。クラスタの作成時に選択したモデルまたはベース・モデルとユニット・シェイプによって、どのモデルと互換性があるかが決まります。クラスタがアクティブになったら、ホストされたモデルにアクセスするためのモデル・エンドポイントを1つ以上作成します。

重要

  • オンデマンドで使用不可:テキスト生成APIおよび要約API(プレイグラウンドを含む)を使用するオンデマンド・サービング・モードでサポートされているすべてのOCI生成AI基礎事前トレーニング済モデルが廃止されました。かわりにチャット・モデルを使用することをお薦めします。
  • クラスタでホスト可能:集計または生成モデル(cohere.commandなど)を専用AIクラスタ(専用サービング・モード)でホストする場合、廃止するまでそのモデルを引き続き使用できます。これらのモデルは、専用AIクラスタでホストされている場合、米国中西部(シカゴ)でのみ使用可能です。APIが使用できなくなった日付は、生成AIの非推奨APIを参照してください。
    1. 「専用AIクラスタ」リスト・ページで、「専用AIクラスタの作成」を選択します。リスト・ページの検索に関するヘルプが必要な場合は、専用AIクラスタのリストを参照してください。
    2. 専用AIクラスタを作成するコンパートメントを選択します。デフォルト・コンパートメントはリスト・ページと同じですが、作業する権限がある任意のコンパートメントを選択できます。
    3. (オプション)クラスタの名前と説明を入力します。名前を入力しない場合は、後で変更できる名前が生成されます。

      生成された名前の形式はgenerativeaidedicatedaicluster<timestamp>です。例: generativeaidedicatedaicluster20250922181431

    4. 「クラスタ・タイプ」で、「ホスティング」を選択します。
    5. 「ベース・モデル」で、次のいずれかを選択します。
      • ホスティングしている事前トレーニング済の基礎モデル。
      • 基礎モデルから微調整されたカスタム・モデルを使用する場合は、トレーニングした元の基礎(ベース)モデルを選択します。
      • インポートしたモデルを使用する場合は、インポートしたモデルを選択します。
    6. インポートされたモデルを選択した場合は、推奨される「単位サイズ」を選択します。
      ユニット・サイズの推奨事項については、「インポートの互換性のあるモデル」に移動し、モデルを選択します。

      ユニット・シェイプ名には、インスタンス・タイプとカード数の2つの部分があります。例: H100_X1 = H100 with 1 card。A100の場合、A100-80GとA100-40Gの両方が使用可能であり、名前(80Gまたは40G)のメモリー・サイズによって区別されます。

      重要

      専用AIクラスタの作成後にユニット・シェイプを変更することはできません。
    7. (オプション)「モデル・レプリカ」フィールドのインスタンス数を増やします。
      重要

      推論のためにモデルをホストするクラスタを作成すると、デフォルトでは、選択したモデルに対して1つのユニットが作成されます。スループットを向上させるには、ここで「モデル・レプリカ」フィールドのインスタンス数を増やします。または、クラスタを編集するときに後で増やします。たとえば、このクラスタで2つのモデル・レプリカを作成するには、2つのユニットが必要です。追加のモデル・エンドポイントを作成しても、レプリカの追加やスループットの向上は行われません。
    8. ホスティング・クラスタのコミットメント単位時間を読み、チェック・ボックスを選択してコミットメントに同意します。
      重要

      インポートされたモデルをホストする専用AIクラスタの請求

      インポートされたモデルをホストする専用AIクラスタでは、OCI Generative AIで利用可能な事前トレーニング済みモデルをホストする専用AIクラスタに適用される744ユニットの最小コミットメントは必要ありません。かわりに、インポートされたモデルの専用AIクラスタには、請求可能な最小期間は1時間です。たとえば、1つのAIユニットを使用し、30分間実行されるクラスタは、1つのAIユニット時間に対して請求されます。

      最初の1時間後、料金はクラスタの実際の稼働時間に基づいており、ミリ秒に按分されます。たとえば、1時間1分間実行されるクラスタは、2時間ではなく、その期間について請求されます。

      OCIは、クラスタの実行中に5分ごとに使用量レコードをMetering and Billingに送信します。最小1時間に達する前にクラスタが削除された場合、OCIは最小値を満たすまで請求可能な使用量を報告し続けます。クラスタが1時間以上実行された場合、OCIはクラスタが削除されるまで、使用状況レコードの送信を5分ごとに続けます。

    9. (オプション)「タグの追加」を選択し、このクラスタにタグを割り当てます。
    10. 「作成」を選択します。
    ノート

    クラスタの作成には数分かかります。クラスタがアクティブな状態になったら、モデルのエンドポイントを作成するときに選択します。デフォルトでは、ホスティング・クラスタには最大50個のモデル・エンドポイントを含めることができます。Endpoint Capacityを参照してください。

  • 専用AIクラスタを作成するには、dedicated-AI-cluster createコマンドおよび必要なパラメータを使用します:

    oci generative-ai dedicated-ai-cluster create 
--compartment-id <compartment-OCID>
--type HOSTING
--unit-count [integer]
--unit-shape [text]
[OPTIONS]

    CLIコマンドのパラメータおよび値の完全なリストは、CLIコマンド・リファレンスを参照してください。

  • CreateDedicatedAiCluster操作を実行して、専用クラスタを作成します。