Oracle Cloud Infrastructureドキュメント

モデルのホスティングのための専用AIクラスタを作成する

OCI生成AIで専用のAIクラスタ・リソースを作成し、事前トレーニング済ベース・モデル、カスタム・モデルまたはインポート済モデルのエンドポイントをホストします。

重要

  • オンデマンドで使用不可:テキスト生成および集計API (プレイグラウンドを含む)を使用するオンデマンド・サービング・モードでサポートされているすべてのOCI生成AI基礎事前トレーニング済モデルが廃止されました。かわりにチャット・モデルを使用することをお薦めします。
  • クラスタでホスト可能:専用AIクラスタ(専用サービング・モード)でサマリーまたは生成モデル(cohere.commandなど)をホストする場合、そのモデルが廃止されるまで引き続き使用できます。これらのモデルは、専用AIクラスタでホストされている場合、米国中西部(シカゴ)でのみ使用できます。APIが使用できなくなった日付については、「生成AIで非推奨となったAPI」を参照してください。
    1. 「専用AIクラスタ」リスト・ページで、「専用AIクラスタの作成」を選択します。リスト・ページの検索に関するヘルプが必要な場合は、専用AIクラスタのリストを参照してください。
    2. 専用AIクラスタを作成するコンパートメントを選択します。デフォルト・コンパートメントはリスト・ページと同じです。ただし、作業する権限がある任意のコンパートメントを選択できます。
    3. (オプション)クラスタの名前と説明を入力します。名前を入力しないと、後で変更できる名前が生成されます。

      生成された名前の形式はgenerativeaidedicatedaicluster<timestamp>です。例: generativeaidedicatedaicluster20250922181431

    4. 「クラスタ・タイプ」で、「ホスティング」を選択します。
    5. 「ベース・モデル」で、次のいずれかを選択します:
      • ホスティングしている事前トレーニング済の基本モデル。
      • 基礎モデルからファインチューニングされたカスタム・モデルを使用する場合は、トレーニングされた元の基盤(ベース)モデルを選択します。
      • インポートされたモデルを使用する場合は、そのインポートされたモデルを選択します。
    6. インポートしたモデルを選択した場合は、推奨される単位サイズを選択します。
      ユニット・サイズの推奨事項は、「インポートでサポートされているモデル」を参照してください。このガイドは、バケットに格納するモデルにも使用できます。

      ユニット・シェイプ名には、インスタンス・タイプとカード数の2つの部分があります。例: H100_X1 = H100 with 1 card。A100では、A100-80GとA100-40Gの両方が使用可能です。名前(80Gまたは40G)のメモリー・サイズによって区別されます。

      重要

      専用AIクラスタの作成後にユニット・シェイプを変更することはできません。
    7. (オプション)「モデル・レプリカ」フィールドでインスタンスの数を増やします。
      重要

      推論のモデルをホストするクラスタを作成すると、デフォルトで、選択したベース・モデルに対して1つのユニットが作成されます。スループットを向上させるには、「モデル・レプリカ」フィールドのインスタンス数を今すぐ増やすか、後でクラスタを編集するときに増やすことができます。たとえば、このクラスタで2つのモデル・レプリカを作成するには、2つのユニットが必要です。
    8. ホスティング・クラスタのコミットメント・ユニット時間を読み取り、コミットメントに同意するチェックボックスを選択します。
    9. (オプション)「タグの追加」を選択し、このクラスタにタグを割り当てます。
    10. 「作成」を選択します。
    ノート

    クラスタの作成には数分かかります。クラスタがアクティブ状態になったら、そのモデルのエンドポイントを作成するときに、そのクラスタを選択してモデルをホストできます。

  • 専用AIクラスタを作成するには、dedicated-AI-cluster createコマンドと必要なパラメータを使用します:

    oci generative-ai dedicated-ai-cluster create 
--compartment-id <compartment-OCID>
--type HOSTING
--unit-count [integer]
--unit-shape [text]
[OPTIONS]

    CLIコマンドのパラメータおよび値の完全なリストは、CLIコマンド・リファレンスを参照してください。

  • CreateDedicatedAiCluster操作を実行して、専用クラスタを作成します。