Oracle Cloud Infrastructureドキュメント

モデルのホスティングのための専用AIクラスタを作成する

OCI生成AIで専用のAIクラスタ・リソースを作成し、事前トレーニング済ベース・モデル、カスタム・モデルまたはインポート済モデルのエンドポイントをホストします。

重要

  • オンデマンドで使用不可:テキスト生成APIおよび要約API(プレイグラウンドを含む)を使用するオンデマンド・サービング・モードでサポートされているすべてのOCI生成AI基礎事前トレーニング済モデルが廃止されました。かわりにチャット・モデルを使用することをお薦めします。
  • クラスタでホスト可能:集計または生成モデル(cohere.commandなど)を専用AIクラスタ(専用サービング・モード)でホストする場合、廃止するまでそのモデルを引き続き使用できます。これらのモデルは、専用AIクラスタでホストされている場合、米国中西部(シカゴ)でのみ使用可能です。APIが使用できなくなった日付は、生成AIの非推奨APIを参照してください。
    1. 「専用AIクラスタ」リスト・ページで、「専用AIクラスタの作成」を選択します。リスト・ページの検索に関するヘルプが必要な場合は、専用AIクラスタのリストを参照してください。
    2. 専用AIクラスタを作成するコンパートメントを選択します。デフォルト・コンパートメントはリスト・ページと同じですが、作業する権限がある任意のコンパートメントを選択できます。
    3. (オプション)クラスタの名前と説明を入力します。名前を入力しない場合は、後で変更できる名前が生成されます。

      生成された名前の形式はgenerativeaidedicatedaicluster<timestamp>です。例: generativeaidedicatedaicluster20250922181431

    4. 「クラスタ・タイプ」で、「ホスティング」を選択します。
    5. 「ベース・モデル」で、次のいずれかを選択します。
      • ホスティングしている事前トレーニング済の基礎モデル。
      • 基礎モデルから微調整されたカスタム・モデルを使用する場合は、トレーニングした元の基礎(ベース)モデルを選択します。
      • インポートしたモデルを使用する場合は、インポートしたモデルを選択します。
    6. インポートされたモデルを選択した場合は、推奨される「単位サイズ」を選択します。
      ユニット・サイズの推奨事項については、インポートでサポートされているモデルを参照してください。このガイドは、バケットに格納するモデルにも使用できます。

      ユニット・シェイプ名には、インスタンス・タイプとカード数の2つの部分があります。例: H100_X1 = H100 with 1 card。A100の場合、A100-80GとA100-40Gの両方が使用可能であり、名前(80Gまたは40G)のメモリー・サイズによって区別されます。

      重要

      専用AIクラスタの作成後にユニット・シェイプを変更することはできません。
    7. (オプション)「モデル・レプリカ」フィールドのインスタンス数を増やします。
      重要

      推論のためにモデルをホストするクラスタを作成すると、デフォルトで、選択したベース・モデルに対して1つのユニットが作成されます。スループットを向上させるには、「モデル・レプリカ」フィールドでインスタンス数を増やすか、後でクラスタを編集できます。たとえば、このクラスタに2つのモデル・レプリカを作成するには、2つのユニットが必要です。
    8. ホスティング・クラスタのコミットメント単位時間を読み、チェック・ボックスを選択してコミットメントに同意します。
    9. (オプション)「タグの追加」を選択し、このクラスタにタグを割り当てます。
    10. 「作成」を選択します。
    ノート

    クラスタの作成には数分かかります。クラスタがアクティブな状態になったら、そのモデルのエンドポイントを作成するときに、そのクラスタを選択してモデルをホストできます。

  • 専用AIクラスタを作成するには、dedicated-AI-cluster createコマンドおよび必要なパラメータを使用します:

    oci generative-ai dedicated-ai-cluster create 
--compartment-id <compartment-OCID>
--type HOSTING
--unit-count [integer]
--unit-shape [text]
[OPTIONS]

    CLIコマンドのパラメータおよび値の完全なリストは、CLIコマンド・リファレンスを参照してください。

  • CreateDedicatedAiCluster操作を実行して、専用クラスタを作成します。