Oracle Cloud Infrastructureドキュメント

モデルのホスティングのための生成AIでの専用AIクラスタの作成

OCI生成AIに専用のAIクラスタ・リソースを作成し、事前トレーニング済ベース・モデルおよびカスタム・モデルのエンドポイントをホストします。

重要

テキスト生成および集計API (プレイグラウンドを含む)を使用するオンデマンド・サービング・モードでサポートされているすべてのOCI生成AI基礎事前トレーニング済モデルが廃止されました。専用AIクラスタ(専用サービス・モード)で集計またはcohere.commandなどの生成モデルをホストする場合は、そのモデルが廃止されるまでそのモデルを引き続き使用できます。廃止日と定義については、モデルの廃止を参照してください。かわりにチャット・モデルを使用することをお薦めします。
  1. コンソールのナビゲーション・バーで、生成AIを含むリージョン(米国中西部(シカゴ)や英国南部(ロンドン)など)を選択します。リージョンで提供されるモデルを参照してください。
  2. ナビゲーション・メニューを開き、「アナリティクスとAI」をクリックします。「AIサービス」で、「生成AI」をクリックします。
  3. モデルをホストするコンパートメントを選択します。
    このコンパートメント内のgenerative-ai-familyおよびobject-familyリソースを使用または管理する権限があることを確認します。
  4. 左側のナビゲーションで、作業する権限があるコンパートメントを選択します。
  5. 「専用AIクラスタ」をクリックします。
  6. 「専用AIクラスタの作成」をクリックします。
  7. 専用AIクラスタを作成するコンパートメントを選択します。デフォルト・コンパートメントはステップ3で選択したコンパートメントですが、作業する権限がある任意のコンパートメントを選択できます。
  8. (オプション)クラスタの名前と説明を入力します。名前を入力しないと、後で変更できる名前が生成されます。

    生成された名前の形式はgenerativeaidedicatedaicluster<timestamp>です。例: generativeaidedicatedaicluster20240601202357

  9. 「クラスタ・タイプ」で、「ホスティング」をクリックします。
  10. 「ベース・モデル」で、このクラスタでホストするモデルのベース・モデルを選択します。
    クラスタへのベース・モデルの照合について学習します。

    チャット

    • meta.llama-3.1-70b-instruct - は、1大汎用ユニットをプロビジョニングします。
    • meta.llama-3.1-405b-instruct - は、1 Large Generic 4ユニットをプロビジョニングします。
    • cohere.command-r-16k - は、1 Small Cohere V2ユニットをプロビジョニングします。
    • cohere.command-r-plus - は、1 Large Cohere V2_2ユニットをプロビジョニングします。
    • meta.llama-3-70b-instruct - は、1大汎用ユニットをプロビジョニングします。(このモデルは非推奨です。)

    世代(すべての世代モデルは非推奨です。)

    サマリー(このモデルは非推奨です。)

    埋込み

    • cohere.embed.english-light-v3.0 - は、1 Embed Cohereユニットをプロビジョニングします。
    • cohere.embed.english-v3.0 - は、1 Embed Cohereユニットをプロビジョニングします。
    • cohere.embed.multilingual-light-v3.0 - は、1 Embed Cohereユニットをプロビジョニングします。
    • cohere.embed.multilingual-v3.0 - は、1 Embed Cohereユニットをプロビジョニングします。
    ノート

    モデル・リストには、サポートされているベース・モデルのバージョンのみが含まれます。

  11. (オプション)「モデル・レプリカ」フィールドでインスタンスの数を増やします。
    重要

    推論のモデルをホストするクラスタを作成すると、デフォルトで、選択したベース・モデルに対して1つのユニットが作成されます。スループットを向上させるには、「モデル・レプリカ」フィールドのインスタンス数を今すぐ増やすか、後でクラスタを編集するときに増やすことができます。たとえば、このクラスタで2つのモデル・レプリカを作成するには、2つのユニットが必要です。
  12. ホスティング・クラスタのコミットメント・ユニット時間を読み取り、コミットメントに同意するチェックボックスを選択します。
  13. (オプション)「拡張オプションの表示」をクリックし、このクラスタにタグを割り当てます。
  14. 「作成」をクリックします
    ノート

    クラスタの作成には数分かかります。クラスタがアクティブ状態になったら、そのモデルのエンドポイントを作成するときに、そのクラスタを選択してモデルをホストできます。