Oracle Cloud Infrastructureドキュメント

生成AIでのエンドポイントの作成

OCI生成AIのホスティング専用AIクラスタに、カスタム・モデルまたは事前トレーニング済モデルのエンドポイントを作成します。

  1. コンソールのナビゲーション・バーで、生成AIを含むリージョン(米国中西部(シカゴ)や英国南部(ロンドン)など)を選択します。リージョンで提供されるモデルを参照してください。
  2. ナビゲーション・メニューを開き、「アナリティクスとAI」をクリックします。「AIサービス」で、「生成AI」をクリックします。
  3. エンドポイントを追加するカスタム・モデルを含むコンパートメントを選択します。
  4. 次のいずれかのアクションを行います:
    • モデル名およびバージョンが事前移入されたカスタム・モデルのエンドポイントを作成するには:
      1. 「カスタム・モデル」をクリックします。
      2. エンドポイントを追加するカスタム・モデルの名前をクリックします。
      3. 次のステップで、カスタム・モデルのベース・モデルをクラスタに一致させるかどうかを確認します。たとえば、cohere.command-r-plusです。
      4. 「リソース」で、「エンドポイント」をクリックします。
      5. 「エンドポイントの作成」をクリックします。
    • すぐに使用できる事前トレーニング済基礎モデルまたはカスタム・モデルのエンドポイントを作成するには:
      1. 「エンドポイント」をクリックします。
      2. 「エンドポイントの作成」をクリックします
  5. (オプション)エンドポイントの名前を入力します。名前は、文字またはアンダースコアで開始し、その後に文字、数字、ハイフンまたはアンダースコアを続けます。長さは1から255文字です。名前を入力しない場合、後で変更できる名前が生成されます。

    生成された名前の形式はgenerativeaiendpoint<timestamp>です。

    generativeaiendpoint20240531235319

  6. (オプション)モデルの生成されたレスポンスをモデレートするには、「コンテンツ・モデレーション」トグルをオンにします。デフォルトでは、このオプションはオフです。コンテンツ・モデレーションについて学習します。この機能は、エンドポイントの編集時に後で追加できます。
  7. 選択されていない場合は、エンドポイントを追加するモデル名およびバージョンを選択します。
    ヒント

    • モデルが現在のコンパートメントとは異なるコンパートメントにある場合は、「コンパートメントの変更」をクリックし、モデルをホストするコンパートメントを選択します。エンドポイントは、モデルと同じコンパートメントに作成することをお薦めします。
    • 探しているカスタム・モデルがリストに表示されていない場合は、「取消」をクリックします。次に、「生成AI」で、「カスタム・モデル」をクリックし、カスタム・モデルが「アクティブ」状態であることを確認します。
  8. 次のいずれかのアクションを実行して、ホスティング専用AIクラスタを選択します:
    • すでにクラスタがある場合は、ドロップダウン・リストから「専用AIクラスタ」を選択します。クラスタを作成したら、そのクラスタがアクティブになるまで待ちます。このクラスタに関連付けられているベース・モデルが、カスタム・モデルのベース・モデルと一致していることを確認します。
    • クラスタを作成するには、「専用AIクラスタ」ドロップダウン・リストで「新しい専用AIクラスタの作成」をクリックし、次のステップを実行します:
      1. (オプション)名前と説明を入力します。
      2. ホストするモデルのベース・モデルと一致するベース・モデルを選択します。
      3. 1つのモデル・レプリカをエンドポイントに追加します。クラスタを作成する場合、エンドポイントに少なくとも1つのユニットが必要です。既存のクラスタでは、その同じユニットを使用して新しいエンドポイントをホストできます。各インスタンスは、すべてのアクティブなエンドポイントをホストします。クラスタのインスタンス数を増やすと、クラスタでホストされているすべてのアクティブ・エンドポイントでサポートされているRPMの数が増加します。
      4. ホスティング専用AIクラスタのコミットメント・ユニット時間を読み、コミットメントに同意するチェック・ボックスを選択します。
      5. 「作成」をクリックし、クラスタがアクティブになるまで待ちます。
      6. 「専用AIクラスタ」ドロップダウン・リストから、作成した専用AIクラスタをクリックします。
  9. (オプション)「拡張オプションの表示」をクリックし、エンドポイントにタグを割り当てます。
  10. 「エンドポイントの作成」をクリックします。
    エンドポイントの状態を追跡できるエンドポイントの詳細ページが表示されます。
  11. エンドポイントがアクティブになったら、「プレイグラウンドで表示」をクリックして、このエンドポイントのモデルの使用を開始します。