Oracle Cloud Infrastructureドキュメント

エンドポイントを作成しています

OCI生成AIのホスティング専用AIクラスタで、カスタム・モデル、事前トレーニング済モデルまたはインポート済モデルのエンドポイントを作成します。

エンドポイントを作成する前に、モデルと互換性のあるアクティブなホスティング専用AIクラスタがあり、クラスタに残りのエンドポイント容量があることを確認してください。デフォルトでは、ホスティング・クラスタには最大50個のモデル・エンドポイントを含めることができます。Endpoint Capacityを参照してください。

ノート

モデルをプライベート・エンドポイントに追加するには、まずプライベート・エンドポイントを作成してから、このページに戻り、モデルをアタッチするステップを示します。

プライベート・エンドポイントは、事前トレーニング済モデル、カスタム・モデルおよびインポート済モデルでサポートされています。

  • 「エンドポイント」リスト・ページで、「エンドポイントの作成」を選択します。リスト・ページの検索に関するヘルプが必要な場合は、エンドポイントのリストを参照してください。

    エンドポイント情報

    1. エンドポイントを作成するコンパートメントを選択します。デフォルト・コンパートメントはリスト・ページと同じですが、作業する権限がある任意のコンパートメントを選択できます。
      ヒント

      エンドポイントは、モデルと同じコンパートメントに作成することをお薦めします。
    2. (オプション)エンドポイントの名前を入力します。名前は文字またはアンダースコアで開始し、その後に文字、数字、ハイフンまたはアンダースコアが続きます。長さは1 - 255文字です。名前を入力しないと、後で変更できる名前が生成されます。
      生成された名前の形式はgenerativeaiendpoint<timestamp>です。例: generativeaiendpoint20250531235319
    3. (オプション)モデルの説明を入力します。

    ホスティング構成

    1. エンドポイントを追加するモデルをホストするコンパートメントを選択します。
    2. エンドポイントを追加するモデルを選択します。このモデルは、カスタム・モデル、インポート済モデル、または作業中のリージョンで使用可能なすぐに使用できる事前トレーニング済基礎モデルです。
    3. 選択したモデルに複数のバージョンがある場合は、モデル・バージョンを選択します。
      すぐに使用できる事前トレーニング済基礎モデルの場合、モデルを選択すると、このフィールドに値が移入されます。
    4. 使用するホスティング・クラスタまたは作成するホスト・クラスタを含む専用AIクラスタ・コンパートメントを選択します。
    5. 次のいずれかのアクションを実行して、ホスティング専用AIクラスタを選択します:
      • リストから専用AIクラスタを選択します。数分前にクラスタを作成した場合は、そのクラスタがアクティブになるまで待ちます。事前トレーニング済モデルの場合、選択したモデルがクラスタのフル・ユニット・シェイプをサポートしていることを確認します。カスタム・モデルの場合は、モデルのベース・モデルに対してクラスタが作成されていることを確認します。インポートされたモデルの場合、クラスタのフル・ユニット・シェイプが選択したモデルをサポートしていること、およびクラスタ上の別のインポートされたモデルのエンドポイントを削除していることを確認してください。専用AIクラスタでのモデルの切替えを参照してください。
      • 「新しい専用AIクラスタの作成」を選択し、次のステップを実行します:
        1. (オプション)名前と説明を入力します。
        2. 「ベース・モデル」で、次のいずれかを選択します。
          • ホスティングしている事前トレーニング済の基礎モデル。
          • 基礎モデルから微調整されたカスタム・モデルを使用する場合は、トレーニングした元の基礎(ベース)モデルを選択します。
          • インポートしたモデルを使用する場合は、インポートしたモデルを選択します。
        3. インポートされたモデルを選択した場合は、このガイドに基づいて推奨される単位サイズを選択します。
        4. ホスティング・クラスタに少なくとも1つのモデル・レプリカを使用します。モデル・レプリカは推論のための計算能力を提供し、専用のAIユニットを必要とします。追加のエンドポイントを作成しても、クラスタのスループットは増加しません。
        5. ホスティング専用AIクラスタの請求およびコミットメント情報を確認し、プロンプトが表示されたらチェック・ボックスを選択してコミットメントに同意します。インポートされたモデルのクラスタをホストする場合、OCI Generative AIの事前トレーニング済モデルおよびカスタム・モデルに適用される744単位の最小コミットメントは必要ありません。
        6. (オプション)「タグの追加」を選択し、この専用AIクラスタにタグを割り当てます。リソース・タグを参照してください。
        7. 「作成」を選択し、クラスタがアクティブになるまで待機します。
        8. 「専用AIクラスタ」リストから、作成した専用AIクラスタを選択してください。

    ネットワーキング・リソース

    「エンドポイント・タイプ」で、次のオプションのいずれかを選択します:
    • パブリック・エンドポイント
    • プライベート・エンドポイント: プライベート・エンドポイントを含むコンパートメントを選択し、使用するプライベート・エンドポイントを選択しますプライベート・エンドポイントがまだない場合は、作成してから続行します。

    事前トレーニング済およびカスタム・モデルのガードレール

    ノート

    ガードレールは、インポートされたモデルでは使用できません。
    重要

    免責条項

    当社のコンテンツモデレーション(CM)およびプロンプトインジェクション(PI)ガードレールは、多言語ベンチマークデータセットの範囲で評価されています。ただし、実際のパフォーマンスは、コンテンツがAIによって生成され、エラーや欠落が含まれている可能性があるため、顧客提供のデータに存在する特定の言語、ドメイン、データ配信および使用パターンによって異なる場合があります。そのため、これは情報提供のみを目的としており、専門的なアドバイスとは見なすべきではなく、OCIでは、すべての実際の導入で同一のパフォーマンス特性が観察される保証はありません。OCI Responsible AIチームは、これらのモデルを継続的に改善しています。

    オラクルのコンテンツ・モデレーション機能は、公開されている最大規模の多言語ベンチマーク・データセットの1つであるRTPLXに対して評価されており、38以上の言語に対応しています。ただし、コンテンツはAIによって生成され、エラーや欠落が含まれている可能性があるため、これらの結果は適切な注意を払って解釈する必要があります。多言語評価は、本質的にパブリック・データセットのスコープ、表現性および注釈の慣行によってバインドされ、RTPLXで観測されるパフォーマンスは、実際のコンテキスト、ドメイン、方言または使用パターンすべてに完全には一般化されない場合があります。そのため、調査結果は情報提供のみを目的としており、専門的なアドバイスとはみなされません。

    各ガードレールの設定を選択します。バックグラウンド情報については、ガードレールについて学習を参照し、使用する前にこの項の免責条項を確認してください。
    • コンテンツ・モデレーション
      • オフ: コンテンツのモデレーションは適用されません。
      • ブロック: モデレーションが必要なコンテンツの検出を支援し、構成に基づいてリクエストまたはレスポンスをブロックすることを目的としています。
      • 通知: コンテンツをブロックしませんが、モデレーションが必要なコンテンツが検出されたときに通知を返すことを目的としています
    • プロンプト・インジェクション(PI)保護
      • オフ: プロンプト・インジェクション保護は適用されません。
      • ブロック: プロンプト・インジェクション試行の検出を支援し、構成に基づいてリクエストをブロックすることを目的としています。
      • 通知: リクエストをブロックしませんが、プロンプト・インジェクション・リスクが検出されたときに指示を返すことを目的としています。
    • 個人識別可能情報(PII)保護
      • オフ: PII保護は適用されません。
      • ブロック: PIIの検出を支援し、構成に基づいてリクエストまたはレスポンスをブロックすることを目的としています。
      • 通知: コンテンツをブロックしませんが、PIIが検出されたときに通知を返すことを目的としています。

    エンドポイントの作成と使用

    1. (オプション)「タグの追加」を選択し、このエンドポイントにタグを割り当てます。リソース・タグを参照してください。
    2. 「作成」を選択します。
      エンドポイントの状態を追跡できるエンドポイントの詳細ページが表示されます。新しいエンドポイントは、ホスティング・クラスタの残りのエンドポイント容量に対してカウントされます。
    3. エンドポイントがアクティブになった後、「プレイグランドで表示」を選択して、このエンドポイントのモデルの使用を開始します。

  • エンドポイントを作成するには、endpoint createコマンドおよび必須パラメータを使用します:

    oci generative-ai endpoint create 
--model-id <model-OCID>
--compartment-id <compartment-OCID> 
--dedicated-ai-cluster-id <hosting-dedicated-AI-cluster-OCID> 
[OPTIONS]

    CLIコマンドのパラメータおよび値の完全なリストは、CLIコマンド・リファレンスを参照してください。

    ノート

    事前トレーニング済モデルの場合、OCIDのかわりに、コンソールのプレイグラウンドにリストされているとおりにモデル名を使用できます。このOCIモデル名は、モデルの詳細ページの生成AIで提供される事前トレーニング済基礎モデルでも確認できます。

  • CreateEndpoint操作を実行してエンドポイントを作成します。

    ノート

    事前トレーニング済モデルの場合、OCIDのかわりに、コンソールのプレイグラウンドにリストされているとおりにモデル名を使用できます。このOCIモデル名は、モデルの詳細ページの生成AIで提供される事前トレーニング済基礎モデルでも確認できます。