生成AIエージェントでのモデルの選択

OCI Generative AI Agentsサービスはモデル選択をサポートしており、作成または編集中にエージェントのルーティングLLMとして大規模言語モデル(LLM)を選択できます。OCI生成AIサービスでホストされているオンデマンド・モデルから選択することも、サポートされているモデル専用のAIクラスタ・エンドポイントを作成して使用することもできます。

モデル選択により、ワークロード(RAGやSQLツールなど)に基づいてエージェントのパフォーマンスを柔軟に最適化できます。

モデルの選択方法

OCIコンソールでエージェントを作成または編集する場合は、エージェントの構成の下の「モデルの選択」セクションに移動します。

  1. ルーティングLLMタイプの選択:

    • 次のオプションから選択します。
      • デフォルト: 生成AIエージェント・サービス(Llama 3.3 70B)によって提供される標準モデルを使用します。これは、カスタムモデルを必要としない汎用エージェントに適しています。
      • 生成AIモデル: OCI生成AIサービスで直接ホストされるオンデマンド・モデルから選択します。
      • 生成AIエンドポイント: OCI生成AIサービスの専用AIクラスタ・エンドポイントでホストされているモデルから選択します。
  2. 特定のモデルまたはエンドポイントの選択:

    • リストから「生成AIモデル」または「生成AIエンドポイント」を選択した場合、コンソールに使用可能なオプションのリストが表示されます。適切なモデルまたはエンドポイントを参照して選択します。
    • リストは、テナンシの使用可能なモデル/エンドポイントおよびIAM権限に基づいて移入されます
  3. デフォルト・ハイパーパラメータの更新:

    • モデル・ハイパーパラメータのデフォルト値を確認します。
    • オプションで、これらのハイパーパラメータを更新します。
ヒント

サポートされるモデル

サポートされているモデルとそのハイパーパラメータ
選択できるモデル 更新できるハイパーパラメータ
  • 最大出力トークン
  • 温度
  • 上位p
  • 上位k
  • 頻度ペナルティ
  • プレゼンス・ペナルティ
  • シード
  • 最大出力トークン
  • 温度
  • 上位p
  • 頻度ペナルティ
  • プレゼンス・ペナルティ
  • 最大出力トークン
  • 温度
  • 上位p
  • 頻度ペナルティ
  • プレゼンス・ペナルティ

サポートされるリージョン

次のリージョンがサポートされています。

  • ブラジル東部(サンパウロ)
  • ドイツ中央部(フランクフルト)
  • 日本中央部(大阪)
  • 英国南部(ロンドン)
  • 米国東部(アッシュバーン)
  • 米国中西部(シカゴ)
  • 米国西部(フェニックス)

エージェント・モデル選択機能のモデルの使用可能なリージョンを確認するには、次のタスクを実行します。

  1. 生成AIドキュメントの「リージョン別のモデル」ページから、「サポートされているモデル」セクションにリストされているサポートされているモデルのいずれかを選択します。
  2. モデルの使用可能なリージョンと前述の7つのサポートされているリージョンの両方に表示されるモデルのリージョンを選択します。
  3. モデルが必要なモード(オンデマンドまたは専用)で使用可能かどうかを確認します。

    専用モードでモデルにアクセスする場合、パブリック・エンドポイントのみがサポートされます。