Oracle Cloud Infrastructureドキュメント

OCI生成AIでのチャット

OCI Generative AIで提供されている大規模言語チャット・モデルを使用して、質問をしたり、AIチャットボットを通じて会話型応答を取得したりできます。

    1. コンソールのナビゲーション・バーで、生成AIをホストするリージョン(米国中西部(シカゴ)など)を選択しますリージョンで提供されているモデルを参照してください。
    2. ナビゲーション・メニューを開き、「分析とAI」を選択します。「AIサービス」で、「生成AI」を選択します。
    3. 操作が許可されているコンパートメントを選択します。プレイグラウンドが表示されない場合は、管理者に生成AIリソースへのアクセス権の付与を依頼して、次のステップに戻ります。
    4. 「プレイグラウンド」を選択します。
    5. 「チャット」を選択します。
    6. 次のいずれかのアクションを実行して、チャット・エクスペリエンスのモデルを選択します。
      • 「モデル」リストで、meta.llama-3.1-70b-instruct、cohere.command-r-08-2024、cohere.command-r-plus-08-2024、カスタム・モデルなどの事前トレーニング済モデルを選択します。カスタム・モデルは、モデル名(エンドポイント名)として表示されます。
      • 「モデル詳細の表示」を選択し、モデルを選択して「モデルの選択」を選択します。
      ノート

      • meta.llama-3.1-405b-instructモデルは、すべてのリージョンでオンデマンド・アクセスに使用できません。このモデルにアクセスするには、次のいずれかのオプションを実行します。

      • meta.llama-3.2-11b-vision-instructモデルは、どのリージョンでもオンデマンド・アクセスに使用できません。このモデルにアクセスするには、次のオプションを実行します。

      オンデマンド・モードおよび専用提供モードのコストおよびモデル廃止について学習します。

    7. プロンプトを入力するか、「例」リストから例を選択して会話を開始し、ベース・プロンプトとして使用するか、そこから学習します。
      meta.llama-3.2-90b-vision-instructなどのイメージを受け入れるモデルの場合、サイズが5MB以下の.pngまたは.jpgイメージを追加できます。
    8. (オプション)パラメータの新しい値を設定します。パラメータの詳細は、「チャット・モデル」にリストされている、使用しているモデルを選択するパラメータ定義を参照してください。
    9. 「送信」を選択します。
    10. 新しいプロンプトを入力するか、チャットの会話を続行するには、フォローアップ・プロンプトを入力し、「送信」を選択します。
      重要

      プレイグラウンドでは、イメージを受け入れるビジョン・モデルの場合:
      • プロンプトなしでイメージを送信しても動作しません。イメージを送信する場合は、そのイメージに関するプロンプトを同じリクエストで送信する必要があります。その後、フォローアップ・プロンプトを送信し、モデルが会話のコンテキストを保持できます。
      • 次のイメージおよびテキストを追加するには、チャットをクリアすると、チャットがクリアされるため、前の会話のコンテキストが失われます。
    11. (オプション)応答を変更するには、「チャットのクリア」を選択し、プロンプトおよびパラメータを更新して、「送信」を選択します。出力に満足するまで、このステップを繰り返します。
    12. (オプション)出力ストリームの後で、表示される入力トークンと出力トークンのプロンプトを確認します。
      • 入力トークン: プロンプト・トークンやチャットテンプレート・トークン(システム、ロール/フォーマット、ツール・スキーマ)など、レスポンスの生成に使用される入力トークンの数。
      • 出力トークン:モデルによって生成された出力トークンの数。レポートされた推論トークンが含まれます。GeminiやxAIなどの一部のモデルでは、このフィールドから推論トークンを除外します。
    13. (オプション)出力を生成したコードをコピーするには、「コードの表示」を選択し、プログラミング言語またはフレームワークを選択し、「コードをコピー」を選択して、コードをファイルに貼り付け、ファイルを保存します。ファイルが、貼り付けられたコードの形式を保持していることを確認します。
      ヒント

      アプリケーションでコードを使用している場合:

    14. (オプション)新しい会話を開始するには、「チャットのクリア」を選択します。
      ノート

      • 「チャットのクリア」を選択すると、チャットの会話は消去されますが、モデル・パラメータは変更されず、最後に適用した設定を使用して続行できます。

        「生成」などの別の機能に切り替えてから「チャット」プレイグラウンドに戻ると、チャット会話とモデル・パラメータの両方がデフォルト値にリセットされます。

      Cohereチャット・パラメータについて学習します。

  • チャットするには、生成AI推論CLIのchat-result操作を使用します。

    次のコマンドを入力して、chat-result操作で使用するオプションのリストを表示します。

    oci generative-ai-inference chat-result -h

    OCI生成AI CLIコマンドのパラメータおよび値の完全なリストは、生成AI推論CLIおよび生成AI管理CLIを参照してください。

  • チャット操作を実行して、大規模言語モデルを使用してチャットします。

    APIの使用およびリクエストの署名の詳細は、REST APIのドキュメントおよびセキュリティ資格証明に関する項を参照してください。SDKの詳細は、SDKおよびCLIを参照してください。