モデル・デプロイメント

AIクイック・アクションを使用してモデルをデプロイするには、次のステップに従います。

モデル・デプロイメントの作成

モデル・デプロイメントは、モデル・エクスプローラで「デプロイ準備完了」タグを使用して、または微調整されたモデルを使用して、基盤モデルから作成できます。AIクイック・アクションでモデル・デプロイメントを作成する場合、OCIデータ・サイエンス・サービスの管理対象リソースであるOCIデータ・サイエンス・モデル・デプロイメントを作成します。OCIでは、モデルをHTTPエンドポイントとしてデプロイできます。

データ・サイエンス・モデル・デプロイメントを使用するには、必要なポリシーが必要です。モデル・デプロイメントのコンピュート・シェイプを選択できます。ロギングを設定して、モデル・デプロイメントを監視できます。ロギングはオプションですが、モデル・デプロイメントでのエラーのトラブルシューティングに役立つことを強くお薦めします。ロギングを有効にするには、必要なポリシーが必要です。ログの詳細は、モデル・デプロイメント・ログを参照してください。拡張オプションでは、デプロイするインスタンスの数とロード・バランサの帯域幅を選択できます。

モデルのデプロイの詳細およびヒントは、GitHubのモデルのデプロイメントを参照してください。

ノート

プライベート・エンドポイントを使用してモデル・デプロイメントにアクセスするには、ネットワーク・タイプがカスタム・ネットワーキングに設定されたノートブック・セッションを作成します。カスタム・エグレスは、プライベート・エンドポイント・リソースと同じVCNおよびサブネットに存在する必要があります。
  • モデルのデプロイ・ページで、次の3つのオプションを使用してモデルをデプロイできます:

    • 単一モデルのデプロイ: 1つのモデルをコンピュート・シェイプにデプロイします。
    • マルチ・モデルのデプロイ: 1つのコンピュート・インスタンスに複数のモデルをデプロイします。
    • モデル・スタックのデプロイ: ベース・モデルと複数のファインチューニング・バリアントを1つのコンピュート・シェイプのスタックとしてデプロイします。

    この項では、各デプロイメント・オプションについて説明します。

    1. モデル・エクスプローラにナビゲートします。
    2. デプロイするモデルのモデル・カードを選択します。
    3. 「デプロイ」を選択してモデルをデプロイします。モデルのデプロイ・ページに3つのオプションが表示されます。選択したモデルに基づいてステップを実行します。
    4. 単一モデルのデプロイ:
      1. デプロイメントに名前を付けます。
      2. コンピュート・シェイプを選択します。
      3. (オプション)ログ・グループを選択します。
      4. (オプション)予測およびアクセス・ログを選択します。
      5. (オプション)プライベート・終端を選択します。
        ノート

        プライベート・エンドポイントは、モデル・デプロイメント・リソースの前提条件として作成する必要があります。

        モデル・デプロイメントのプライベート・エンドポイント機能は、OC1レルムでのみ有効です。その他のレルムの場合は、データ・サイエンスのサービス・リクエストを作成します。

        モデル・デプロイメントでプライベート・エンドポイントを選択および使用するためのリストは、コンパートメントにプライベート・エンドポイントが存在する場合にのみコンソールに表示されます。
      6. 「拡張オプションの表示」を選択します。
      7. インスタンス数を更新し、ロード・バランサ帯域幅を更新します。
      8. (オプション)「推論コンテナ」で推論コンテナを選択します。
      9. (オプション)「推論モード」を選択します。
      10. 「デプロイ」を選択します
    5. マルチ・モデルのデプロイ: vLLMコンテナのみがサポートされています。サービス管理モデルは、1つのデプロイメントで結合できます。
      1. デプロイメント名を入力します。
      2. デプロイするモデルを選択します。
      3. モデルに適したコンピュート・シェイプを選択します。
      4. (オプション)ログ・グループ、予測およびアクセス・ログまたはプライベート・エンドポイントを構成します。
      5. 拡張オプションの表示を選択します。
      6. インスタンス数を更新し、ロード・バランサの帯域幅を更新します。
      7. (オプション)「推論コンテナ」で推論コンテナを選択します。
      8. (オプション)「推論モード」を選択します。
      9. 「デプロイ」を選択します
    6. モデル・スタックのデプロイ: vLLMコンテナのみがサポートされます。
      1. デプロイメント名を入力します。
      2. ベース・モデルを選択します。
      3. 微調整されたウェイトまたはバリアントを選択します。
      4. コンピュート・形状を選択します。
      5. (オプション)ログ・グループ、予測およびアクセス・ログまたはプライベート・エンドポイントを構成します。

        デプロイメント操作の追跡およびトラブルシューティングには、ロギングをお薦めします。

      6. 拡張オプションの表示を選択します。
      7. インスタンス数を更新し、ロード・バランサの帯域幅を更新します。
      8. (オプション)「推論コンテナ」で推論コンテナを選択します。
      9. (オプション)「推論モード」を選択します。
      10. 「デプロイ」を選択します
    7. 「AIクイック処理」で、「デプロイメント」を選択します。
      モデル・デプロイメントのリストが表示されます。前述のデプロイメントが作成された場合は、ライフサイクル状態アクティブになるまで待ってから、それをクリックして使用します。
    8. スクロールして「推論ウィンドウ」を表示します。
    9. 「プロンプト」にテキストを入力して、モデルをテストします。
    10. (オプション)必要に応じてモデル・パラメータを調整します。
    11. 「生成」を選択します。
      出力が「レスポンス」に表示されます。
  • AIクイック処理CLIコマンドのパラメータおよび値の完全なリストは、AIクイック処理CLIを参照してください。

  • このタスクはAPIを使用して実行できません。

AIクイック処理でのモデル・デプロイメントの起動

CLIまたはPython SDKからAIクイック・アクションでモデル・デプロイメントを起動できます。

詳細は、GitHubのモデル・デプロイメントのヒントに関する項を参照してください。

モデル・アーティファクト

モデル・アーティファクトの検索場所。

モデルがモデル・デプロイメント・インスタンスにダウンロードされると、/opt/ds/model/deployed_model/<object_storage_folder_name_and_path> フォルダにダウンロードされます。

Autonomous Database Select AIでのモデル・デプロイメントの使用

AIクイック・アクションで作成されたモデル・デプロイメントを、Oracle Autonomous Database Select AIによる自然言語クエリに使用可能にできます。

前提条件

  • モデル・デプロイメントが完了し、モデル・デプロイメントOCIDが完了しました。
  • Select AIが有効なAutonomous Databaseインスタンス。Autonomous DatabaseでのSelect AIを参照してください。
  • 資格証明およびプロファイルを作成するには、Oracle Cloud Infrastructure (OCI)権限が必要です。
  1. Autonomous Databaseで、モデル・デプロイメントにアクセスするための資格証明を作成します。
    BEGIN
        DBMS_CLOUD.create_credential(
            credential_name   => '<CREDENTIAL_NAME>',
            user_ocid         => '<USER_OCID>',
            tenancy_ocid      => '<TENANCY_OCID>',
            private_key       => '<PRIVATE_KEY>',
            fingerprint       => '<FINGERPRINT>'
        );
    END;
    /

    各プレースホルダを特定の値に置き換えます。

    • <CREDENTIAL_NAME>: 資格証明の名前
    • <USER_OCID>: OCIユーザーOCID
    • <TENANCY_OCID>: OCIテナンシOCID
    • <PRIVATE_KEY>: PEM形式のAPI秘密キー
    • <FINGERPRINT>: API公開キーのフィンガープリント

    詳細は、資格証明の管理を参照してください。

  2. Select AIプロファイルを作成して、自律型データベースをデプロイ済モデルに接続します。

    BEGIN
        DBMS_CLOUD_AI.CREATE_PROFILE(
            profile_name => '<PROFILE_NAME>',
            attributes => '
    {
      "credential_name": "<CREDENTIAL_NAME>",
      "model": "<MODEL_NAME>",
      "provider": "openai",
      "provider_endpoint": "<MODEL_DEPLOYMENT_OCID>",
      "conversation": "",
      "object_list": [
        {"owner": "ADMIN", "name": "customers"}
      ]
    }'
        );
    END;
    /
    プレースホルダを次のように置き換えます。
    • <PROFILE_NAME>: プロファイルの名前。
    • <CREDENTIAL_NAME>: ステップ1の資格証明の名前。
    • <MODEL_NAME>: デプロイされたモデルの名前(たとえば、odsc_2025llm)。
    • <MODEL_DEPLOYMENT_OCID>: モデル・デプロイOCID。
    • "object_list"を更新して、公開するスキーマおよび表を反映します。