Oracle Cloud Infrastructureドキュメント

ホストされているアプリケーション

アプリケーションは、ホストされた生成AIワークロードの実行方法とそのアクセス方法を定義するOCIリソースです。アプリケーションは、自動スケーリング、マネージド・ストレージ、ネットワーキング、認証などの操作設定を一元化します。アプリケーション内に作成されたホスト・デプロイメントは、これらの設定を継承します。

アプリケーションは、ホストされた生成AIワークロードの実行方法とそのアクセス方法を定義するOCIリソースです。アプリケーションは、自動スケーリング、マネージド・ストレージ、ネットワーキング、認証などの操作設定を一元化します。アプリケーション内に作成されたホスト・デプロイメントは、これらの設定を継承します。

アプリケーション設定には次のものがあります。

  • ホストされるデプロイメントのスケーリング設定(最小および最大レプリカおよび自動スケーリング・メトリック)
  • 管理対象ストレージ・オプションおよびランタイム環境変数
  • アウトバウンド・トラフィック(エグレス)およびエンドポイント・アクセスのネットワーキング設定
  • アイデンティティ・ドメインを使用した認証設定

スケーリング

スケーリング設定では、アプリケーションに関連付けられたホスト・デプロイメントが、ロードを処理するためにレプリカを追加または削除する方法を定義します。レプリカの最小数と最大数を設定し、同時リクエスト、1秒当たりのリクエスト数(RPS)、CPU使用率、メモリー使用率などの自動スケーリング・メトリックを選択します。

管理された記憶域およびランタイム変数

マネージド・ストレージは、アプリケーションに関連付けられたホスト・デプロイメントで使用できるサービス管理のステートフル・ストレージ・オプションを提供します。有効にすると、環境変数を介して接続の詳細がコンテナに提供されます。

また、実行時にコンテナに注入される他のランタイム変数も定義できます。

認証

認証設定は、ホストされたデプロイメントにリクエストをルーティングする前に、リクエストを認証する方法を制御します。アプリケーションは、アイデンティティ・ドメインを使用したOAuth 2.0認証をサポートしています。エージェント・サポートの認証の設定を参照してください

ネットワーク

ネットワーキング設定は、アプリケーションに関連付けられたホスト・デプロイメントがアウトバウンド・トラフィック(エグレス)をルーティングする方法と、パブリック・エンドポイントまたはプライベート・エンドポイントを介してアクティブ・デプロイメントにアクセスする方法を制御します。

デフォルトでは、デプロイされた各アプリケーションは、パブリック・インターネットへのアウトバウンド・アクセスで構成されます。これにより、エージェント・ワークロードは、パブリックMCPサーバー、サードパーティAPI、基盤モデル・エンドポイント、一般的なAIワークフローに必要なその他のインターネット・ホスト・ツールなどの外部リソースに到達できます。

アプリケーションは、顧客ネットワーキング・モードでも動作できます。このオプションには、テナンシのVCN内のターゲット・サブネットを指定します。次に、プラットフォームは、プライベート・エンドポイント/リバース接続エンドポイント(PE/RCE)メカニズムを使用して、エージェント・ワークロードと選択したサブネットの間にセキュアなプライベート・ネットワーク接続を確立します。

有効にすると、エージェントからのすべてのアウトバウンド(エグレス)トラフィックが、顧客指定のサブネットを介してルーティングされます。その結果、次のようになります。

  • エージェントは、ネットワーク内のプライベート・リソース(データベース、コンピュート・インスタンス、内部サービスなど)に安全にアクセスできます。
  • トラフィックはプライベートネットワーク境界内に残ります。
  • ネットワーク・セキュリティ・グループ(NSG)、ルート表、VCN内のファイアウォールなどのネットワーク・セキュリティ制御がアウトバウンド接続を管理します。
  • パブリック・インターネット・エグレスは、エンタープライズ・セキュリティ要件に従って制限または無効化できます。

このモデルでは、プラットフォームと顧客環境の間の明確なネットワーク分離境界を維持しながら、インターネットに直接接続されているAIワークロードと完全にプライベートなエンタープライズ統合デプロイメントの両方をサポートする柔軟性が提供されます。

エンドポイント

デフォルトでは、デプロイされた各アプリケーションにパブリック・エンドポイントがプロビジョニングされます。これにより、クライアントは、構成された認証および認可制御に従って、インターネット経由でエージェントを起動できます。

プライベート・ネットワーク・アクセスが必要なユース・ケースでは、生成AIプラットフォーム内にプライベート・エンドポイント(PE)を作成できます。プライベート・エンドポイントにより、プライベートIPアドレスおよび内部DNS解決を介した呼出しが可能になります。接続されたプライベート・ネットワーク内のクライアント(VCN、FastConnect/VPNを介したオンプレミス、ピアリングされたネットワークなど)は、プライベート・エンドポイントの完全修飾ドメイン名(FQDN)を使用してエージェントを起動できます。

この設定により、次のことが可能になります。

  • パブリック・インターネット・エクスポージャの排除
  • プライベート・ネットワーク境界内のトラフィック制限
  • エンタープライズ・ネットワークのセキュリティおよびコンプライアンス要件に準拠

サポートされているトランスポート・プロトコル

エージェントのデプロイ後、クライアントはプロビジョニングされたエンドポイントを介してエージェントを呼び出します。トランスポート・プロトコルは、エージェント・サーバーの実装および必要な相互作用モデル(リクエスト/レスポンス、ストリーミングまたは双方向セッション)によって異なります。

サポートされているプロトコルは次のとおりです。

http

HTTPは、最も広くサポートされている呼出しモデルです。

  • 相互作用モデル:ステートレス・リクエスト/レスポンス
  • トランスポート: TLS経由のHTTP/1.1またはHTTP/2
  • ユース・ケース:同期APIコールおよび短命推論リクエスト

このモードでは、クライアントはHTTPリクエスト(通常はJSONペイロードを含むPOST)を送信します。処理が完了すると、サーバーは単一のレスポンスを返します。

SSE (サーバー送信イベント)

Server-Sent Events (SSE)は、HTTP上に構築された単方向ストリーミング・プロトコルです。

  • 相互作用モデル:クライアントからサーバー(単一リクエスト)、サーバーからクライアント(ストリーム・レスポンス)
  • トランスポート: Content-Type: text/event-streamを使用したHTTP
  • ユースケース:ストリーミング・レスポンス(トークンごとの出力など)

このモードでは、クライアントはリクエストを送信し、サーバーは増分結果をイベントとしてストリーミングしながら接続を開いたままにします。

WebSocket (全二重ストリーミング)

WebSocketは、クライアントとサーバー間の永続的な双方向通信を提供します。

  • 相互作用モデル:全二重(クライアントおよびサーバーはいつでもメッセージを送信できます)
  • トランスポート: WebSocketプロトコル(wss://)
  • ユース・ケース:対話型エージェント、リアルタイムのツール実行、マルチターン・セッション

初期HTTPアップグレード・ハンドシェイク後、接続は開いたままになり、永続チャネルを介した双方向メッセージ交換が可能になります。

管理対象ストレージ

AIエージェントは、短期的なメモリー、チェックポイント、キャッシュおよびコンテキスト・ストレージをサポートするためにステートフル・サービスを必要とします。運用を簡素化し、管理のオーバーヘッドを削減するために、このプラットフォームはホスト・アプリケーションにフルマネージド・ストレージを提供します。

エージェントをデプロイするときに、次の管理対象記憶域オプションを1つ以上選択できます。

  • PostgreSQL
  • OCIキャッシュ
  • Oracle Autonomous Database

これらのストレージ・サービスは、アプリケーションに対して自動的にプロビジョニングおよび構成されます。

管理対象ストレージの動作

管理対象ストレージは、独自のテナンシで直接プロビジョニングするストレージとは異なります。

  • サービス管理デプロイメント:管理対象ストレージは、テナンシではなくサービス・テナンシにデプロイされます。これは、関連付けられたホスト・アプリケーションによってのみアクセスでき、直接外部アクセス(たとえば、ローカル・データベース・クライアントやパブリック・エンドポイント)には公開されません。
  • アプリケーション・スコープ・アクセス:特定のデプロイ済アプリケーションのみが管理対象ストレージ・インスタンスにアクセスできます。アクセスはプラットフォームによって内部的に制御されるため、ネットワーキング、認証または資格証明を手動で構成する必要はありません。
  • ライフサイクル統合:マネージド・ストレージは、エージェントのライフサイクルと緊密に結合されます。
    • エージェントをデプロイすると、ストレージが自動的に作成されます。
    • エージェントをスケーリングすると、ストレージはそれに応じてスケーリングされます(サポートされる場合)。
    • エージェントを削除すると、関連付けられたストレージも削除されます。
  • DBAレベルの管理なし:ストレージはプラットフォームによって完全に管理されるため、次のようになります。
    • DBAレベルの権限がありません。
    • 基になるインフラストラクチャにはアクセスできません。
重要

エージェントが削除されると、管理対象ストレージは完全に削除され、リカバリできません。

顧客管理ストレージを使用するタイミング

いくつかのシナリオでは、次のことが必要になる場合があります。

  • ライフサイクルがエージェントから独立したストレージ
  • データベース構成に対する完全な管理制御
  • 他のシステムまたはツールからの直接アクセス
  • カスタムの拡張、チューニングまたはアプリケーション間共有

このような場合、独自のVCNおよびテナンシにストレージ・リソースをプロビジョニングできます。次に、顧客ネットワーキング・モードを使用してこれらのリソースに接続するようにエージェントを構成します(前の項を参照)。

このオプションを使用すると、インフラストラクチャを完全に制御しながら、柔軟性を最大限に高めることができます。

制限

許可されるアプリケーション数やテナンシ当たりのアーティファクト数などの制限については、アプリケーションの制限を参照してください