1 Oracle Private AI Services Containerについて
プライベートAIサービスコンテナは、RESTを使用してOracle ONNXパイプライン形式のモデルに対して推論を実行するためのインタフェースを提供する、軽量でコンテナ化されたWebサービスです。このコンテナは、データ・センターまたはパブリック・クラウド内のコンピュート・ノードで実行できます。
プライベートAIサービス・コンテナを使用すると、ベクトル埋込み生成などの高負荷なAI計算処理をデータベース外にオフロードできます。これにより、索引付けおよび類似検索に使用可能なデータベース・コンピュート・リソースを解放できます。
Podmanを使用すると、複数のコンテナを同時に実行できます。Oracle Database Kubernetes Operatorは、コンテナ・オーケストレーションに使用できます。
- コンテナ管理者: コンテナ管理者として、コンテナの構成、停止、起動および一般的な管理を実行できます。
- モデル作成者: モデル作成者として、モデル・ファイルのプロビジョニングに関連するアクションを実行します。これには、ONNXパイプラインを作成したり、必要に応じてメタデータおよびモデル固有の構成を提供をするなどのタスクが含まれます。
- 推論クライアント: 推論クライアントとして、REST APIを使用してデータに対して推論を実行し、使用可能なモデルに問い合せます。
コンテナは複数の同時ユーザーに対応します。同時ユーザーの有効数は、CPUコアの数および埋込みモデルによって決まります。
ノート:
推論に使用されるユーザー・データは格納されず、一時的に処理されるだけです。コンテナへのリクエストはすべてステートレスであり、データは格納されません。AIサービス・コンテナは、固定されたセットのOracle Machine Learning (OML)モデル・タイプおよびマイニング機能に対応しています。モデル・タイプは、モデル入力のデータ型およびシェイプに基づいてコンテナによって自動的に判別されます。サポートされているモデル・タイプは次のとおりです:
| モデル・タイプ | モデル機能 | 目標 |
|---|---|---|
ONNX_TXT |
EMBEDDING |
テキスト埋込みを生成します。 モデルはテキストを入力として受け取り、埋込みを出力として生成します。モデルの例として、センテンス・トランスフォーマやCLIP (テキスト)があります。 |
ONNX_IMG |
EMBEDDING |
イメージ埋込みを生成します。 モデルはイメージを入力として受け取り、埋込みを出力として生成します。モデルの例として、ビジョン・トランスフォーマやCLIP (イメージ)があります。 |
Oracle AI Database 26ai現在、プライベートAIサービス・コンテナおよびデータベースへのデプロイでサポートされているのは、OML4Pyによって生成されたOracle ONNXパイプライン形式のモデルのみです。テキスト埋込みパイプラインとイメージ埋込みパイプラインの両方がサポートされています。ONNXパイプライン・モデルの詳細は、『Oracle Machine Learning for Pythonユーザーズ・ガイド』を参照してください。ONNX形式での事前トレーニング済モデルのインポートの詳細は、Oracle AI Database AI Vector Searchユーザーズ・ガイドを参照してください。
コンテナは、DBMS_VECTOR PL/SQLパッケージのUTL_TO_EMBEDDINGおよびUTL_TO_EMBEDDINGSプロシージャを使用してデータベースからコールできます。また、curlなどのRESTクライアント、あるいはOpenAI SDKを使用するクライアントからもコールできます。プライベートAIサービス・コンテナでPL/SQLプロシージャを使用する構文および例は、Oracle AI Database AI Vector Searchユーザーズ・ガイドを参照してください。
ノート:
サポート対象のOracle製品とともにこのプログラムを補助的に使用する場合、その製品のドキュメントに記載されている範囲でサポートを受けられることがあります。サポートが提供される場合は、Oracleのテクニカル・サポート・ポリシー(https://www.oracle.com/support/policies/を参照)に準拠します。
Oracle AI Private Services Containerに関連するライセンス情報については、Oracle Private AI Services Containerライセンス情報ユーザー・マニュアルを参照してください。