4 プライベートAIサービス・コンテナを構成する際の考慮事項

プライベートAIサービス・コンテナを構成する際には、このサービスを最大限に活用するために考慮する必要があるオプションおよび情報が多数あります。

• 使用可能な埋込みモデル
  コンテナに同梱されているものも含め、プライベートAIサービス・コンテナで使用可能な埋込みモデルは多数あります。また、ダウンロード可能な事前構築済モデルの他、コンテナと連携して動作することが確認されているが、Oracle Machine Learning for Python (OML4Py) Client 2.1を使用して構築する必要があるモデルもあります。
• プライベートAIの環境変数
  環境変数は、ファイルの場所、ロギング設定などの構成プロパティを設定するのに使用できます。標準の-eフラグを使用してコンテナを実行するときに、コンテナに渡すことができます。
• クライアントでのAPIキーの使用
  プライベートAIサービス・コンテナに対するクライアントは、サービスのPRIVATE_AI_AUTHENTICATION_ENABLEDがtrueに設定されている場合、有効なAPIキーを送信する必要があります。
• コンテナ入力の検証
  プライベートAIサービス・コンテナへの入力は、様々なソースから取得でき、それぞれ異なる方法を使用して検証されます。
• コンテナ自動イメージ変換
  リクエスト・ヘッダーx-convert-imagesを使用すると、入力イメージの形式を調査し、必要に応じて変換するようにコンテナに指示できます。デフォルトでは、JPEG形式がサポートされています。
• レート制限
  プライベートAIサービス・コンテナには、異なるカテゴリのエンドポイントに対して、コンテナが処理できる1分当たりのリクエスト数を制御するための構成可能な方法が用意されています。これにより、スケーラビリティが向上し、サービス拒否(DOS)攻撃などの不正使用を防止できます。
• トランスポート・レイヤー・セキュリティ
  コンテナ管理者は、環境変数およびキーストア・ファイルを、キーストアにアクセスするためのパスワード・ファイルとともに使用して、トランスポート・レイヤー・セキュリティを管理できます。
• コンテナのログ・ファイル
  プライベートAIサービス・コンテナに関する診断情報は、ログ・メッセージで入手でき、保存されます。
• マルチスレッド・スケーリング
  ONNX Runtimeはマルチスレッドに対応しており、複数CPUコアの恩恵を受けることができます。