プライベートAIの環境変数

環境変数は、ファイルの場所、ロギング設定などの構成プロパティを設定するのに使用できます。標準の-eフラグを使用してコンテナを実行するときに、コンテナに渡すことができます。

通常、JSON構成ファイルは、設定を一元化して管理を簡略化できるため、ほとんどの構成設定を指定するのに望ましい方法です。ただし、特定のプロパティは、-eフラグを使用して環境変数としてのみ設定できるので、構成ファイルでは指定できません。これは、これらの環境変数が、JSONファイルがロードされる前に処理されるためです。例外については、次の表を参照してください:

変数名	型	デフォルト値	値の範囲	説明
PRIVATE_AI_CONFIG_FILE	文字列	なし	なし	構成ファイルとして使用されるconfig.jsonファイル(ファイル名が異なる場合あり)の場所を指定します。 この変数は、PRIVATE_AI_MODELFILEが指定されていない場合、必須です。
PRIVATE_AI_DRYRUN	ブール値	FALSE	TRUE FALSE	このオプション変数は、コンテナをテスト実行モードで実行するかどうかを指定します。 テスト実行モードに関する情報は、この項の最後にあります。
PRIVATE_AI_LOG_STDOUT_ENABLED	ブール値	FALSE	TRUE FALSE	このオプション変数は、ログをコンソールに表示するか、ログ・ディレクトリに書き込むかを指定します。

次の環境変数のリスト(すべてオプション)は、JSON構成ファイルで設定するか、コンテナの実行時に-eフラグを使用して設定できます。

変数名	型	デフォルト値	値の範囲	説明
PRIVATE_AI_ONNX_INTRA_OP_NUM_THREADS	数値	なし	1からホスト上の使用可能なプロセッサの数まで	ONNX Runtimeのintra-opスレッドの数。この環境変数は、複数のモデルを使用する場合にグローバル・デフォルトとして使用されます。プロパティは、構成ファイルを使用して個々のモデルに設定できます。
PRIVATE_AI_MODEL_SCORING_TIMEOUT	数値	120	1から3600	取消しが試行されるまでにONNXモデル・スコアリング・スレッドを実行できる最大時間(秒)。
PRIVATE_AI_MODEL_CACHE_TTL	数値	5400	1から7200	キャッシュ・エントリが期限切れになり、モデル・キャッシュから削除されるまでの最大アイドル時間(秒)。
PRIVATE_AI_MODEL_CACHE_MAXENTRIES	数値	16	1から64	LRUエントリが削除されるまでにモデル・キャッシュに存在できるエントリの最大数。
PRIVATE_AI_MAX_FILE_SIZE	数値	800,000,000	1以上	最大モデル入力バイト長
PRIVATE_AI_MAX_IMG_SIZE	数値	20,000,000	1以上	ONNXモデルの最大イメージ・バイト長。
PRIVATE_AI_LOG_LEVEL	文字列	INFO	INFO、OFF、SEVERE、WARNING、FINE、FINER、FINEST、ALL	ロギング・レベル。
PRIVATE_AI_MAX_MODEL_COUNT	数値	64	1以上	1つの構成ファイルで許可されるモデルの最大数。
PRIVATE_AI_MAX_SCORE_PAYLOAD	数値	20,000,000	1以上	スコアリング・リクエストの最大ペイロード。
PRIVATE_AI_MAX_BATCHSIZE	数値	256	1以上	最大バッチ・サイズ。

PRIVATE_AI_DRYRUN環境変数を使用するとテスト実行モードが有効になり、アプリケーション・サーバーを完全起動することなく、Kubernetesオペレータおよび自動化ツールでコンテナの準備状況と環境の正確性を検証できます。テスト実行モードは、アプリケーション・エンドポイントを公開したり、高負荷なプロセスを開始する前に、動的なシークレット、環境変数および構成ファイルを検証する場合に使用すると特に便利です。

テスト実行モードでは、コンテナは、通常設定時に実行されるすべての検証および初期化ステップを実行しますが、Micronautサーバーは起動しません。この手法は、構成ミスを早期に検出するのに役立ち、DevOpsおよびKubernetesワークフローにシームレスに統合されます。コンテナ・プロセスは、検証の成功後または最初の失敗時にただちに終了します。

テスト実行の結果は、コンテナ内の/privateai/app/にある次の2つのファイルのいずれかで示されます:

• dryrun.suc: 検証が成功したことを示します。
• dryrun.dif: 検証に失敗したことを示します。このファイルには失敗の理由が含まれます。