生成AIにおけるメトリックの詳細
OCI生成AIリソースは、このサービスで提供されているメトリックを介して監視できます。OCIモニタリング・サービスを使用して、カスタム問合せおよびアラームを作成し、これらのメトリックがアラーム指定のトリガーを満たしたときに通知することもできます。
ホスティング専用AIクラスタ・メトリクス
この項では、ホスティング専用AIクラスタのメトリックをリストします。ファインチューニング専用クラスタにはメトリックが表示されません。
| メトリック表示名 | 摘要 |
|---|---|
| 稼働率 | 専用AIクラスタ内のすべてのGPUの平均GPU使用率 |
| 入力の合計数 | このホスティング専用AIクラスタのモデルが処理した入力トークンの数 |
| 出力の合計数 | このホスティング専用AIクラスタのモデルが処理した出力トークンの数 |
前述のメトリックは、ホスティング専用AIクラスタの詳細ページから取得できます。
エンドポイント・メトリック
この項では、生成AIのモデル・エンドポイントのメトリックをリストします。
| メトリック表示名 | 摘要 |
|---|---|
| 合計処理時間 | コール終了までの合計処理時間 |
| コール数 | このエンドポイントでホストされているモデルが処理した入力トークンの数 |
| サービス・エラー数 | サービス内部エラーのあるコール数 |
| クライアント・エラー数 | クライアント側エラーのあるコール数 |
| 入力の合計数 | このエンドポイントでホストされているモデルが処理した入力トークンの数 |
| 出力の合計数 | このエンドポイントでホストされているモデルが処理した出力トークンの数 |
| コールの成功率 | 成功したコールを合計コール数で割った値 |
前述のメトリックは、エンドポイントの詳細ページから取得できます。
カスタム問合せのメトリック
モニタリング・サービスを介して、生成AIクラスタおよびエンドポイント・メトリックのカスタム問合せおよびアラームを作成できます。
この項では、モニタリング・サービスを使用して生成AIメトリックのカスタム問合せを作成するために使用できるパラメータを示します。
| メトリック・パラメータ | 表示名 | 摘要 |
|---|---|---|
ClientErrorCount |
クライアント・エラー数 | クライアント側エラーのあるコール数 |
InputTokenCount |
入力の合計数 | このリソースでホストされているモデルが処理した入力トークンの数 |
InvocationLatency |
合計処理時間 | このリソースでコールが終了するまでの合計処理時間 |
OutputTokenCount |
出力の合計数 | このリソースでホストされているモデルが処理した出力トークンの数 |
ServerErrorCount |
サービス・エラー数 | サービス内部エラーのあるコール数 |
TotalInvocationCount |
コール数 | コール数 |
これらのカスタム問合せを作成するステップは、生成AIメトリックの問合せの作成を参照してください。