生成AIでの専用AIクラスタ・パフォーマンス・ベンチマーク

次のベンチマーク・メトリックの定義を確認します。

メトリック1:Time to First Token (TTFT)

入力問合せの受信後にモデルが最初のトークン(または初期レスポンス)を生成および出力するのにかかる時間。

メトリック2: トークン・レベルの推論速度

このメトリックは、エンドツーエンド・レイテンシ単位ごとに生成される出力トークンの数として定義されます。

平均的な読み上げ速度が要求されるアプリケーションでは、速度が5トークン/秒以上のシナリオ(人間の平均読み上げ速度)に焦点を当てる必要があります。

他のシナリオでは、15トークン/秒の推論速度など、ほぼリアルタイムのトークン生成を高速化する必要があります。たとえば、ダイアログやチャット・シナリオでは、提供可能な同時ユーザー数が少なく、全体的なスループットが低くなります。

メトリック3: トークン・レベルのスループット

このメトリックは、すべての同時ユーザー・リクエストでサーバーによって生成されたトークンの平均合計数を定量化します。ユーザー間のリクエストを処理するためのサーバーの容量と効率の集計メジャーを提供します。

オフラインのバッチ処理タスクなど、推論速度がそれほど重要でない場合、焦点はスループットがピークとなり、したがってサーバーのコスト効率が最も高くなります。これは、大量の同時リクエストを処理するLLMの容量を示します。即時レスポンスが不要なバッチ処理やバックグラウンド・タスクに最適です。

ノート:トークン・レベルのスループット・ベンチマークは、LLMPerfツールを使用して実行されました。スループット計算には、生成されたテキストをトークン計算用にエンコードするために必要な時間が含まれる問題があります。

メトリック4: リクエスト・レベルのレイテンシ

このメトリックは、リクエストの最後のトークンの生成後など、リクエストの送信からリクエストの完了までにかかった時間の平均経過時間を表します。

メトリック5: リクエスト・レベルのスループット

1分当たりまたは1秒当たりの1単位時間当たりのリクエスト数。

メトリック6: 合計スループット

サーバーの入力および出力スループット

同時実行性

同時にリクエストを行うユーザーの数。