Cohere Command Light 6 B
OCI生成AIの専用AIクラスタの1つの Small Cohere ユニットでホストされるcohere.command-light (Cohere Command Light 6 B)モデルのパフォーマンス・ベンチマークを確認します。
-
- このモデルの使用可能なリージョンを参照してください。
- このモデルをホストするための専用AIクラスタ・ユニット・サイズをモデル・ページで確認します。
- メトリックを確認します。
ランダム長
このシナリオでは、プロンプトとレスポンスのサイズが事前に不明であるテキスト生成のユースケースを模倣します。プロンプト長とレスポンス長が不明なため、プロンプト長とレスポンス長の両方が正規分布に従う確率的アプローチを使用しました。プロンプト長は、平均480トークンと標準偏差240トークンの正規分布に従います。レスポンスの長さは、平均300トークンと標準偏差150トークンの正規分布に従います。
| 同時実行性 | トークン・レベルの推論速度(トークン/秒) | トークン・レベルのスループット(トークン/秒) | リクエスト・レベル・レイテンシ(秒) | リクエスト・レベルのスループット(リクエスト/分)(RPM) |
|---|---|---|---|---|
| 1 | 69.17 | 69.19 | 3.57 | 15.69 |
| 8 | 38.75 | 208.22 | 6.54 | 45.08 |
| 32 | 17.98 | 337.35 | 13.49 | 75.50 |
| 128 | 4.01 | 397.36 | 37.69 | 92.17 |
チャット
このシナリオでは、プロンプトと応答が短いチャットおよびダイアログのユースケースについて説明します。プロンプトとレスポンスの長さはそれぞれ100トークンに固定されています。
| 同時実行性 | トークン・レベルの推論速度(トークン/秒) | トークン・レベルのスループット(トークン/秒) | リクエスト・レベル・レイテンシ(秒) | リクエスト・レベルのスループット(リクエスト/分)(RPM) |
|---|---|---|---|---|
| 1 | 71.85 | 54.49 | 1.74 | 30.21 |
| 8 | 41.91 | 191.52 | 2.87 | 105.63 |
| 32 | 31.37 | 395.49 | 3.55 | 216.87 |
| 128 | 28.27 | 557.57 | 3.9 | 302.44 |
世代重
このシナリオは、生成およびモデル・レスポンスの多いユース・ケース用です。たとえば、項目の短い箇条書きリストから生成される長い職務内容です。この場合、プロンプト長は100トークンに固定され、レスポンス長は1,000トークンに固定されます。
| 同時実行性 | トークン・レベルの推論速度(トークン/秒) | トークン・レベルのスループット(トークン/秒) | リクエスト・レベル・レイテンシ(秒) | リクエスト・レベルのスループット(リクエスト/分)(RPM) |
|---|---|---|---|---|
| 1 | 80.38 | 83.61 | 9.19 | 6.34 |
| 8 | 45.96 | 278.91 | 13.89 | 22.46 |
| 32 | 23.90 | 493.78 | 27.34 | 41.13 |
| 128 | 5.12 | 565.06 | 82.15 | 44.89 |
RAG
検索拡張生成(RAG)シナリオには、非常に長いプロンプトと、ユース・ケースの要約などの短いレスポンスがあります。プロンプト長は2,000トークンに固定され、レスポンス長は200トークンに固定されます。
| 同時実行性 | トークン・レベルの推論速度(トークン/秒) | トークン・レベルのスループット(トークン/秒) | リクエスト・レベル・レイテンシ(秒) | リクエスト・レベルのスループット(リクエスト/分)(RPM) |
|---|---|---|---|---|
| 1 | 56.71 | 50.88 | 3.14 | 17.61 |
| 8 | 24.70 | 148.42 | 6.15 | 53.93 |
| 32 | 11.06 | 235.31 | 13.37 | 85.14 |
| 128 | 3.40 | 280.3 | 31.64 | 105.77 |