Cohere Command R+ 08-2024

このシナリオは、プロンプトおよびレスポンスのサイズが事前に不明であるテキスト生成のユース・ケースを模倣します。プロンプト長と応答長が不明なため、プロンプト長と応答長の両方が正規分布に従う確率的アプローチを使用しました。プロンプトの長さは、平均480個のトークンと240個のトークンの標準偏差を持つ正規分布に従います。応答の長さは、平均300トークンと標準偏差150トークンの正規分布に従います。

サウジアラビア中央部(リヤド)リージョンを除くすべてのリージョンについて、専用AIクラスタの1つのLarge Cohere V2_2ユニットでホストされるcohere.command-r-plus-08-2024モデル。

同時実行性	トークン・レベルの推論速度(トークン/秒)	トークン・レベルのスループット(トークン/秒)	リクエスト・レベルのレイテンシ(秒)	リクエスト・レベルのスループット(リクエスト/秒(RPS)
1	59.40	51.39	3.97	0.25
2	56.82	99.37	4.07	0.49
4	53.54	187.30	4.29	0.92
8	45.14	321.74	4.98	1.57
16	37.45	527.84	6.06	2.52
32	31.06	835.95	7.05	4.17
64	21.23	1,013.92	9.91	5.36
128	12.27	1,013.50	15.17	6.28
256	11.97	711.27	41.84	4.49

サウジアラビア中央部(リヤド)リージョンの専用AIクラスタの1つのLarge Cohere V2_2ユニットでホストされるcohere.command-r-plus-08-2024モデル。

同時実行性	トークン・レベルの推論速度(トークン/秒)	トークン・レベルのスループット(トークン/秒)	リクエスト・レベルのレイテンシ(秒)	リクエスト・レベルのスループット(リクエスト/秒) (RPS)
1	68.26	57.04	4.56	0.22
2	66.98	113.61	4.65	0.43
4	63.73	217.25	4.94	0.80
8	59.32	403.93	5.15	1.53
16	54.51	737.83	5.63	2.75
32	45.65	1,213.09	6.57	4.55
64	35.81	1,791.62	8.42	6.71
128	24.20	2,030.12	11.87	8.22
256	23.53	2,064.19	19.82	8.42

このシナリオでは、プロンプトとレスポンスが短いチャットおよびダイアログのユースケースについて説明します。プロンプトとレスポンスの長さはそれぞれ100個のトークンに固定されます。

サウジアラビア中央部(リヤド)リージョンを除くすべてのリージョンについて、専用AIクラスタの1つのLarge Cohere V2_2ユニットでホストされるcohere.command-r-plus-08-2024モデル。

同時実行性	トークン・レベルの推論速度(トークン/秒)	トークン・レベルのスループット(トークン/秒)	リクエスト・レベルのレイテンシ(秒)	リクエスト・レベルのスループット(リクエスト/秒) (RPS)
1	59.64	44.86	1.99	0.50
2	57.81	87.16	2.02	0.98
4	54.31	164.73	2.12	1.86
8	46.73	290.36	2.43	3.22
16	40.77	496.24	2.76	5.52
32	34.74	786.28	3.53	8.77
64	25.08	1,074.45	4.57	12.13
128	17.46	1,402.86	7.15	15.58
256	14.68	1,321.52	12.48	14.82

サウジアラビア中央部(リヤド)リージョンの専用AIクラスタの1つのLarge Cohere V2_2ユニットでホストされるcohere.command-r-plus-08-2024モデル。

同時実行性	トークン・レベルの推論速度(トークン/秒)	トークン・レベルのスループット(トークン/秒)	リクエスト・レベルのレイテンシ(秒)	リクエスト・レベルのスループット(リクエスト/秒) (RPS)
1	69.01	47.06	1.97	0.50
2	67.99	92.76	1.99	1.00
4	66.71	182.12	2.03	1.95
8	64.71	345.04	2.09	3.70
16	61.79	658.79	2.19	7.06
32	57.74	1,196.06	2.37	12.79
64	50.01	1,861.32	2.86	19.97
128	37.88	2,266.40	4.00	24.28
256	35.73	2,753.63	6.15	29.50

このシナリオは、生成およびモデル・レスポンスの重いユースケース用です。たとえば、アイテムの短い箇条書きリストから生成される長いジョブの説明です。この場合、プロンプトの長さは100トークンに固定され、レスポンスの長さは1,000トークンに固定されます。

サウジアラビア中央部(リヤド)リージョンを除くすべてのリージョンについて、専用AIクラスタの1つのLarge Cohere V2_2ユニットでホストされるcohere.command-r-plus-08-2024モデル。

同時実行性	トークン・レベルの推論速度(トークン/秒)	トークン・レベルのスループット(トークン/秒)	リクエスト・レベルのレイテンシ(秒)	リクエスト・レベルのスループット(リクエスト/秒) (RPS)
1	58.51	48.56	4.08	0.24
2	55.59	91.08	4.35	0.46
4	51.26	162.12	4.87	0.81
8	42.35	251.89	6.25	1.26
16	32.91	371.92	8.47	1.86
32	28.74	555.48	11.29	2.78
64	15.69	627.51	19.00	3.14
128	7.11	577.71	36.95	2.90
256	6.27	541.87	63.18	2.72

サウジアラビア中央部(リヤド)リージョンの専用AIクラスタの1つのLarge Cohere V2_2ユニットでホストされるcohere.command-r-plus-08-2024モデル。

同時実行性	トークン・レベルの推論速度(トークン/秒)	トークン・レベルのスループット(トークン/秒)	リクエスト・レベルのレイテンシ(秒)	リクエスト・レベルのスループット(リクエスト/秒) (RPS)
1	66.69	62.92	14.14	0.07
2	66.40	123.84	14.32	0.14
4	64.72	244.79	14.51	0.27
8	63.87	486.70	14.90	0.53
16	60.49	915.45	15.54	1.02
32	57.09	1,708.15	16.57	1.89
64	49.88	2,943.89	18.90	3.30
128	40.01	4,514.92	23.89	5.05
256	39.84	4,740.55	39.50	5.26

検索拡張生成(RAG)シナリオには、非常に長いプロンプトがあり、ユースケースの要約などの短いレスポンスがあります。プロンプトの長さは2,000トークンに固定され、レスポンスの長さは200トークンに固定されます。

サウジアラビア中央部(リヤド)リージョンを除くすべてのリージョンについて、専用AIクラスタの1つのLarge Cohere V2_2ユニットでホストされるcohere.command-r-plus-08-2024モデル。

同時実行性	トークン・レベルの推論速度(トークン/秒)	トークン・レベルのスループット(トークン/秒)	リクエスト・レベルのレイテンシ(秒)	リクエスト・レベルのスループット(リクエスト/秒) (RPS)
1	61.54	58.82	12.20	0.08
2	59.46	113.88	14.32	0.14
4	56.83	216.43	13.34	0.29
8	50.35	383.52	14.16	0.55
16	45.71	681.87	16.28	0.94
32	42.04	1,203.12	16.03	1.81
64	32.83	1,870.11	19.12	2.99
128	24.80	2,728.79	27.59	3.96
256	24.51	2,532.47	43.73	3.69

サウジアラビア中央部(リヤド)リージョンの専用AIクラスタの1つのLarge Cohere V2_2ユニットでホストされるcohere.command-r-plus-08-2024モデル。

同時実行性	トークン・レベルの推論速度(トークン/秒)	トークン・レベルのスループット(トークン/秒)	リクエスト・レベルのレイテンシ(秒)	リクエスト・レベルのスループット(リクエスト/秒) (RPS)
1	69.52	54.09	3.46	0.29
2	67.31	103.91	3.62	0.55
4	63.19	189.23	3.91	1.01
8	57.13	331.56	4.48	1.77
16	48.48	524.40	5.64	2.79
32	38.31	735.33	7.84	3.90
64	22.66	894.11	12.58	4.73
128	10.61	819.11	24.39	4.35
256	9.16	803.95	42.18	4.25