シナリオ5: 生成AIでのテキスト埋込みベンチマーク

テキスト埋込みシナリオは、ベクトル・データベースのデータ収集パイプラインの一部として生成を組み込むことを模倣します。

テキスト埋込みシナリオは、埋込みモデルにのみ適用されます。このシナリオでは、すべてのリクエストが同じサイズ(96ドキュメント、それぞれが512トークン)です。たとえば、ユーザーがベクトルDBに取り込む30,000語以上の単語を含む大きなPDFファイルの集合です。

ホスティング専用AIクラスタのベンチマークで使用される用語を確認します。シナリオとその説明のリストは、テキスト埋込みシナリオを参照してください。テキスト埋込みシナリオは次のリージョンで実行されます。

US Midwest (Chicago)

モデル: 専用AIクラスタの1つのEmbed Cohereユニットでホストされるcohere.embed-english-v3.0
同時 リクエスト・レベルのレイテンシ(秒) リクエスト・レベルのスループット(リクエスト/分)(RPM)
1 2.53 24
8 4.35 108
32 14.93 120
128 47.66 150
モデル: 専用AIクラスタの1つのEmbed Cohereユニットでホストされるcohere.embed-english-light-v3.0
同時 リクエスト・レベルのレイテンシ(秒) リクエスト・レベルのスループット(リクエスト/分)(RPM)
1 1.75 30
8 3.93 108
32 14.44 113
128 48.00 120
モデル: 専用AIクラスタの1つのEmbed Cohereユニットでホストされるcohere.embed-multilingual-v3.0
同時 リクエスト・レベルのレイテンシ(秒) リクエスト・レベルのスループット(リクエスト/分)(RPM)
1 2.25 24
8 4.33 120
32 14.94 144
128 49.21 198
モデル: 専用AIクラスタの1つのEmbed Cohereユニットでホストされるcohere.embed-multilingual-light-v3.0
同時 リクエスト・レベルのレイテンシ(秒) リクエスト・レベルのスループット(リクエスト/分)(RPM)
1 1.69 42
8 3.80 118
32 14.26 126
128 37.17 138