Cohere Embed English 3

OCI生成AIの専用AIクラスタの1つの Embed Cohere ユニットでホストされるcohere.embed-english-v3.0 (Cohere Embed English 3)モデルのパフォーマンス・ベンチマークを確認します。

埋込み

このシナリオは、埋込みモデルにのみ適用されます。このシナリオでは、ベクトル・データベースのデータ取込みパイプラインの一部として生成を埋め込むことを模倣します。このシナリオでは、すべてのリクエストが同じサイズで、それぞれ512個のトークンを持つ96個のドキュメントです。たとえば、ユーザーがベクトルDBに収集する単語が30,000個以上ある大きなPDFファイルの集合です。

同時実行性 リクエスト・レベル・レイテンシ(秒) リクエスト・レベルのスループット(リクエスト/分)(RPM)
1 2.53 24
8 4.35 108
32 14.93 120
128 47.66 150

より軽い埋め込み

このシナリオは、埋込みモデルにのみ適用されます。このより軽い埋込みシナリオは埋込みシナリオと似ていますが、各リクエストのサイズを、それぞれ512個のトークンを持つ16個のドキュメントに減らす点が異なります。このシナリオでは、単語数が少ない小さいファイルをサポートできます。

同時実行性 リクエスト・レベル・レイテンシ(秒) リクエスト・レベルのスループット(リクエスト/分)(RPM)
1 1.19 54
8 1.41 348
32 3.47 600
128 12.08 558