Cohere Embed Multilingual Light 3

OCI生成AIの専用AIクラスタの1つの Embed Cohere ユニットでホストされるcohere.embed-multilingual-light-v3.0 (Cohere Embed Multilingual Light 3)モデルのパフォーマンス・ベンチマークを確認します。

埋込み

このシナリオは、埋込みモデルにのみ適用されます。このシナリオでは、ベクトル・データベースのデータ取込みパイプラインの一部として生成を埋め込むことを模倣します。このシナリオでは、すべてのリクエストが同じサイズで、それぞれ512個のトークンを持つ96個のドキュメントです。たとえば、ユーザーがベクトルDBに収集する単語が30,000個以上ある大きなPDFファイルの集合です。

同時実行性 リクエスト・レベル・レイテンシ(秒) リクエスト・レベルのスループット(リクエスト/分)(RPM)
1 1.69 42
8 3.80 118
32 14.26 126
128 37.17 138

より軽い埋め込み

このシナリオは、埋込みモデルにのみ適用されます。このより軽い埋込みシナリオは埋込みシナリオと似ていますが、各リクエストのサイズを、それぞれ512個のトークンを持つ16個のドキュメントに減らす点が異なります。このシナリオでは、単語数が少ない小さいファイルをサポートできます。

同時実行性 リクエスト・レベル・レイテンシ(秒) リクエスト・レベルのスループット(リクエスト/分)(RPM)
1 1.03 54
8 1.35 300
32 3.11 570
128 11.50 888