Cohere Embed English Light 3
OCI生成AIの専用AIクラスタの1つの Embed Cohere ユニットでホストされているcohere.embed-english-light-v3.0 (Cohere Embed English Light 3)モデルのパフォーマンス・ベンチマークを確認します。
埋込み
このシナリオは、埋込みモデルにのみ適用されます。このシナリオは、ベクトル・データベースのデータ取込みパイプラインの一部として生成を埋め込むことを模倣します。このシナリオでは、すべてのリクエストが同じサイズ(96ドキュメント)で、それぞれに512トークンがあります。たとえば、大きいPDFファイルの集まりで、ユーザーがベクトルDBに取り込む30,000以上の単語を含む各ファイルがあります。
| 同時実行性 | リクエスト・レベルのレイテンシ(秒) | リクエスト・レベルのスループット(リクエスト/分) (RPM) |
|---|---|---|
| 1 | 1.75 | 30 |
| 8 | 3.93 | 108 |
| 32 | 14.44 | 113 |
| 128 | 48.00 | 120 |
より軽い埋め込み
このシナリオは、埋込みモデルにのみ適用されます。このより軽い埋込みシナリオは埋込みシナリオに似ていますが、各リクエストのサイズを512個のトークンを持つ16個のドキュメントに減らす点が異なります。このシナリオでは、より少ない単語の小さいファイルをサポートできます。
| 同時実行性 | リクエスト・レベルのレイテンシ(秒) | リクエスト・レベルのスループット(リクエスト/分) (RPM) |
|---|---|---|
| 1 | 0.85 | 48 |
| 8 | 1.15 | 354 |
| 32 | 3.15 | 594 |
| 128 | 11.26 | 846 |