Cohere Embed English Light 3
OCI生成AIの専用AIクラスタの1つの Embed Cohere ユニットでホストされるcohere.embed-english-light-v3.0 (Cohere Embed English Light 3)モデルのパフォーマンス・ベンチマークを確認します。
-
- このモデルの使用可能なリージョンを参照してください。
- このモデルをホストするための専用AIクラスタ・ユニット・サイズをモデル・ページで確認します。
- メトリックを確認します。
埋込み
このシナリオは、埋込みモデルにのみ適用されます。このシナリオでは、ベクトル・データベースのデータ取込みパイプラインの一部として生成を埋め込むことを模倣します。このシナリオでは、すべてのリクエストが同じサイズで、それぞれ512個のトークンを持つ96個のドキュメントです。たとえば、ユーザーがベクトルDBに収集する単語が30,000個以上ある大きなPDFファイルの集合です。
| 同時実行性 | リクエスト・レベル・レイテンシ(秒) | リクエスト・レベルのスループット(リクエスト/分)(RPM) |
|---|---|---|
| 1 | 1.75 | 30 |
| 8 | 3.93 | 108 |
| 32 | 14.44 | 113 |
| 128 | 48.00 | 120 |
より軽い埋め込み
このシナリオは、埋込みモデルにのみ適用されます。このより軽い埋込みシナリオは埋込みシナリオと似ていますが、各リクエストのサイズを、それぞれ512個のトークンを持つ16個のドキュメントに減らす点が異なります。このシナリオでは、単語数が少ない小さいファイルをサポートできます。
| 同時実行性 | リクエスト・レベル・レイテンシ(秒) | リクエスト・レベルのスループット(リクエスト/分)(RPM) |
|---|---|---|
| 1 | 0.85 | 48 |
| 8 | 1.15 | 354 |
| 32 | 3.15 | 594 |
| 128 | 11.26 | 846 |