Cohere Embed English Light V3

OCI生成AIの専用AIクラスタの1つのEmbed Cohereユニットでホストされているcohere.embed-english-light-v3.0 (Cohere Embed English Light V3)モデルのパフォーマンス・ベンチマークを確認します。

  • モデルの詳細を参照し、次のセクションを確認してください:
    • このモデルで使用可能なリージョン。
    • このモデルをホストするための専用AIクラスタ。
  • メトリックを確認します。

埋込み

このシナリオは、埋込みモデルにのみ適用されます。このシナリオは、ベクトル・データベースのデータ取込みパイプラインの一部として生成を埋め込むことを模倣します。このシナリオでは、すべてのリクエストが同じサイズ(96ドキュメント)で、それぞれに512トークンがあります。たとえば、大きいPDFファイルの集まりで、ユーザーがベクトルDBに取り込む30,000以上の単語を含む各ファイルがあります。

同時実行性 リクエスト・レベルのレイテンシ(秒) リクエスト・レベルのスループット(リクエスト/分) (RPM)
1 1.75 30
8 3.93 108
32 14.44 113
128 48.00 120

より軽い埋め込み

このシナリオは、埋込みモデルにのみ適用されます。このより軽い埋込みシナリオは埋込みシナリオに似ていますが、各リクエストのサイズを512個のトークンを持つ16個のドキュメントに減らす点が異なります。このシナリオでは、より少ない単語の小さいファイルをサポートできます。

同時実行性 リクエスト・レベルのレイテンシ(秒) リクエスト・レベルのスループット(リクエスト/分) (RPM)
1 0.85 48
8 1.15 354
32 3.15 594
128 11.26 846