Oracle Cloud Infrastructureドキュメント

Cohere Embed English Light Image 3

OCI生成AIの専用AIクラスタの1つの Embed Cohere ユニットでホストされるcohere.embed-english-light-image-v3.0 (Cohere Embed English Light Image 3)モデルのパフォーマンス・ベンチマークを確認します。

テキストの埋込み

このシナリオは、埋込みモデルにのみ適用されます。このシナリオでは、ベクトル・データベースのデータ取込みパイプラインの一部として生成を埋め込むことを模倣します。このシナリオでは、すべてのリクエストが同じサイズで、それぞれ512個のトークンを持つ96個のドキュメントです。たとえば、ユーザーがベクトルDBに収集する単語が30,000個以上ある大きなPDFファイルの集合です。

同時実行性 リクエスト・レベル・レイテンシ(秒) リクエスト・レベルのスループット(リクエスト/分)(RPM)
1 1.75 30
8 3.93 108
32 14.44 113
128 48.00 120

より軽いテキスト埋込み

このシナリオは、埋込みモデルにのみ適用されます。このより軽い埋込みシナリオは埋込みシナリオと似ていますが、各リクエストのサイズを、それぞれ512個のトークンを持つ16個のドキュメントに減らす点が異なります。このシナリオでは、単語数が少ない小さいファイルをサポートできます。

同時実行性 リクエスト・レベル・レイテンシ(秒) リクエスト・レベルのスループット(リクエスト/分)(RPM)
1 0.85 48
8 1.15 354
32 3.15 594
128 11.26 846

イメージ埋込み

このシナリオは、イメージ入力を含む埋込みモデルにのみ適用されます。各シナリオで、I(M、N): Image with height Npx and width Mpxは、高さがMで幅がNピクセルのイメージを表します。たとえば、I(1024,512)は、高さが1,024ピクセル、幅が512ピクセルのイメージです。

I(512,512)

次の表に、高さと幅が512ピクセルのイメージのシナリオで、専用AIクラスタの1つの Embed Cohere ユニットでホストされたcohere.embed-english-light-image-v3.0を使用した専用AIクラスタ・ベンチマークのホスティングを示します。

同時実行性 リクエスト・レベル・レイテンシ(秒) リクエスト・レベルのスループット(リクエスト/秒) (RPS)
1 0.12 6.57
2 0.12 13.08
4 0.13 24.62
8 0.14 45.56
16 0.16 73.90
32 0.23 108.19
64 0.46 103.36
128 0.92 87.80
256 1.94 92.71

I(1024,512)

次の表に、専用AIクラスタの1つの Embed Cohere ユニットでホストされたcohere.embed-english-light-image-v3.0を使用した専用AIクラスタ・ベンチマークのホスティングを示します(高さが1,024ピクセルで幅が512ピクセルのイメージのシナリオ)。

同時実行性 リクエスト・レベル・レイテンシ(秒) リクエスト・レベルのスループット(リクエスト/秒) (RPS)
1 0.13 5.70
2 0.13 11.69
4 0.14 21.87
8 0.15 37.95
16 0.18 63.98
32 0.27 82.32
64 0.50 90.06
128 1.02 87.30
256 2.27 70.04

I(2048,2048)

次の表に、高さと幅が2,048ピクセルのイメージのシナリオで、専用AIクラスタの1つの Embed Cohere ユニットでホストされたcohere.embed-english-light-image-v3.0を使用したホスティング専用AIクラスタ・ベンチマークを示します。

同時実行性 リクエスト・レベル・レイテンシ(秒) リクエスト・レベルのスループット(リクエスト/秒) (RPS)
1 0.25 2.86
2 0.26 5.72
4 0.30 9.85
8 0.34 17.05
16 0.42 28.45
32 0.62 38.97
64 1.16 42.38
128 2.50 37.57
256 6.09 33.26