Cohere Embed English Image 3

OCI生成AIの専用AIクラスタの1つのEmbed Cohereユニットでホストされているcohere.embed-english-image-v3.0 (Cohere Embed English Image 3)モデルのパフォーマンス・ベンチマークを確認します。

モデルの詳細を参照し、次のセクションを確認してください:
- このモデルで使用可能なリージョン。
- このモデルをホストするための専用AIクラスタ。
メトリックを確認します。

テキスト埋め込み

このシナリオは、埋込みモデルにのみ適用されます。このシナリオは、ベクトル・データベースのデータ取込みパイプラインの一部として生成を埋め込むことを模倣します。このシナリオでは、すべてのリクエストが同じサイズ(96ドキュメント)で、それぞれに512トークンがあります。たとえば、大きいPDFファイルの集まりで、ユーザーがベクトルDBに取り込む30,000以上の単語を含む各ファイルがあります。


同時実行性	リクエスト・レベルのレイテンシ(秒)	リクエスト・レベルのスループット(リクエスト/分) (RPM)
1	2.53	24
8	4.35	108
32	14.93	120
128	47.66	150

より明るいテキスト埋込み

このシナリオは、埋込みモデルにのみ適用されます。このより軽い埋込みシナリオは埋込みシナリオに似ていますが、各リクエストのサイズを512個のトークンを持つ16個のドキュメントに減らす点が異なります。このシナリオでは、より少ない単語の小さいファイルをサポートできます。


同時実行性	リクエスト・レベルのレイテンシ(秒)	リクエスト・レベルのスループット(リクエスト/分) (RPM)
1	1.19	54
8	1.41	348
32	3.47	600
128	12.08	558

イメージ埋込み

このシナリオは、イメージ入力のある埋込みモデルにのみ適用されます。各シナリオで、I(M、N): 高さNpxおよび幅Mpxのイメージは、高さMおよび幅Nピクセルのイメージを表します。たとえば、I(1024,512)は、高さが1,024ピクセル、幅が512ピクセルのイメージです。

I(512,512)

次の表は、高さと幅が512ピクセルのイメージのシナリオで、専用AIクラスタの1つのEmbed Cohereユニットでホストされるcohere.embed-english-image-v3.0を使用した専用AIクラスタ・ベンチマークのホスティングを示しています。


同時実行性	リクエスト・レベルのレイテンシ(秒)	リクエスト・レベルのスループット(リクエスト/秒) (RPS)
1	0.13	6.60
2	0.13	12.58
4	0.13	24.30
8	0.14	43.81
16	0.16	74.34
32	0.23	105.97
64	0.45	107.50
128	0.92	99.56
256	1.90	88.71

I(1024,512)

次の表は、高さが1,024ピクセル、幅が512ピクセルのイメージのシナリオで、専用AIクラスタの1つのEmbed Cohereユニットでホストされるcohere.embed-english-image-v3.0を使用したホスティング専用AIクラスタ・ベンチマークを示しています。


同時実行性	リクエスト・レベルのレイテンシ(秒)	リクエスト・レベルのスループット(リクエスト/秒) (RPS)
1	0.14	5.72
2	0.14	10.99
4	0.14	20.77
8	0.16	37.19
16	0.18	61.51
32	0.27	84.59
64	0.50	90.00
128	1.08	80.20
256	2.15	68.20

I(2048年、2048年)

次の表は、高さと幅が2,048ピクセルのイメージのシナリオで、専用AIクラスタの1つのEmbed Cohereユニットでホストされるcohere.embed-english-image-v3.0を使用した専用AIクラスタ・ベンチマークのホスティングを示しています。


同時実行性	リクエスト・レベルのレイテンシ(秒)	リクエスト・レベルのスループット(リクエスト/秒) (RPS)
1	0.26	2.78
2	0.27	5.20
4	0.30	9.43
8	0.35	15.92
16	0.44	26.45
32	0.66	35.82
64	1.27	36.88
128	2.49	36.36
256	6.04	37.50