Cohere Embed Multilingual Image 3

Rivedere i benchmark delle prestazioni per il modello cohere.embed-multilingual-image-v3.0 (Cohere Embed Multilingual Image 3) ospitato su un'unità Embed Cohere di un cluster AI dedicato in OCI Generative AI.

Vedere i dettagli del modello ed esaminare le sezioni riportate di seguito.
- Aree disponibili per questo modello.
- Cluster AI dedicati per l'hosting di questo modello.
Esaminare le metriche.

Incorporamenti testo

Questo scenario si applica solo ai modelli di incorporamento. Questo scenario imita la generazione incorporata come parte della pipeline di inclusione dei dati di un database vettoriale. In questo scenario, tutte le richieste hanno le stesse dimensioni, ovvero 96 documenti, ognuno con 512 token. Un esempio potrebbe essere una raccolta di file PDF di grandi dimensioni, ogni file con più di 30.000 parole che un utente desidera includere in un database vettoriale.


Concorrenza	Latenza a livello di richiesta (secondo)	Throughput a livello di richiesta (richiesta al minuto) (RPM)
1	2,25	24
8	4,33	120
32	14,94	144
128	49,21	198

Incorporazioni testo più leggere

Questo scenario si applica solo ai modelli di incorporamento. Questo scenario di incorporamento più leggero è simile allo scenario di incorporamento, tranne che riduciamo le dimensioni di ogni richiesta a 16 documenti, ciascuno con 512 token. File più piccoli con meno parole potrebbero essere supportati da questo scenario.


Concorrenza	Latenza a livello di richiesta (secondo)	Throughput a livello di richiesta (richiesta al minuto) (RPM)
1	1,28	42
8	1,38	288
32	3,44	497
128	11,94	702

Incorporazioni immagine

Questo scenario si applica solo ai modelli di incorporamento con input di immagine. In ogni scenario, I(M,N): immagine con Npx di altezza e Mpx di larghezza rappresenta un'immagine con l'altezza di M e la larghezza di N pixel. Ad esempio, I(1024,512) è un'immagine con l'altezza di 1,024 pixel e la larghezza di 512 pixel.

S(512,512)

La tabella riportata di seguito mostra l'hosting dei benchmark cluster AI dedicati con cohere.embed-multilingual-image-v3.0 ospitati su un'unità Embed Cohere di un cluster AI dedicato, in uno scenario di un'immagine con altezza e larghezza di 512 pixel.


Concorrenza	Latenza a livello di richiesta (secondo)	Throughput a livello di richiesta (richiesta al secondo) (RPS)
1	0,13	6,5
2	0,13	12,2
4	0,14	22,71
8	0,15	39,19
16	0,19	62,23
32	0,31	80,75
64	0,46	113,57
128	1,25	83,8
256	2,6	80,95

S(1024,512)

La tabella riportata di seguito mostra l'hosting di benchmark cluster AI dedicati con cohere.embed-multilingual-image-v3.0 ospitati su un'unità Embed Cohere di un cluster AI dedicato, in uno scenario di un'immagine con altezza di 1.024 pixel e larghezza di 512 pixel.


Concorrenza	Latenza a livello di richiesta (secondo)	Throughput a livello di richiesta (richiesta al secondo) (RPS)
1	0,14	5,79
2	0,14	10,67
4	0,16	18,74
8	0,17	32,08
16	0,24	47,64
32	0,44	58,76
64	0,93	60,67
128	1,71	64,96
256	3,06	68,54

S(2048,2048)


Concorrenza	Latenza a livello di richiesta (secondo)	Throughput a livello di richiesta (richiesta al secondo) (RPS)
1	0,26	2,82
2	0,3	4,77
4	0,29	10,43
8	0,34	18,14
16	0,57	21,93
32	1,09	25,44
64	2,08	26,99
128	4,14	26,24
256	10,17	23,6