Cohere Embed Multilingual Light Image 3

Plongements de texte

Ce scénario s'applique uniquement aux modèles d'intégration. Ce scénario imite la génération d'intégration dans le pipeline d'ingestion de données d'une base de données vectorielle. Dans ce scénario, toutes les demandes ont la même taille, soit 96 documents, chacun avec 512 jetons. Un exemple serait une collection de fichiers PDF volumineux, chaque fichier contenant plus de 30 000 mots qu'un utilisateur veut ingérer dans une base de données vectorielle.


Concurrence	Latence au niveau de la demande (seconde)	Débit au niveau de la demande (demande par minute) (RPM)
1	1.69	42
8	3.8	118
32	14.26	126
128	37.17	138

Intégrations plus légères

Ce scénario s'applique uniquement aux modèles d'intégration. Ce scénario d'intégration plus léger est similaire au scénario d'intégration, sauf que nous réduisons la taille de chaque demande à 16 documents, chacun avec 512 jetons. Ce scénario peut prendre en charge des fichiers plus petits avec moins de mots.


Concurrence	Latence au niveau de la demande (seconde)	Débit au niveau de la demande (demande par minute) (RPM)
1	1.03	54
8	1.35	300
32	3.11	570
128	11.5	888

Intégrations d'image

Ce scénario s'applique uniquement aux modèles d'intégration avec entrée d'image. Dans chaque scénario, I(M,N) : Image avec la hauteur Npx et la largeur Mpx représente une image avec la hauteur M et la largeur de N pixels. Par exemple, I(1024,512) est une image avec une hauteur de 1 024 pixels et une largeur de 512 pixels.

I(512 512)

Le tableau suivant présente les points de référence de grappe dédiée à l'IA pour l'hébergement avec cohere.embed-multilingual-light-image-v3.0 hébergé sur une unité Embed Cohere d'une grappe dédiée à l'IA, dans un scénario d'image avec une hauteur et une largeur de 512 pixels.


Concurrence	Latence au niveau de la demande (seconde)	Débit au niveau de la demande (demande par seconde) (RPS)
1	0.13	6.55
2	0.13	12.24
4	0.13	23.34
8	0.15	39.37
16	0.19	63.04
32	0.32	77.26
64	0.57	82.07
128	1.12	89.98
256	2.28	87.84

I(1024,512)

Le tableau suivant présente les points de référence de grappe dédiée à l'IA pour l'hébergement avec cohere.embed-multilingual-light-image-v3.0 hébergé sur une unité Embed Cohere d'une grappe dédiée à l'IA, dans un scénario d'image avec une hauteur de 1 024 pixels et une largeur de 512 pixels.


Concurrence	Latence au niveau de la demande (seconde)	Débit au niveau de la demande (demande par seconde) (RPS)
1	0.14	5.55
2	0.14	10.66
4	0.15	19.14
8	0.17	30.56
16	0.24	45.75
32	0.46	55.68
64	0.87	63.16
128	1.54	68.16
256	2.15	77.06

I(2048,2048)

Le tableau suivant présente les points de référence de grappe dédiée à l'IA pour l'hébergement avec cohere.embed-multilingual-light-image-v3.0 hébergé sur une unité Embed Cohere d'une grappe dédiée à l'IA, dans un scénario d'image avec une hauteur et une largeur de 2 048 pixels.


Concurrence	Latence au niveau de la demande (seconde)	Débit au niveau de la demande (demande par seconde) (RPS)
1	0.27	2.7
2	0.3	4.78
4	0.29	10.44
8	0.34	18.21
16	0.57	22.27
32	1.09	25.08
64	2.14	26.24
128	4.34	26.27
256	9.58	23.61