Cohere Embed Anglais Image 3

Intégrations de texte

Ce scénario s'applique uniquement aux modèles d'intégration. Ce scénario imite la génération d'intégration dans le cadre du pipeline d'ingestion de données d'une base de données vectorielle. Dans ce scénario, toutes les demandes ont la même taille, soit 96 documents, chacun avec 512 jetons. Par exemple, un ensemble de fichiers PDF volumineux, chaque fichier contenant plus de 30 000 mots qu'un utilisateur souhaite ingérer dans une base de données vectorielle.


Accès simultané	Latence de niveau demande (seconde)	Débit au niveau de la demande (demande par minute) (RPM)
1	2,53	24
8	4,35	108
32	14,93	120
128	47,66	150

Intégrations de texte plus légères

Ce scénario s'applique uniquement aux modèles d'intégration. Ce scénario d'intégration plus léger est similaire au scénario d'intégration, sauf que nous réduisons la taille de chaque demande à 16 documents, chacun avec 512 jetons. Des fichiers plus petits avec moins de mots pourraient être pris en charge par ce scénario.


Accès simultané	Latence de niveau demande (seconde)	Débit au niveau de la demande (demande par minute) (RPM)
1	1,19	54
8	1,41	348
32	3,47	600
128	12,08	558

Intégrations d'images

Ce scénario s'applique uniquement aux modèles d'intégration avec entrée d'image. Dans chaque scénario, I(M,N) : Image de hauteur Npx et de largeur Mpx représente une image de hauteur M et de largeur N pixels. Par exemple, I(1024 512) est une image d'une hauteur de 1 024 pixels et d'une largeur de 512 pixels.

I(512 512)

Le tableau suivant présente les tests d'évaluation de cluster d'IA dédié hosting avec cohere.embed-english-image-v3.0 hébergé sur une unité Embed Cohere d'un cluster d'IA dédié, dans un scénario d'image avec une hauteur et une largeur de 512 pixels.


Accès simultané	Latence de niveau demande (seconde)	Débit de niveau demande (demande par seconde) (RPS)
1	0,13	6,6
2	0,13	12,58
4	0,13	24,3
8	0,14	43,81
16	0,16	74,34
32	0,23	105,97
64	0,45	107,5
128	0,92	99,56
256	1,9	88,71

I(1024 512)

Le tableau suivant présente les tests d'évaluation de cluster d'IA dédié hosting avec cohere.embed-english-image-v3.0 hébergé sur une unité Embed Cohere d'un cluster d'IA dédié, dans un scénario d'image d'une hauteur de 1 024 pixels et d'une largeur de 512 pixels.


Accès simultané	Latence de niveau demande (seconde)	Débit de niveau demande (demande par seconde) (RPS)
1	0,14	5,72
2	0,14	10,99
4	0,14	20,77
8	0,16	37,19
16	0,18	61,51
32	0,27	84,59
64	0,5	90
128	1,08	80,2
256	2,15	68,2

I(2048,2048)

Le tableau suivant présente les tests d'évaluation de cluster d'IA dédié hosting avec cohere.embed-english-image-v3.0 hébergé sur une unité Embed Cohere d'un cluster d'IA dédié, dans un scénario d'image avec une hauteur et une largeur de 2 048 pixels.


Accès simultané	Latence de niveau demande (seconde)	Débit de niveau demande (demande par seconde) (RPS)
1	0,26	2,78
2	0,27	5,2
4	0,3	9,43
8	0,35	15,92
16	0,44	26,45
32	0,66	35,82
64	1,27	36,88
128	2,49	36,36
256	6,04	37,5

Documentation Oracle Cloud Infrastructure