Cohere Embed Multilingual Image 3

Prüfen Sie Performancebenchmarks für das cohere.embed-multilingual-image-v3.0 (Cohere Embed Multilingual Image 3)-Modell, das auf einer Embed Cohere-Einheit eines dedizierten KI-Clusters in OCI Generative AI gehostet wird.

Siehe Details für das Modell, und prüfen Sie die folgenden Abschnitte:
- Verfügbare Regionen für dieses Modell.
- Dedizierte KI-Cluster für das Hosting dieses Modells.
Prüfen Sie die Metriken.

Texteinbettungen

Dieses Szenario gilt nur für die Einbettungsmodelle. Dieses Szenario ahmt die Einbettungsgenerierung als Teil der Datenaufnahme-Pipeline einer Vektordatenbank nach. In diesem Szenario haben alle Anforderungen die gleiche Größe, d.h. 96 Dokumente, die jeweils 512 Token enthalten. Ein Beispiel wäre eine Sammlung großer PDF-Dateien, jede Datei mit mehr als 30.000 Wörtern, die ein Benutzer in eine Vektor-DB aufnehmen möchte.


Nebenläufigkeit	Latenz auf Anforderungsebene (Sekunden)	Durchsatz auf Anforderungsebene (Anforderung pro Minute) (RPM)
1	2,25	24
8	4,33	120
32	14,94	144
128	49,21	198

Leichtere Texteinbettungen

Dieses Szenario gilt nur für die Einbettungsmodelle. Dieses leichtere Einbettungsszenario ähnelt dem Einbettungsszenario, mit der Ausnahme, dass wir die Größe jeder Anfrage auf 16 Dokumente mit jeweils 512 Token reduzieren. Kleinere Dateien mit weniger Wörtern könnten von diesem Szenario unterstützt werden.


Nebenläufigkeit	Latenz auf Anforderungsebene (Sekunden)	Durchsatz auf Anforderungsebene (Anforderung pro Minute) (RPM)
1	1,28	42
8	1,38	288
32	3,44	497
128	11,94	702

Bildereinbettungen

Dieses Szenario gilt nur für die Einbettungsmodelle mit Bildeingabe. In jedem Szenario stellt I(M,N): Bild mit der Höhe Npx und der Breite Mpx ein Bild mit der Höhe M und der Breite N Pixel dar. Beispiel: I(1024.512) ist ein Bild mit der Höhe von 1.024 Pixeln und der Breite von 512 Pixeln.

I(512.512)

In der folgenden Tabelle werden dedizierte Hosting-AI-Clusterbenchmarks mit der gehosteten cohere.embed-multilingual-image-v3.0 auf einer Embed Cohere-Einheit eines dedizierten KI-Clusters in einem Szenario eines Bildes mit der Höhe und Breite von 512 Pixel dargestellt.


Nebenläufigkeit	Latenz auf Anforderungsebene (Sekunden)	Durchsatz auf Anforderungsebene (Anforderung pro Sekunde) (RPS)
1	0,13	6,5
2	0,13	12,2
4	0,14	22,71
8	0,15	39,19
16	0,19	62,23
32	0,31	80,75
64	0,46	113,57
128	1,25	83,8
256	2,6	80,95

I(1024.512)

In der folgenden Tabelle werden dedizierte Hosting-AI-Clusterbenchmarks mit der cohere.embed-multilingual-image-v3.0 auf einer Embed Cohere-Einheit eines dedizierten KI-Clusters in einem Szenario eines Bildes mit der Höhe von 1.024 Pixeln und der Breite von 512 Pixeln angezeigt.


Nebenläufigkeit	Latenz auf Anforderungsebene (Sekunden)	Durchsatz auf Anforderungsebene (Anforderung pro Sekunde) (RPS)
1	0,14	5,79
2	0,14	10,67
4	0,16	18,74
8	0,17	32,08
16	0,24	47,64
32	0,44	58,76
64	0,93	60,67
128	1,71	64,96
256	3,06	68,54

I(2048,2048)


Nebenläufigkeit	Latenz auf Anforderungsebene (Sekunden)	Durchsatz auf Anforderungsebene (Anforderung pro Sekunde) (RPS)
1	0,26	2,82
2	0,3	4,77
4	0,29	10,43
8	0,34	18,14
16	0,57	21,93
32	1,09	25,44
64	2,08	26,99
128	4,14	26,24
256	10,17	23,6