Cohere Embed Multilingual Image 3
Prüfen Sie Performancebenchmarks für das cohere.embed-multilingual-image-v3.0 (Cohere Embed Multilingual Image 3)-Modell, das auf einer Embed Cohere -Einheit eines dedizierten KI-Clusters in OCI Generative AI gehostet wird.
-
- Siehe Verfügbare Regionen für dieses Modell.
- Prüfen Sie die Größe der dedizierten KI-Clustereinheit für das Hosting dieses Modells auf der Modellseite.
- Prüfen Sie die Metriken.
Texteinbettungen
Dieses Szenario gilt nur für die Einbettungsmodelle mit Texteingabe. Dieses Szenario ahmt die Einbettungsgenerierung als Teil der Datenaufnahme-Pipeline einer Vektordatenbank nach. In jedem Szenario haben alle Anforderungen die gleiche Größe, d.h. 96 Dokumente, die jeweils dieselbe Anzahl von Token aufweisen. Beispiel: Das 512-Token-Szenario ahmt eine Sammlung großer PDF-Dateien nach, jede Datei mit mehr als 30.000 Wörtern, die ein Benutzer in eine Vektor-DB aufnehmen würde.
64 Token
Die folgende Tabelle zeigt die Benchmarks für ein Szenario mit 96 Dokumenten, 64 Token pro Dokument.
- Das
cohere.embed-multilingual-image-v3.0-Modell, das auf einer Embed Cohere -Einheit eines dedizierten KI-Clusters gehostet wird. -
Nebenläufigkeit Time to First Token (TTFT)(Sekunde) Latenz auf Anforderungsebene (Sekunden) Durchsatz auf Anforderungsebene (Anforderung pro Sekunde) (RPS) Gesamtdurchsatz (Token/Sekunde) 1 0,1 0,1 9,86 607,39 2 0,1 0,1 9,66 1.192,6 4 0,11 0,11 9,3 2.295,8 8 0,11 0,11 8,69 4.296,59 24 0,15 0,15 6,69 9.900,74 48 0,19 0,19 5,1 15.114,13 96 0,28 0,28 3,43 20.339,92
128 Token
Die folgende Tabelle zeigt die Benchmarks für ein Szenario mit 96 Dokumenten, 128 Token pro Dokument.
- Das
cohere.embed-multilingual-image-v3.0-Modell, das auf einer Embed Cohere -Einheit eines dedizierten KI-Clusters gehostet wird. -
Nebenläufigkeit Time to First Token (TTFT)(Sekunde) Latenz auf Anforderungsebene (Sekunden) Durchsatz auf Anforderungsebene (Anforderung pro Sekunde) (RPS) Gesamtdurchsatz (Token/Sekunde) 1 0,1 0,1 9,78 1.243,08 2 0,1 0,1 9,55 2.428,37 4 0,11 0,11 9,16 4.660,31 8 0,12 0,12 8,42 8.561,42 24 0,15 0,15 6,31 19.255,04 48 0,21 0,21 4,62 28.172,8 96 0,31 0,31 3,01 36.706,87
256 Token
Die folgende Tabelle zeigt die Benchmarks für ein Szenario mit 96 Dokumenten, 256 Token pro Dokument.
- Das
cohere.embed-multilingual-image-v3.0-Modell, das auf einer Embed Cohere -Einheit eines dedizierten KI-Clusters gehostet wird. -
Nebenläufigkeit Time to First Token (TTFT)(Sekunde) Latenz auf Anforderungsebene (Sekunden) Durchsatz auf Anforderungsebene (Anforderung pro Sekunde) (RPS) Gesamtdurchsatz (Token/Sekunde) 1 0,1 0,1 9,65 2.493,61 2 0,1 0,1 9,37 4.840,64 4 0,11 0,11 8,81 9.107,3 8 0,12 0,12 7,88 16.286,08 24 0,17 0,17 5,5 34.074,47 48 0,24 0,24 3,85 47.783,85 96 0,43 0,43 2,16 53.652,55
512 Token
Die folgende Tabelle zeigt die Benchmarks für ein Szenario mit 96 Dokumenten, 512 Token pro Dokument.
- Das
cohere.embed-multilingual-image-v3.0-Modell, das auf einer Embed Cohere -Einheit eines dedizierten KI-Clusters gehostet wird. -
Nebenläufigkeit Time to First Token (TTFT)(Sekunde) Latenz auf Anforderungsebene (Sekunden) Durchsatz auf Anforderungsebene (Anforderung pro Sekunde) (RPS) Gesamtdurchsatz (Token/Sekunde) 1 0,1 0,1 9,21 4.791,85 2 0,11 0,11 8,74 9.094,38 4 0,12 0,12 7,76 16.165,29 8 0,15 0,15 6,39 26.582,37 24 0,23 0,23 4,03 50.284,92 48 0,37 0,37 2,44 61.014,65 96 0,63 0,63 1,42 71.048,17
1,024 Token
Die folgende Tabelle zeigt die Benchmarks für ein Szenario mit 96 Dokumenten, 1.024 Token pro Dokument.
- Das
cohere.embed-multilingual-image-v3.0-Modell, das auf einer Embed Cohere -Einheit eines dedizierten KI-Clusters gehostet wird. -
Nebenläufigkeit Time to First Token (TTFT)(Sekunde) Latenz auf Anforderungsebene (Sekunden) Durchsatz auf Anforderungsebene (Anforderung pro Sekunde) (RPS) Gesamtdurchsatz (Token/Sekunde) 1 0,09 0,09 8,96 9.348,26 2 0,1 0,1 8,25 17.233,64 4 0,12 0,12 6,87 28.670,18 8 0,15 0,15 5,37 44.877,47 24 0,28 0,28 2,86 71.733,22 48 0,53 0,53 1,52 76.050,39 96 0,99 0,99 0,8 80.597,64
2,048 Token
Die folgende Tabelle zeigt die Benchmarks für ein Szenario mit 96 Dokumenten, 2.048 Token pro Dokument.
- Das
cohere.embed-multilingual-image-v3.0-Modell, das auf einer Embed Cohere -Einheit eines dedizierten KI-Clusters gehostet wird. -
Nebenläufigkeit Time to First Token (TTFT)(Sekunde) Latenz auf Anforderungsebene (Sekunden) Durchsatz auf Anforderungsebene (Anforderung pro Sekunde) (RPS) Gesamtdurchsatz (Token/Sekunde) 1 0,11 0,11 8,16 17.069,42 2 0,13 0,13 7,17 30.023,1 4 0,15 0,15 5,82 48.737,45 8 0,21 0,21 4,21 70.449,76 24 0,48 0,48 1,79 90.090,74 48 0,93 0,93 0,92 92.553,18 96 1,68 1,68 0,51 101.574,61
8,096 Token
Die folgende Tabelle zeigt die Benchmarks für ein Szenario mit 96 Dokumenten, 8.096 Token pro Dokument.
- Das
cohere.embed-multilingual-image-v3.0-Modell, das auf einer Embed Cohere -Einheit eines dedizierten KI-Clusters gehostet wird. -
Nebenläufigkeit Time to First Token (TTFT)(Sekunde) Latenz auf Anforderungsebene (Sekunden) Durchsatz auf Anforderungsebene (Anforderung pro Sekunde) (RPS) Gesamtdurchsatz (Token/Sekunde) 1 0,15 0,15 5,4 44.724,35 2 0,2 0,2 4,05 67.118,88 4 0,31 0,31 2,59 85.752,57 8 0,59 0,59 1,41 93.369,42 24 1,56 1,56 0,53 105.492,68 48 2,84 2,84 0,29 115.098,5 96 5,27 5,27 0,15 121.706,97
32,000 Token
Die folgende Tabelle zeigt die Benchmarks für ein Szenario mit 96 Dokumenten, 32.000 Token pro Dokument.
- Das
cohere.embed-multilingual-image-v3.0-Modell, das auf einer Embed Cohere -Einheit eines dedizierten KI-Clusters gehostet wird. -
Nebenläufigkeit Time to First Token (TTFT)(Sekunde) Latenz auf Anforderungsebene (Sekunden) Durchsatz auf Anforderungsebene (Anforderung pro Sekunde) (RPS) Gesamtdurchsatz (Token/Sekunde) 1 0,38 0,38 1,9 62.367,46 2 0,57 0,57 1,3 85.209,04 4 1,05 1,05 0,75 97.631,79 8 1,91 1,91 0,42 109.411,13 24 5,12 5,12 0,16 122.915,27
128,000 Token
Die folgende Tabelle zeigt die Benchmarks für ein Szenario mit 96 Dokumenten, 128.000 Token pro Dokument.
- Das
cohere.embed-multilingual-image-v3.0-Modell, das auf einer Embed Cohere -Einheit eines dedizierten KI-Clusters gehostet wird. -
Nebenläufigkeit Time to First Token (TTFT)(Sekunde) Latenz auf Anforderungsebene (Sekunden) Durchsatz auf Anforderungsebene (Anforderung pro Sekunde) (RPS) Gesamtdurchsatz (Token/Sekunde) 1 1 1 0,99 121.894,93 2 2,26 2,26 0,44 134.957,95 4 3,36 3,36 0,29 146.216,07
Bildereinbettungen
Dieses Szenario gilt nur für die Einbettungsmodelle mit Bildeingabe. In jedem Szenario stellt I(M,N): Bild mit der Höhe Npx und der Breite Mpx ein Bild mit der Höhe M und der Breite N Pixel dar. Beispiel: I(1024.512) ist ein Bild mit der Höhe von 1.024 Pixeln und der Breite von 512 Pixeln.
I(512.512)
In der folgenden Tabelle werden dedizierte Hosting-AI-Clusterbenchmarks mit der gehosteten cohere.embed-multilingual-image-v3.0 auf einer Embed Cohere -Einheit eines dedizierten KI-Clusters in einem Szenario eines Bildes mit der Höhe und Breite von 512 Pixel dargestellt.
| Nebenläufigkeit | Latenz auf Anforderungsebene (Sekunden) | Durchsatz auf Anforderungsebene (Anforderung pro Sekunde) (RPS) |
|---|---|---|
| 1 | 0,13 | 6,5 |
| 2 | 0,13 | 12,2 |
| 4 | 0,14 | 22,71 |
| 8 | 0,15 | 39,19 |
| 16 | 0,19 | 62,23 |
| 32 | 0,31 | 80,75 |
| 64 | 0,46 | 113,57 |
| 128 | 1,25 | 83,8 |
| 256 | 2,6 | 80,95 |
I(1024.512)
In der folgenden Tabelle werden dedizierte Hosting-AI-Clusterbenchmarks mit der cohere.embed-multilingual-image-v3.0 auf einer Embed Cohere -Einheit eines dedizierten KI-Clusters in einem Szenario eines Bildes mit der Höhe von 1.024 Pixeln und der Breite von 512 Pixeln angezeigt.
| Nebenläufigkeit | Latenz auf Anforderungsebene (Sekunden) | Durchsatz auf Anforderungsebene (Anforderung pro Sekunde) (RPS) |
|---|---|---|
| 1 | 0,14 | 5,79 |
| 2 | 0,14 | 10,67 |
| 4 | 0,16 | 18,74 |
| 8 | 0,17 | 32,08 |
| 16 | 0,24 | 47,64 |
| 32 | 0,44 | 58,76 |
| 64 | 0,93 | 60,67 |
| 128 | 1,71 | 64,96 |
| 256 | 3,06 | 68,54 |
I(2048,2048)
In der folgenden Tabelle werden dedizierte Hosting-AI-Clusterbenchmarks mit der gehosteten cohere.embed-multilingual-image-v3.0 auf einer Embed Cohere -Einheit eines dedizierten KI-Clusters in einem Szenario eines Bildes mit der Höhe und Breite von 2.048 Pixel dargestellt.
| Nebenläufigkeit | Latenz auf Anforderungsebene (Sekunden) | Durchsatz auf Anforderungsebene (Anforderung pro Sekunde) (RPS) |
|---|---|---|
| 1 | 0,26 | 2,82 |
| 2 | 0,3 | 4,77 |
| 4 | 0,29 | 10,43 |
| 8 | 0,34 | 18,14 |
| 16 | 0,57 | 21,93 |
| 32 | 1,09 | 25,44 |
| 64 | 2,08 | 26,99 |
| 128 | 4,14 | 26,24 |
| 256 | 10,17 | 23,6 |