Oracle Cloud Infrastructure-Dokumentation

Cohere Command A

Prüfen Sie Performancebenchmarks für das cohere.command-a-03-2025 (Cohere Command A)-Modell, das auf einer LARGE_COHERE_V3-Einheit eines dedizierten KI-Clusters in OCI Generative AI gehostet wird.

  • Siehe Details für das Modell, und prüfen Sie die folgenden Abschnitte:
    • Verfügbare Regionen für dieses Modell.
    • Dedizierte KI-Cluster für das Hosting dieses Modells.
  • Prüfen Sie die Metriken.

Zufällige Länge

Dieses Szenario ahmt Anwendungsfälle für die Textgenerierung nach, bei denen die Größe der Eingabeaufforderung und der Antwort im Voraus unbekannt ist. Aufgrund der unbekannten Prompt- und Response-Längen haben wir einen stochastischen Ansatz verwendet, bei dem sowohl die Prompt- als auch die Response-Länge einer normalen Verteilung folgen. Die Prompt-Länge folgt einer Normalverteilung mit einem Mittelwert von 480 Token und einer Standardabweichung von 240 Token. Die Antwortlänge folgt einer Normalverteilung mit einem Mittelwert von 300 Token und einer Standardabweichung von 150 Token.

Das Modell cohere.command-a-03-2025, das auf einer LARGE_COHERE_V3-Einheit eines dedizierten KI-Clusters für alle Regionen gehostet wird, mit Ausnahme der Regionen Saudi Arabia Central (Riyadh) und UAE East (Dubai).
Nebenläufigkeit Time to First Token (TTFT)(Sekunde) Inferenzgeschwindigkeit auf Tokenebene (Token/Sekunde) Durchsatz auf Tokenebene (Token/Sekunde) Latenz auf Anforderungsebene (Sekunden) Durchsatz auf Anforderungsebene (Anforderung pro Sekunde) (RPS) Gesamtdurchsatz (Token/Sekunde)
1 0,64 36,07 33,25 8,55 0,12 84,39
2 0,65 35,41 64,98 8,48 0,23 179,66
4 0,73 34,37 123,92 8,97 0,44 329,48
8 0,8 32,22 231,51 9,41 0,84 589,64
16 0,81 28,11 396,14 10,77 1,44 1.132,72
32 1,01 23,12 634,55 13,25 2,24 1.630,96
64 12,51 22,17 619,43 25,02 2,28 1.816,53
128 30,89 21,9 622,78 42,94 2,38 1.719,41
256 45,91 19,89 482,91 60,27 1,86 1.345,8
Das cohere.command-a-03-2025-Modell, das auf einer LARGE_COHERE_V3-Einheit eines dedizierten KI-Clusters für die Region Saudi Arabia Central (Riyadh) gehostet wird.
Nebenläufigkeit Time to First Token (TTFT)(Sekunde) Inferenzgeschwindigkeit auf Tokenebene (Token/Sekunde) Durchsatz auf Tokenebene (Token/Sekunde) Latenz auf Anforderungsebene (Sekunden) Durchsatz auf Anforderungsebene (Anforderung pro Sekunde) (RPS) Gesamtdurchsatz (Token/Sekunde)
1 0,8 44,25 39,38 7,31 0,14 105,57
2 0,8 44,17 77,29 7,29 0,27 206,67
4 0,86 42,09 148,23 7,64 0,52 393,64
8 0,88 38,8 271,18 8,48 0,92 701,66
16 0,94 33,89 463,68 9,49 1,61 1.236,27
32 1,17 27,24 738,08 12,26 2,45 1.932,98
64 10,53 25,87 739,56 21,41 2,64 2.019,43
128 27,58 25,89 736,3 38,27 2,65 1.986,29
256 44,59 24,74 616,97 56,67 2,15 1.613,15
Das cohere.command-a-03-2025-Modell, das auf einer SMALL_COHERE_4-Einheit eines dedizierten KI-Clusters für die Region UAE East (Dubai) gehostet wird.
Nebenläufigkeit Time to First Token (TTFT)(Sekunde) Inferenzgeschwindigkeit auf Tokenebene (Token/Sekunde) Durchsatz auf Tokenebene (Token/Sekunde) Latenz auf Anforderungsebene (Sekunden) Durchsatz auf Anforderungsebene (Anforderung pro Sekunde) (RPS) Gesamtdurchsatz (Token/Sekunde)
1 0,66 29,72 27,28 10,34 0,09 73,66
2 0,66 28,97 53,23 10,43 0,19 141,35
4 0,72 27,52 102,17 11,18 0,35 269,89
8 1,02 25,51 184,06 12,69 0,62 479,75
16 0,97 20,65 298,17 15,01 1,03 774,93
32 1,37 15,4 419,11 19,19 1,54 1.166,62
64 2,41 9,99 514,52 30,97 1,84 1.354,47
128 24,85 8,34 484,54 58,04 1,75 1.318,84
256 45,98 6,87 352,45 87,8 1,33 995,58

Chat

In diesem Szenario werden Chat- und Dialoganwendungsfälle behandelt, bei denen die Eingabeaufforderung und die Antworten kurz sind. Die Prompt- und Antwortlänge sind jeweils auf 100 Token festgelegt.

Das Modell cohere.command-a-03-2025, das auf einer LARGE_COHERE_V3-Einheit eines dedizierten KI-Clusters für alle Regionen gehostet wird, mit Ausnahme der Regionen Saudi Arabia Central (Riyadh) und UAE East (Dubai).
Nebenläufigkeit Time to First Token (TTFT)(Sekunde) Inferenzgeschwindigkeit auf Tokenebene (Token/Sekunde) Durchsatz auf Tokenebene (Token/Sekunde) Latenz auf Anforderungsebene (Sekunden) Durchsatz auf Anforderungsebene (Anforderung pro Sekunde) (RPS) Gesamtdurchsatz (Token/Sekunde)
1 0,71 35,92 28,36 3,29 0,3 57,73
2 0,67 35,93 57,53 3,25 0,61 117
4 0,78 35,49 109,42 3,38 1,17 223,01
8 1 34,22 198,45 3,7 2,13 404,7
16 1,34 31,51 333,75 4,29 3,57 680,26
32 1,92 26,64 517,73 5,5 5,51 1.053,9
64 5,9 19,91 516,36 10,57 5,51 1.050,88
128 14,3 19,88 514,45 18,96 5,49 1.047,35
256 24,58 20,15 511,25 29,19 5,46 1.041,15
Das cohere.command-a-03-2025-Modell, das auf einer LARGE_COHERE_V3-Einheit eines dedizierten KI-Clusters für die Region Saudi Arabia Central (Riyadh) gehostet wird.
Nebenläufigkeit Time to First Token (TTFT)(Sekunde) Inferenzgeschwindigkeit auf Tokenebene (Token/Sekunde) Durchsatz auf Tokenebene (Token/Sekunde) Latenz auf Anforderungsebene (Sekunden) Durchsatz auf Anforderungsebene (Anforderung pro Sekunde) (RPS) Gesamtdurchsatz (Token/Sekunde)
1 0,86 44,47 31,66 2,96 0,34 64,24
2 0,84 44,81 64,06 2,91 0,68 130,43
4 0,94 43,94 120,99 3,05 1,29 246,5
8 1,15 42,81 221,2 3,33 2,36 449,37
16 1,49 38,47 374,52 3,92 4 761,89
32 2,05 32,03 576,48 5,05 6,15 1.172,43
64 5,29 23,19 577,06 9,3 6,15 1.173,82
128 12,91 22,95 576,3 16,96 6,14 1.172,48
256 22,36 23,18 570,21 26,37 6,07 1.158,97
Das cohere.command-a-03-2025-Modell, das auf einer SMALL_COHERE_4-Einheit eines dedizierten KI-Clusters für die Region UAE East (Dubai) gehostet wird.
Nebenläufigkeit Time to First Token (TTFT)(Sekunde) Inferenzgeschwindigkeit auf Tokenebene (Token/Sekunde) Durchsatz auf Tokenebene (Token/Sekunde) Latenz auf Anforderungsebene (Sekunden) Durchsatz auf Anforderungsebene (Anforderung pro Sekunde) (RPS) Gesamtdurchsatz (Token/Sekunde)
1 0,72 29,97 24,46 3,8 0,26 50,02
2 0,65 29,74 49,35 3,76 0,53 100,55
4 0,85 29,25 92,17 4,01 0,99 187,9
8 1,25 28,28 162,54 4,52 1,74 330,74
16 2,05 26,43 260,6 5,56 2,79 530,63
32 3,41 21,33 365,8 7,78 3,9 743,86
64 5,35 14,6 466,61 11,96 4,99 951,35
128 6,42 5,28 431,36 24,06 4,61 879,33
256 21,53 5,4 430,52 38,72 4,61 877,44

Generation Schwer

Dieses Szenario gilt für Anwendungsfälle für die Generierung und Modellreaktion. Beispiel: Eine lange Jobbeschreibung, die aus einer kurzen Aufzählungsliste mit Artikeln generiert wird. In diesem Fall wird die Prompt-Länge auf 100 Token und die Antwortlänge auf 1.000 Token festgelegt.

Das Modell cohere.command-a-03-2025, das auf einer LARGE_COHERE_V3-Einheit eines dedizierten KI-Clusters für alle Regionen gehostet wird, mit Ausnahme der Regionen Saudi Arabia Central (Riyadh) und UAE East (Dubai).
Nebenläufigkeit Time to First Token (TTFT)(Sekunde) Inferenzgeschwindigkeit auf Tokenebene (Token/Sekunde) Durchsatz auf Tokenebene (Token/Sekunde) Latenz auf Anforderungsebene (Sekunden) Durchsatz auf Anforderungsebene (Anforderung pro Sekunde) (RPS) Gesamtdurchsatz (Token/Sekunde)
1 1,08 35,51 32,66 27,39 0,03 36,04
2 0,68 35,16 67,73 26,98 0,07 74,85
4 0,79 35,13 130,61 27,38 0,14 144,14
8 1,03 34,25 260,45 28,22 0,28 287,63
16 1,35 32,8 497,46 29,63 0,54 549,5
32 1,92 30,8 915,24 32,1 0,98 1.010,8
64 29,85 29,67 916,69 61,12 0,99 1.012,47
128 78,31 29,94 852,79 109,34 0,92 941,47
256 96,26 29,98 726,6 127,26 0,78 802,38
Das cohere.command-a-03-2025-Modell, das auf einer LARGE_COHERE_V3-Einheit eines dedizierten KI-Clusters für die Region Saudi Arabia Central (Riyadh) gehostet wird.
Nebenläufigkeit Time to First Token (TTFT)(Sekunde) Inferenzgeschwindigkeit auf Tokenebene (Token/Sekunde) Durchsatz auf Tokenebene (Token/Sekunde) Latenz auf Anforderungsebene (Sekunden) Durchsatz auf Anforderungsebene (Anforderung pro Sekunde) (RPS) Gesamtdurchsatz (Token/Sekunde)
1 1,14 43,35 40,11 22,51 0,04 44,29
2 0,86 43,86 83,17 21,95 0,09 91,92
4 0,95 43,32 161,5 22,48 0,17 178,25
8 1,17 42,21 308,96 23,16 0,33 341,27
16 1,51 40,79 606,6 24,29 0,65 669,78
32 2,06 38,21 1.115,21 26,41 1,2 1.231,36
64 24,52 36,45 1.117,31 49,89 1,21 1.234,37
128 47,43 36,94 1.099,25 72,62 1,18 1.213,73
256 65,37 36 923,6 91,3 0,99 1.019,91
Das cohere.command-a-03-2025-Modell, das auf einer SMALL_COHERE_4-Einheit eines dedizierten KI-Clusters für die Region UAE East (Dubai) gehostet wird.
Nebenläufigkeit Time to First Token (TTFT)(Sekunde) Inferenzgeschwindigkeit auf Tokenebene (Token/Sekunde) Durchsatz auf Tokenebene (Token/Sekunde) Latenz auf Anforderungsebene (Sekunden) Durchsatz auf Anforderungsebene (Anforderung pro Sekunde) (RPS) Gesamtdurchsatz (Token/Sekunde)
1 1,03 29,13 27,76 32,84 0,03 30,69
2 0,7 28,95 55,79 32,85 0,06 61,62
4 0,87 28,6 105,88 33,57 0,11 116,84
8 1,27 27,07 197,75 35,56 0,21 218,4
16 2,02 24,51 370,3 39,85 0,4 409,03
32 3,41 20,29 602 49,21 0,65 664,88
64 3,95 13,96 792,68 70,8 0,85 875,53
128 22,38 9,81 708,1 122,64 0,76 781,78
256 87,99 9,41 600,13 196,22 0,64 662,66

RAG

Das Retrieval-Augmented Generation-(RAG-)Szenario hat einen sehr langen Prompt und eine kurze Antwort, beispielsweise bei der Zusammenfassung von Anwendungsfällen. Die Prompt-Länge ist auf 2.000 Token festgelegt, und die Antwortlänge ist auf 200 Token festgelegt.

Das Modell cohere.command-a-03-2025, das auf einer LARGE_COHERE_V3-Einheit eines dedizierten KI-Clusters für alle Regionen gehostet wird, mit Ausnahme der Regionen Saudi Arabia Central (Riyadh) und UAE East (Dubai).
Nebenläufigkeit Time to First Token (TTFT)(Sekunde) Inferenzgeschwindigkeit auf Tokenebene (Token/Sekunde) Durchsatz auf Tokenebene (Token/Sekunde) Latenz auf Anforderungsebene (Sekunden) Durchsatz auf Anforderungsebene (Anforderung pro Sekunde) (RPS) Gesamtdurchsatz (Token/Sekunde)
1 1,01 34,27 28,56 6,25 0,16 344,06
2 1,12 34,29 56,05 6,38 0,31 673,78
4 1,35 31,44 100,94 7,08 0,56 1.215,89
8 2,14 29 171,12 8,35 0,95 2.072,96
16 3,27 23,98 259,25 10,94 1,44 3.134,4
32 4,23 15,11 338,19 16,28 1,86 4.060,07
64 16,39 12,1 332,78 31,24 1,84 4.011,11
128 43,34 11,95 320,85 58,38 1,78 3.870,48
256 41,98 10,81 22,63 62,65 0,13 275,02
Das cohere.command-a-03-2025-Modell, das auf einer LARGE_COHERE_V3-Einheit eines dedizierten KI-Clusters für die Region Saudi Arabia Central (Riyadh) gehostet wird.
Nebenläufigkeit Time to First Token (TTFT)(Sekunde) Inferenzgeschwindigkeit auf Tokenebene (Token/Sekunde) Durchsatz auf Tokenebene (Token/Sekunde) Latenz auf Anforderungsebene (Sekunden) Durchsatz auf Anforderungsebene (Anforderung pro Sekunde) (RPS) Gesamtdurchsatz (Token/Sekunde)
1 1,06 42,4 33,84 5,32 0,19 405,82
2 1,25 42,78 65,84 5,47 0,36 789,91
4 1,66 40,07 116,06 6,14 0,64 1.401,03
8 2,28 35,52 193,05 7,42 1,07 2.321,7
16 3,43 29,09 288,39 9,88 1,59 3.465,03
32 5,25 19,32 371,72 14,89 2,07 4.496,7
64 15,06 13,44 366,1 28,46 2,02 4.405,68
128 38,58 13,39 358,48 51,98 1,99 4.327,78
256 42,95 13,33 28,62 56,34 0,16 347,19
Das cohere.command-a-03-2025-Modell, das auf einer SMALL_COHERE_4-Einheit eines dedizierten KI-Clusters für die Region UAE East (Dubai) gehostet wird.
Nebenläufigkeit Time to First Token (TTFT)(Sekunde) Inferenzgeschwindigkeit auf Tokenebene (Token/Sekunde) Durchsatz auf Tokenebene (Token/Sekunde) Latenz auf Anforderungsebene (Sekunden) Durchsatz auf Anforderungsebene (Anforderung pro Sekunde) (RPS) Gesamtdurchsatz (Token/Sekunde)
1 1,01 26,47 22,75 7,69 0,13 278,43
2 1,35 26,48 43,67 8,1 0,24 528,5
4 2,19 25,9 78,72 9,08 0,44 955,39
8 3,6 23,15 125,73 11,27 0,71 1.536,67
16 5,72 17,93 177,7 15,91 0,99 2.153,78
32 5,16 8,33 206,41 26,81 1,14 2.491,38
64 28,94 8,25 205,11 50,65 1,14 2.490,27
128 88,92 6,53 117,32 121,12 0,66 1.427,63
256 46,78 7,74 9,14 76,55 0,05 112,07