Documentação do Oracle Cloud Infrastructure

Cohere Embed 4

Revise os benchmarks de desempenho do modelo cohere.embed-v4.0 (Cohere Embed 4) hospedado em uma unidade Embed Cohere de um cluster de IA dedicado na OCI Generative AI.

  • Consulte os detalhes do modelo e revise as seguintes seções:
    • Regiões disponíveis para este modelo.
    • Clusters de IA dedicados para hospedar este modelo.
  • Verifique as métricas.

Incorporações de Texto

Esse cenário se aplica somente aos modelos de incorporação com entrada de texto. Esse cenário imita a geração incorporada como parte do pipeline de ingestão de dados de um banco de dados vetorial. Em cada cenário, todas as solicitações têm o mesmo tamanho, ou seja, 96 documentos, cada um com o mesmo número de tokens. Por exemplo, para o cenário de 512 tokens imita uma coleção de arquivos PDF grandes, cada arquivo com mais de 30.000 palavras que um usuário ingeriria em um banco de dados vetorial.

64 Tokens

As tabelas a seguir mostram os benchmarks para um cenário de 96 documentos, 64 tokens por documento.

O modelo cohere.embed-v4.0 hospedado em uma unidade Embed Cohere de um cluster de IA dedicado para todas as regiões, exceto para a região Centro da Arábia Saudita (Riad).
Simultânea Time to First Token (TTFT)(segundo) Latência no nível da solicitação (segundo) Throughput no nível da solicitação (Solicitação por segundo) (RPS) Throughput Total (tokens/segundo)
1 0.09 0.09 11.15 668.45
2 0.09 0.09 10.79 1,293.27
4 0.1 0.1 9.88 2,370.14
8 0.11 0.11 8.55 4,105.4
24 0.19 0.19 5.1 7,360.01
48 0.31 0.31 3.1 8,933.99
96 0.54 0.54 1.78 10,282.68
O modelo cohere.embed-v4.0 hospedado em uma unidade Embed Cohere de um cluster de IA dedicado para a região Central da Arábia Saudita (Riad).
Simultânea Time to First Token (TTFT)(segundo) Latência no nível da solicitação (segundo) Throughput no nível da solicitação (Solicitação por segundo) (RPS) Throughput Total (tokens/segundo)
1 0.1 0.1 9.5 570.59
2 0.11 0.11 9.23 1,107.06
4 0.11 0.11 8.92 2,141.09
8 0.12 0.12 8.08 3,865.74
24 0.18 0.18 5.43 7,801.83
48 0.28 0.28 3.49 10,077.82
96 0.47 0.47 2.07 11,961.63

128 Tokens

As tabelas a seguir mostram os benchmarks de um cenário de 96 documentos, 128 tokens por documento.

O modelo cohere.embed-v4.0 hospedado em uma unidade Embed Cohere de um cluster de IA dedicado para todas as regiões, exceto para a região Centro da Arábia Saudita (Riad).
Simultânea Time to First Token (TTFT)(segundo) Latência no nível da solicitação (segundo) Throughput no nível da solicitação (Solicitação por segundo) (RPS) Throughput Total (tokens/segundo)
1 0.09 0.09 11.27 1,381.7
2 0.09 0.09 10.67 2,617.09
4 0.1 0.1 9.67 4,750.2
8 0.12 0.12 8.14 7,990.79
24 0.22 0.22 4.29 12,624.79
48 0.35 0.35 2.76 16,251.43
96 0.64 0.64 1.51 17,735.38
O modelo cohere.embed-v4.0 hospedado em uma unidade Embed Cohere de um cluster de IA dedicado para a região Central da Arábia Saudita (Riad).
Simultânea Time to First Token (TTFT)(segundo) Latência no nível da solicitação (segundo) Throughput no nível da solicitação (Solicitação por segundo) (RPS) Throughput Total (tokens/segundo)
1 0.1 0.1 9.69 1,189.24
2 0.1 0.1 9.38 2,301.32
4 0.11 0.11 8.89 4,357.61
8 0.12 0.12 8 7,854.35
24 0.19 0.19 5.01 14,749.07
48 0.29 0.29 3.34 19,707.08
96 0.5 0.5 1.92 22,589.75

512 Tokens

As tabelas a seguir mostram os benchmarks de um cenário de 96 documentos, 512 tokens por documento.

O modelo cohere.embed-v4.0 hospedado em uma unidade Embed Cohere de um cluster de IA dedicado para todas as regiões, exceto para a região Centro da Arábia Saudita (Riad).
Simultânea Time to First Token (TTFT)(segundo) Latência no nível da solicitação (segundo) Throughput no nível da solicitação (Solicitação por segundo) (RPS) Throughput Total (tokens/segundo)
1 0.09 0.09 10.83 5,410.49
2 0.1 0.1 9.65 9,642.11
4 0.12 0.12 7.52 15,025.97
8 0.16 0.16 5.9 23,556.71
24 0.35 0.35 2.71 32,451.55
48 0.68 0.68 1.39 33,273.59
96 1.25 1.25 0.75 36,072.1
O modelo cohere.embed-v4.0 hospedado em uma unidade Embed Cohere de um cluster de IA dedicado para a região Central da Arábia Saudita (Riad).
Simultânea Time to First Token (TTFT)(segundo) Latência no nível da solicitação (segundo) Throughput no nível da solicitação (Solicitação por segundo) (RPS) Throughput Total (tokens/segundo)
1 0.1 0.1 9.44 4,715.27
2 0.11 0.11 9.06 9,051.76
4 0.11 0.11 8.42 16,813.69
8 0.14 0.14 6.86 27,394.77
24 0.24 0.24 3.88 46,487.91
48 0.42 0.42 2.17 51,986.9
96 0.77 0.77 1.18 56,778.17

1,024 Tokens

As tabelas a seguir mostram os benchmarks de um cenário de 96 documentos, 1.024 tokens por documento.

O modelo cohere.embed-v4.0 hospedado em uma unidade Embed Cohere de um cluster de IA dedicado para todas as regiões, exceto para a região Centro da Arábia Saudita (Riad).
Simultânea Time to First Token (TTFT)(segundo) Latência no nível da solicitação (segundo) Throughput no nível da solicitação (Solicitação por segundo) (RPS) Throughput Total (tokens/segundo)
1 0.09 0.09 9.55 9,559.38
2 0.12 0.12 1.3 2,601.06
4 0.15 0.15 6.06 24,284.74
8 0.23 0.23 4.05 32,432.49
24 0.6 0.6 1.56 37,501.74
48 1.09 1.09 0.85 40,893.6
96 2.11 2.11 0.31 29,835.31
O modelo cohere.embed-v4.0 hospedado em uma unidade Embed Cohere de um cluster de IA dedicado para a região Central da Arábia Saudita (Riad).
Simultânea Time to First Token (TTFT)(segundo) Latência no nível da solicitação (segundo) Throughput no nível da solicitação (Solicitação por segundo) (RPS) Throughput Total (tokens/segundo)
1 0.1 0.1 9.14 9,158.45
2 0.11 0.11 8.64 17,307.93
4 0.13 0.13 7.25 29,048
8 0.16 0.16 5.51 44,150.34
24 0.38 0.38 2.38 57,261.32
48 0.64 0.64 1.39 66,942.72
96 1.2 1.2 0.74 70,865.77

2,048 Tokens

As tabelas a seguir mostram os benchmarks de um cenário de 96 documentos, 2.048 tokens por documento.

O modelo cohere.embed-v4.0 hospedado em uma unidade Embed Cohere de um cluster de IA dedicado para todas as regiões, exceto para a região Centro da Arábia Saudita (Riad).
Simultânea Time to First Token (TTFT)(segundo) Latência no nível da solicitação (segundo) Throughput no nível da solicitação (Solicitação por segundo) (RPS) Throughput Total (tokens/segundo)
1 0.11 0.11 7.58 15,203.74
2 0.14 0.14 6.09 24,431.99
4 0.22 0.22 4 32,065.33
8 0.37 0.37 2.48 39,802.12
24 1.02 1.02 0.9 43,230.02
48 2 2 0.46 44,251.96
O modelo cohere.embed-v4.0 hospedado em uma unidade Embed Cohere de um cluster de IA dedicado para a região Central da Arábia Saudita (Riad).
Simultânea Time to First Token (TTFT)(segundo) Latência no nível da solicitação (segundo) Throughput no nível da solicitação (Solicitação por segundo) (RPS) Throughput Total (tokens/segundo)
1 0.11 0.11 8.35 16,740.19
2 0.12 0.12 7.14 28,651.67
4 0.16 0.16 5.54 44,470.3
8 0.23 0.23 3.7 59,426.49
24 0.59 0.59 1.46 70,295.49
48 1.11 1.11 0.78 75,560.01
96 2.08 2.08 0.42 80,426.61

8,096 Tokens

As tabelas a seguir mostram os benchmarks de um cenário de 96 documentos, 8.096 tokens por documento.

O modelo cohere.embed-v4.0 hospedado em uma unidade Embed Cohere de um cluster de IA dedicado para todas as regiões, exceto para a região Centro da Arábia Saudita (Riad).
Simultânea Time to First Token (TTFT)(segundo) Latência no nível da solicitação (segundo) Throughput no nível da solicitação (Solicitação por segundo) (RPS) Throughput Total (tokens/segundo)
1 0.25 0.25 3.31 26,290.24
2 0.42 0.42 2.05 32,530.08
4 0.82 0.82 1.09 34,646.38
8 1.59 1.59 0.57 36,389.86
24 4.47 4.47 0.2 39,049.48
48 8.75 8.75 0.11 40,180.09
96 17.3 17.3 0.05 39,843.97
O modelo cohere.embed-v4.0 hospedado em uma unidade Embed Cohere de um cluster de IA dedicado para a região Central da Arábia Saudita (Riad).
Simultânea Time to First Token (TTFT)(segundo) Latência no nível da solicitação (segundo) Throughput no nível da solicitação (Solicitação por segundo) (RPS) Throughput Total (tokens/segundo)
1 0.17 0.17 4.57 36,262.71
2 0.26 0.26 3.14 49,882.53
4 0.5 0.5 1.69 53,606.93
8 0.9 0.9 0.96 60,838.78
24 2.38 2.38 0.36 69,450.5
48 4.52 4.52 0.19 73,294.47
96 8.72 8.72 0.1 76,456.16

32,000 Tokens

As tabelas a seguir mostram os benchmarks de um cenário de 96 documentos, 32.000 tokens por documento.

O modelo cohere.embed-v4.0 hospedado em uma unidade Embed Cohere de um cluster de IA dedicado para todas as regiões, exceto para a região Centro da Arábia Saudita (Riad).
Simultânea Time to First Token (TTFT)(segundo) Latência no nível da solicitação (segundo) Throughput no nível da solicitação (Solicitação por segundo) (RPS) Throughput Total (tokens/segundo)
1 0.92 0.92 0.89 27,968.24
2 1.74 1.74 0.5 31,141.92
4 2.92 2.92 0.3 37,838.06
8 5.73 5.73 0.16 39,090.65
24 16.86 16.86 0.05 40,623.28
O modelo cohere.embed-v4.0 hospedado em uma unidade Embed Cohere de um cluster de IA dedicado para a região Central da Arábia Saudita (Riad).
Simultânea Time to First Token (TTFT)(segundo) Latência no nível da solicitação (segundo) Throughput no nível da solicitação (Solicitação por segundo) (RPS) Throughput Total (tokens/segundo)
1 0.53 0.53 1.41 44,178.97
2 0.88 0.88 0.9 56,692.99
4 1.58 1.58 0.52 65,690.47
8 2.99 2.99 0.28 70,962.43
24 8.47 8.47 0.1 75,910.53
48 16.6 16.6 0.05 77,493.42

Incorporações de imagens

Esse cenário se aplica somente aos modelos de incorporação com entrada de imagem. Em cada cenário, I(M,N): Imagem com altura Npx e largura Mpx representa uma imagem com a altura de M e a largura de N pixels. Por exemplo, I(1024,512) é uma imagem com a altura de 1.024 pixels e a largura de 512 pixels.

I(512.512)

As tabelas a seguir mostram os benchmarks de um cenário de uma imagem com a altura e a largura de 512 pixels.

O modelo cohere.embed-v4.0 hospedado em uma unidade Embed Cohere de um cluster de IA dedicado para todas as regiões, exceto para a região Centro da Arábia Saudita (Riad).
Simultânea Latência no nível da solicitação (segundo) Throughput no nível da solicitação (Solicitação por segundo) (RPS)
1 0.18 4.76
2 0.19 8.89
4 0.27 13.17
8 0.49 14.84
16 0.94 16.14
32 1.84 16.45
64 3.66 16.38
128 7.27 16.06
256 13.57 16
O modelo cohere.embed-v4.0 hospedado em uma unidade Embed Cohere de um cluster de IA dedicado para a região Central da Arábia Saudita (Riad).
Simultânea Latência no nível da solicitação (segundo) Throughput no nível da solicitação (Solicitação por segundo) (RPS)
1 0.15 4.98
2 0.16 10.3
4 0.17 19.51
8 0.21 32.83
16 0.33 43.06
32 0.65 44.02
64 1.32 43.77
128 2.71 41.9
256 5.29 40.35

I(1024.512)

As tabelas a seguir mostram os benchmarks de um cenário de uma imagem com a altura de 1.024 pixels e a largura de 512 pixels.

O modelo cohere.embed-v4.0 hospedado em uma unidade Embed Cohere de um cluster de IA dedicado para todas as regiões, exceto para a região Centro da Arábia Saudita (Riad).
Simultânea Latência no nível da solicitação (segundo) Throughput no nível da solicitação (Solicitação por segundo) (RPS)
1 0.25 3.42
2 0.25 6.72
4 0.38 9.17
8 0.78 9.52
16 1.52 10.04
32 2.93 10.5
64 5.75 10.48
128 11.23 10.52
256 19.97 10.13
O modelo cohere.embed-v4.0 hospedado em uma unidade Embed Cohere de um cluster de IA dedicado para a região Central da Arábia Saudita (Riad).
Simultânea Latência no nível da solicitação (segundo) Throughput no nível da solicitação (Solicitação por segundo) (RPS)
1 0.19 3.91
2 0.19 8.29
4 0.22 15.05
8 0.36 19.68
16 0.67 22.08
32 1.35 22.21
64 2.71 22
128 5.44 21.09
256 10.2 21.29

I(2048.2048)

As tabelas a seguir mostram os benchmarks de um cenário de uma imagem com a altura e a largura de 2.048 pixels.

O modelo cohere.embed-v4.0 hospedado em uma unidade Embed Cohere de um cluster de IA dedicado para todas as regiões, exceto para a região Centro da Arábia Saudita (Riad).
Simultânea Latência no nível da solicitação (segundo) Throughput no nível da solicitação (Solicitação por segundo) (RPS)
1 0.86 1.04
2 0.98 1.73
4 1.84 2.04
8 3.02 1.42
16 7.71 2.03
32 14.93 2.1
64 25.73 1.98
128 26.92 1.86
256 27.29 1.91
O modelo cohere.embed-v4.0 hospedado em uma unidade Embed Cohere de um cluster de IA dedicado para a região Central da Arábia Saudita (Riad).
Simultânea Latência no nível da solicitação (segundo) Throughput no nível da solicitação (Solicitação por segundo) (RPS)
1 0.66 1.25
2 0.69 2.49
4 1.07 3.4
8 2.24 3.41
16 4.57 3.4
32 9.22 3.37
64 18.53 3.3
128 24.61 2.77
256 25.78 2.71