Cohere Embed Multilingual Light 3
Revise os benchmarks de desempenho do modelo cohere.embed-multilingual-light-v3.0 (Cohere Embed Multilingual Light 3) hospedado em uma unidade Embed Cohere de um cluster de IA dedicado na OCI Generative AI.
Incorporações
Esse cenário se aplica apenas aos modelos de incorporação. Esse cenário imita a geração incorporada como parte do pipeline de ingestão de dados de um banco de dados vetorial. Nesse cenário, todas as solicitações têm o mesmo tamanho, que é de 96 documentos, cada um com 512 tokens. Um exemplo seria uma coleção de arquivos PDF grandes, cada arquivo com mais de 30.000 palavras que um usuário deseja ingerir em um banco de dados vetorial.
| Simultânea | Latência no nível da solicitação (segundo) | Throughput no nível da solicitação (Solicitação por minuto) (RPM) |
|---|---|---|
| 1 | 1.69 | 42 |
| 8 | 3.8 | 118 |
| 32 | 14.26 | 126 |
| 128 | 37.17 | 138 |
Embeddings mais leves
Esse cenário se aplica apenas aos modelos de incorporação. Esse cenário de incorporação mais leve é semelhante ao cenário de incorporação, exceto que reduzimos o tamanho de cada solicitação para 16 documentos, cada um com 512 tokens. Neste cenário, é possível dar suporte a arquivos menores com menos palavras.
| Simultânea | Latência no nível da solicitação (segundo) | Throughput no nível da solicitação (Solicitação por minuto) (RPM) |
|---|---|---|
| 1 | 1.03 | 54 |
| 8 | 1.35 | 300 |
| 32 | 3.11 | 570 |
| 128 | 11.5 | 888 |