Documentação do Oracle Cloud Infrastructure

Cohere Embed English 3

Revise os benchmarks de desempenho do modelo cohere.embed-english-v3.0 (Cohere Embed English 3) hospedado em uma unidade Embed Cohere de um cluster de IA dedicado na OCI Generative AI.

  • Consulte os detalhes do modelo e revise as seguintes seções:
    • Regiões disponíveis para este modelo.
    • Clusters de IA dedicados para hospedar este modelo.
  • Verifique as métricas.

Incorporações

Esse cenário se aplica apenas aos modelos de incorporação. Esse cenário imita a geração incorporada como parte do pipeline de ingestão de dados de um banco de dados vetorial. Nesse cenário, todas as solicitações têm o mesmo tamanho, que é de 96 documentos, cada um com 512 tokens. Um exemplo seria uma coleção de arquivos PDF grandes, cada arquivo com mais de 30.000 palavras que um usuário deseja ingerir em um banco de dados vetorial.

Simultânea Latência no nível da solicitação (segundo) Throughput no nível da solicitação (Solicitação por minuto) (RPM)
1 2.53 24
8 4.35 108
32 14.93 120
128 47.66 150

Embeddings mais leves

Esse cenário se aplica apenas aos modelos de incorporação. Esse cenário de incorporação mais leve é semelhante ao cenário de incorporação, exceto que reduzimos o tamanho de cada solicitação para 16 documentos, cada um com 512 tokens. Neste cenário, é possível dar suporte a arquivos menores com menos palavras.

Simultânea Latência no nível da solicitação (segundo) Throughput no nível da solicitação (Solicitação por minuto) (RPM)
1 1.19 54
8 1.41 348
32 3.47 600
128 12.08 558