Cohere Rerank 3.5

Revise os benchmarks de desempenho do modelo cohere.rerank.3-5 (Cohere Rerank 3.5) hospedado em uma unidade RERANK_COHERE de um cluster de IA dedicado na OCI Generative AI.

Um modelo de nova classificação leva uma consulta e uma lista de textos como entrada e classifica os textos com base em sua pontuação de relevância para a consulta, ou seja, a correspondência entre cada texto e a consulta.

Rerank 3.5 Cenários de Benchmark

• A consulta é 100 tokens para todos os cenários.
• Todos os cenários têm apenas um documento de suporte com 10.000 tokens de comprimento.
• Cada cenário divide esse documento de 10.000 tokens com base em um parâmetro max_tokens_per_doc. Os valores são 64, 128, 256, 512, 1024, 2048 e 4096.
• O tamanho máximo do bloco é 4096 tokens, que é o máximo de tokens que um modelo Rerank 3.5 pode processar em uma única passagem.
• Como o documento tem 10.000 tokens de comprimento e o tamanho do contexto do modelo é 4096 tokens, em todos os cenários, o documento é dividido em partes.
• Cada bloco inclui:
  • Preenchendo tokens: Para garantir que a entrada se ajuste ao formato esperado do modelo.
  • A consulta: 100 tokens.
  • Uma seção de documento: Por exemplo, para um max_tokens_per_doc de 4096 tokens, cada bloco inclui uma das seguintes seções de documento:
    • Seção do documento 1: Documento de 0 a 3.992 tokens.
    • Seção do documento 2: Documento de 3.993 a 7.985 tokens.
    • Seção do documento 3: Documento de 7.986 a 9.999 tokens. Esta seção é menor que as outras duas seções, porque o documento tem apenas 10.000 tokens de comprimento.
• Cada cenário de benchmark é definido por R(max_tokens_per_doc, 100).

• Consulte os detalhes do modelo e revise as seguintes seções:
  • Regiões disponíveis para este modelo.
  • Clusters de IA dedicados para hospedar este modelo.
• Verifique as métricas.