Cohere Rerank 3.5

Revise las referencias de rendimiento para el modelo cohere.rerank.3-5 (Cohere Rerank 3.5) alojado en una unidad RERANK_COHERE de un cluster de IA dedicado en OCI Generative AI.

Un modelo de nueva clasificación toma una consulta y una lista de textos como entrada y clasifica los textos en función de su puntuación de relevancia para la consulta, es decir, qué tan bien coincide cada texto con la consulta.

Escenarios de referencia de Rerank 3.5

• La consulta es 100 tokens para todos los escenarios.
• Todos los escenarios tienen solo un documento acreditativo con una longitud de 10 000 tokens.
• Cada escenario fragmenta este documento de 10 000 tokens según un parámetro max_tokens_per_doc. Estos valores son 64, 128, 256, 512, 1024, 2048 y 4096.
• El tamaño máximo de fragmento es tokens 4096, que es el máximo de tokens que un modelo de Rerank 3.5 puede procesar en una sola pasada.
• Debido a que el documento tiene 10.000 tokens de largo y la longitud del contexto del modelo es de 4096 tokens, en todos los escenarios, el documento se divide en fragmentos.
• Cada fragmento incluye:
  • Añadir tokens: para garantizar que la entrada se ajuste al formato esperado del modelo.
  • La consulta: 100 tokens.
  • Una sección de documento: por ejemplo, para un max_tokens_per_doc de 4096 tokens, cada fragmento incluye una de las siguientes secciones de documento:
    • Sección 1 del documento: Documente de 0 a 3.992 tokens.
    • Sección de documento 2: Documento de 3.993 a 7.985 tokens.
    • Sección de documento 3: Documento de 7.986 a 9.999 tokens. Esta sección es más pequeña que las otras dos secciones, ya que el documento tiene solo 10 000 tokens de largo.
• Cada escenario de referencia se define mediante R(max_tokens_per_doc, 100).

• Consulte los detalles del modelo y revise las siguientes secciones:
  • Regiones disponibles para este modelo.
  • Clusters de IA dedicados para alojar este modelo.
• Revise las métricas.