Revise las referencias de rendimiento para el modelo cohere.rerank.3-5 (Cohere Rerank 3.5) alojado en una unidad RERANK_COHERE de un cluster de IA dedicado en OCI Generative AI.
Un modelo de nueva clasificación toma una consulta y una lista de textos como entrada y clasifica los textos en función de su puntuación de relevancia para la consulta, es decir, qué tan bien coincide cada texto con la consulta.
- Escenarios de referencia de Rerank 3.5
-
- La consulta es 100 tokens para todos los escenarios.
- Todos los escenarios tienen solo un documento acreditativo con una longitud de 10 000 tokens.
- Cada escenario fragmenta este documento de 10 000 tokens según un parámetro
max_tokens_per_doc. Estos valores son 64, 128, 256, 512, 1024, 2048 y 4096.
- El tamaño máximo de fragmento es tokens 4096, que es el máximo de tokens que un modelo de Rerank 3.5 puede procesar en una sola pasada.
- Debido a que el documento tiene 10.000 tokens de largo y la longitud del contexto del modelo es de 4096 tokens, en todos los escenarios, el documento se divide en fragmentos.
- Cada fragmento incluye:
- Añadir tokens: para garantizar que la entrada se ajuste al formato esperado del modelo.
- La consulta: 100 tokens.
- Una sección de documento: por ejemplo, para un
max_tokens_per_doc de 4096 tokens, cada fragmento incluye una de las siguientes secciones de documento:
- Sección 1 del documento: Documente de 0 a 3.992 tokens.
- Sección de documento 2: Documento de 3.993 a 7.985 tokens.
- Sección de documento 3: Documento de 7.986 a 9.999 tokens. Esta sección es más pequeña que las otras dos secciones, ya que el documento tiene solo 10 000 tokens de largo.
- Cada escenario de referencia se define mediante R(max_tokens_per_doc, 100).
- Consulte los detalles del modelo y revise las siguientes secciones:
- Regiones disponibles para este modelo.
- Clusters de IA dedicados para alojar este modelo.
- Revise las métricas.