Consultez les points de référence de performance pour le modèle cohere.rerank.3-5 (Cohere Rerank 3.5) hébergé sur une unité RERANK_COHERE d'une grappe dédiée à l'IA dans l'IA générative OCI.
Un modèle de reclassement prend une interrogation et une liste de textes en entrée et classe les textes en fonction de leur note de pertinence pour l'interrogation, c'est-à-dire de la correspondance entre chaque texte et l'interrogation.
- Reclasser les scénarios de référence 3.5
-
- L'interrogation est de 100 jetons pour tous les scénarios.
- Tous les scénarios n'ont qu'un seul document complémentaire contenant 10 000 jetons de long.
- Chaque scénario fragmente ce document à 10 000 jetons en fonction d'un paramètre
max_tokens_per_doc. Ces valeurs sont 64, 128, 256, 512, 1024, 2048 et 4096.
- La taille maximale de la tranche de mémoire est de 4096 jetons, soit le nombre maximal de jetons qu'un modèle Rerank 3.5 peut traiter en une seule passe.
- Comme le document a une longueur de 10 000 jetons et que la longueur du contexte du modèle est de 4096 jetons, dans tous les scénarios, le document est divisé en fragments.
- Chaque fragment comprend les éléments suivants :
- Jetons d'ajout : Pour garantir que l'entrée correspond au format attendu du modèle.
- Interrogation : 100 jetons.
- Section de document : Par exemple, pour un
max_tokens_per_doc de 4096 jetons, chaque tranche de mémoire inclut l'une des sections de document suivantes :
- Section 1 du document : Document de 0 à 3 992 jetons.
- Section 2 du document : Document de 3 993 à 7 985 jetons.
- Section 3 du document : Document de 7 986 à 9 999 jetons. Cette section est plus petite que les deux autres sections, car le document ne fait que 10 000 jetons.
- Chaque scénario de référence est défini par R(max_tokens_per_doc, 100).
- Voir les détails du modèle et consulter les sections suivantes :
- Régions disponibles pour ce modèle.
- Grappes dédiées à l'IA pour l'hébergement de ce modèle.
- Vérifiez les mesures.