Rivedere i benchmark delle prestazioni per il modello cohere.rerank.3-5 (Cohere Rerank 3.5) ospitato su un'unità RERANK_COHERE di un cluster AI dedicato in OCI Generative AI.
Un modello di riassegnazione utilizza una query e una lista di testi come input e classifica i testi in base al loro punteggio di rilevanza alla query, ovvero quanto bene ciascun testo corrisponde alla query.
- Riprogramma scenari benchmark 3.5
-
- La query è costituita da 100 token per tutti gli scenari.
- In tutti gli scenari è disponibile un solo documento di supporto lungo 10.000 token.
- Ogni scenario raggruppa questo documento da 10.000 token in base a un parametro
max_tokens_per_doc. Questi valori sono 64, 128, 256, 512, 1024, 2048 e 4096.
- La dimensione massima del chunk è 4096 token, ovvero il numero massimo di token che un modello Rerank 3.5 può elaborare in un passaggio.
- Poiché il documento è lungo 10.000 token e la lunghezza del contesto del modello è di 4096 token, in tutti gli scenari, il documento viene suddiviso in blocchi.
- Ogni pezzo include:
- Aggiunta di token: per assicurarsi che l'input corrisponda al formato previsto del modello.
- Query: 100 token.
- Sezione documento: ad esempio, per un token
max_tokens_per_doc di 4096, ogni chunk include una delle sezioni del documento riportate di seguito.
- Sezione documento 1: Documento da 0 a 3.992 token.
- Sezione documento 2: Documento da 3.993 a 7.985 token.
- Sezione documento 3: Documento da 7.986 a 9.999 token. Questa sezione è più piccola delle altre due sezioni, perché il documento è lungo solo 10.000 token.
- Ogni scenario di benchmark è definito da R(max_tokens_per_doc, 100).
- Vedere i dettagli del modello ed esaminare le sezioni riportate di seguito.
- Aree disponibili per questo modello.
- Cluster AI dedicati per l'hosting di questo modello.
- Esaminare le metriche.