Cohere Rerank 3.5

Prüfen Sie Performancebenchmarks für das cohere.rerank.3-5 (Cohere Rerank 3.5)-Modell, das auf einer RERANK_COHERE-Einheit eines dedizierten KI-Clusters in OCI Generative AI gehostet wird.

Ein Ranglistenmodell übernimmt eine Abfrage und eine Liste von Texten als Eingabe und ordnet die Texte basierend auf ihrem Relevanzscore zur Abfrage ein. Das heißt, wie gut jeder Text mit der Abfrage übereinstimmt.

Rerank 3.5 Benchmark-Szenarien

• Die Abfrage ist 100 Token für alle Szenarios.
• Alle Szenarios enthalten nur ein Belegdokument, das 10.000 Token lang ist.
• Jedes Szenario blockiert dieses 10.000-Token-Dokument basierend auf einem max_tokens_per_doc-Parameter. Diese Werte lauten 64, 128, 256, 512, 1024, 2048 und 4096.
• Die maximale Chunk-Größe beträgt 4096 Token. Dies sind die maximalen Token, die ein Rerank 3.5-Modell in einem Durchlauf verarbeiten kann.
• Da das Dokument 10.000 Token lang ist und die Kontextlänge des Modells 4096 Token beträgt, wird das Dokument in allen Szenarios in Blöcke unterteilt.
• Jeder Block umfasst:
  • Padding-Token: Damit die Eingabe dem erwarteten Format des Modells entspricht.
  • Abfrage: 100 Token.
  • Dokumentabschnitt: Beispiel: Für eine max_tokens_per_doc von 4096 Token enthält jeder Chunk einen der folgenden Dokumentabschnitte:
    • Dokumentabschnitt 1: Dokument von 0 bis 3.992 Token.
    • Dokumentabschnitt 2: Dokument von 3.993 bis 7.985 Token.
    • Dokumentabschnitt 3: Dokument von 7.986 bis 9.999 Token. Dieser Abschnitt ist kleiner als die anderen beiden Abschnitte, da das Dokument nur 10.000 Token lang ist.
• Jedes Benchmark-Szenario wird durch R(max_tokens_per_doc, 100) definiert.

• Siehe Details für das Modell, und prüfen Sie die folgenden Abschnitte:
  • Verfügbare Regionen für dieses Modell.
  • Dedizierte KI-Cluster für das Hosting dieses Modells.
• Prüfen Sie die Metriken.