Cohere Rerank 3.5

OCI生成AIの専用AIクラスタの1つのRERANK_COHEREユニットでホストされているcohere.rerank.3-5 (Cohere Rerank 3.5)モデルのパフォーマンス・ベンチマークを確認します。

再ランク・モデルは、問合せおよびテキストのリストを入力として取得し、その妥当性スコアに基づいてテキストを問合せにランク付けします。つまり、各テキストが問合せにどの程度一致するかです。

3.5 ベンチマーク・シナリオの再ランク付け

• queryは、すべてのシナリオの 100トークンです。
• すべてのシナリオには、10,000トークンの長さのサポート・ドキュメントが1つのみあります。
• 各シナリオでは、この10,000トークン・ドキュメントをmax_tokens_per_docパラメータに基づいてチャンク化します。これらの値は64、128、256、512、1024、2048、および4096です。
• 最大チャンク・サイズは4096トークンで、これはRerank 3.5モデルが1パスで処理できる最大トークンです。
• 文書の長さは10,000トークンで、モデルのコンテキスト長は4096トークンであるため、すべてのシナリオで文書はチャンクに分割されます。
• 各チャンクには次のものが含まれます。
  • トークンのパディング: 入力がモデルの予期される形式に適合することを確認します。
  • 問合せ: 100トークン。
  • ドキュメント・セクション: たとえば、4096トークンのmax_tokens_per_docの場合、各チャンクには次のドキュメント・セクションのいずれかが含まれます。
    • ドキュメントセクション1: 0から3,992トークンまでのドキュメント。
    • ドキュメント・セクション2: 3,993から7,985トークンまでのドキュメント。
    • ドキュメント・セクション3: 7,986から9,999トークンまでのドキュメント。このセクションは、ドキュメントの長さが10,000トークンのみであるため、他の2つのセクションより小さくなります。
• 各ベンチマーク・シナリオは、R(max_tokens_per_doc、 100)によって定義されます。

• モデルの詳細を参照し、次のセクションを確認してください:
  • このモデルで使用可能なリージョン。
  • このモデルをホストするための専用AIクラスタ。
• メトリックを確認します。