Cohere Rerank 3.5
Das Modell cohere.rerank.v3-5 nimmt eine Abfrage und eine Liste von Texten auf und erstellt ein geordnetes Array mit jedem Text, dem eine Relevanzbewertung zugewiesen ist. Die Relevanzbewertung ist, wie das Modell die Dokumente einstuft, d.h. wie gut jeder Text mit der Abfrage übereinstimmt.
Regionen für dieses Modell
Für unterstützte Regionen, Endpunkttypen (On-Demand- oder dedizierte KI-Cluster) und Hosting (OCI Generative AI oder externe Aufrufe) für dieses Modell finden Sie auf der Seite Modelle nach Region. Details zu den Regionen finden Sie auf der Seite Regionen für generative KI.
Zugriff auf dieses Modell
Die API-Tinten listen die Endpunkte für alle unterstützten kommerziellen, souveränen und staatlichen Regionen auf.
Wichtige Features
Dediziertes KI-Cluster für das Modell
- Das Modell ist nur im dedizierten Modus verfügbar. (Bei Bedarf nicht verfügbar.)
- Erstellen Sie im dedizierten Modus einen Endpunkt in einem dedizierten KI-Hostcluster, hosten Sie das Modell im Cluster, und führen Sie dann die RerankText-API oder das zugehörige SDK aus.
Die Größe der Clustereinheit, die mit diesem Modell übereinstimmt, finden Sie in der folgenden Tabelle.
| Basismodell | Optimierungscluster | Hostingcluster | Preisfindungsseiteninformationen | Erhöhung des Clusterlimits anfordern |
|---|---|---|---|---|
|
Nicht für Feinabstimmung verfügbar |
|
|
|
Wenn in Ihrem Mandanten nicht genügend Clusterlimits für das Hosting des Modells Cohere Rerank 3.5 in einem dedizierten KI-Cluster vorhanden sind, fordern Sie die Erhöhung des Limits dedicated-unit-rerank-cohere-count um 1 an.
Endpunktregeln für Cluster
- Ein dediziertes KI-Cluster kann bis zu 50 Endpunkte enthalten.
- Verwenden Sie diese Endpunkte, um Aliasnamen zu erstellen, die alle entweder auf das gleiche Basismodell oder auf die gleiche Version eines benutzerdefinierten Modells verweisen, nicht jedoch auf beide Typen.
- Mehrere Endpunkte für dasselbe Modell erleichtern die Zuweisung zu verschiedenen Benutzern oder Zwecken.
| Hostingclustereinheitsgröße | Endpunktregeln |
|---|---|
| RERANK_COHERE |
|
-
Um das von einem Hostingcluster unterstützte Anrufvolumen zu erhöhen, erhöhen Sie die Anzahl der Instanzen, indem Sie das dedizierte KI-Cluster bearbeiten. Siehe Dediziertes KI-Cluster aktualisieren.
-
Fordern Sie für mehr als 50 Endpunkte pro Cluster eine Erhöhung für das Limit an:
endpoint-per-dedicated-unit-count. Siehe Limiterhöhungsanforderung erstellen und Servicelimits für generative KI.
Clusterperformancebenchmarks
Prüfen Sie die Cohere Rerank 3.5-Clusterperformancebenchmarks für verschiedene Szenarios.
OCI-Release- und -Abgangsdaten
Informationen zu Freigabe- und Ruhestandsdaten sowie zu Ersatzmodelloptionen finden Sie auf den folgenden Seiten je nach Modus (auf Anforderung oder dediziert):
Abruf- und Abgangsdatum
Informationen zu Freigabe- und Abgangsdaten und Ersatzmodelloptionen finden Sie auf der folgenden Seite:
Rerank-Modellparameter
Die Parameter des Rerank-Modells finden Sie in der API-Dokumentation RerankText.