Cohere-Befehl R+ (veraltet)

Das Command R+-Modell ist für komplexe Aufgaben optimiert und bietet erweiterte Sprachkenntnisse, höhere Kapazität und differenziertere Antworten als cohere.command-r-16k. Ideal auch für Fragenbeantwortung, Sentimentanalyse und Informationsabruf.

In diesen Regionen verfügbar

  • Brazil East (Sao Paulo)
  • Germany Central (Frankfurt)
  • UK South (London)
  • US Midwest (Chicago)

Wichtige Features

  • Erstellen Sie zur dedizierten Inferenzierung ein dediziertes KI-Cluster und einen Endpunkt, und hosten Sie das Modell im Cluster.
  • Maximale Prompt- und Antwortlänge: 16.000 Token für jede Ausführung.
  • Für On-Demand-Inferenzierungen wird die Antwortlänge für jede Ausführung auf 4.000 Token begrenzt.
  • Optimiert für komplexe Aufgaben, bietet fortgeschrittenes Sprachverständnis, höhere Kapazität und nuanciertere Antworten als cohere.command-r-16k. Ideal auch für Fragenbeantwortung, Sentimentanalyse und Informationsabruf.

Command R im Vergleich zu R+

  • Modellgröße und Performance: Command R ist ein Sprachmodell mit geringerem Maßstab als Command R+. Während Command R qualitativ hochwertige Antworten bietet, haben die Antworten möglicherweise nicht die gleiche Raffinesse und Tiefe wie die Command R+-Antworten. Command R+ ist ein größeres Modell, das zu verbesserter Performance und ausgefeilteren Erkenntnissen führt.
  • Anwendungsfälle: Command R eignet sich für verschiedene Anwendungen, einschließlich Textgenerierung, Zusammenfassung, Übersetzung und textbasierter Klassifizierung. Es ist eine ideale Wahl für die Erstellung von Konversations-KI-Agenten und chatbasierten Anwendungen. Command R+ hingegen wurde für komplexere Sprachaufgaben entwickelt, die ein tieferes Verständnis und eine tiefere Nuance erfordern, wie Textgenerierung, Fragenbeantwortung, Sentimentanalyse und Informationsabruf.
  • Kapazität und Skalierbarkeit: Command R kann im Vergleich zu Command R+ eine moderate Anzahl gleichzeitiger Benutzer verarbeiten. Command R+ ist jedoch darauf ausgelegt, ein höheres Anforderungsvolumen zu bewältigen und komplexere Anwendungsfälle zu unterstützen, was aufgrund seiner erhöhten Kapazität und Leistung zu höheren Preisen führen kann.

Zusammenfassend ist Command R eine ausgezeichnete Wahl für diejenigen, die eine erschwinglichere und flexiblere Option für allgemeine Sprachaufgaben suchen. Auf der anderen Seite ist Command R+ für Poweruser gedacht, die fortgeschrittenes Sprachverständnis, höhere Kapazität und differenziertere Antworten benötigen. Die Wahl zwischen den beiden hängt von den spezifischen Anforderungen und dem Budget Ihrer Bewerbung ab.

Dediziertes KI-Cluster für das Modell

In der vorherigen Regionsliste haben Modelle in Regionen, die nicht mit (nur dediziertes KI-Cluster) gekennzeichnet sind, sowohl On-Demand- als auch dedizierte KI-Clusteroptionen. Für die On-Demand-Option benötigen Sie keine Cluster, und Sie können das Modell im Playground der Konsole oder über die API erreichen.

Um ein Modell über ein dediziertes KI-Cluster in einer beliebigen aufgelisteten Region zu erreichen, müssen Sie einen Endpunkt für dieses Modell in einem dedizierten KI-Cluster erstellen. Die Größe der Clustereinheit, die mit diesem Modell übereinstimmt, finden Sie in der folgenden Tabelle.

Basismodell Optimierungscluster Hostingcluster Preisfindungsseiteninformationen Erhöhung des Clusterlimits anfordern
  • Modellname: Cohere Command R+
  • OCI-Modellname: cohere.command-r-plus (veraltet)
Nicht für Feinabstimmung verfügbar
  • Einheit: Large Cohere V2_2
  • Erforderliche Maßeinheiten: 1
  • Produktname der Preisseite: Large Cohere - Dedicated
  • Für Hosting Multiply the Unit Price: x2
  • Limitname: dedicated-unit-large-cohere-count
  • Für Hosting erhöhen Sie das Limit um: 2
Tipp

  • Wenn in Ihrem Mandanten nicht genügend Clusterlimits für das Hosting des Cohere Command R+-Modells (veraltet) in einem dedizierten KI-Cluster vorhanden sind, fordern Sie die Erhöhung des Limits dedicated-unit-large-cohere-count um 2 an.

  • Prüfen Sie die Performancebenchmarks des Cohere Command R+-Clusters für verschiedene Anwendungsfälle.

Abruf- und Abgangsdatum

Modell Freigabedatum Abgangsdatum bei Bedarf Abgangsdatum im dedizierten Modus
cohere.command-r-plus 2.024-6-18 2.025-1-16 2.025-8-7
Wichtig

Eine Liste aller Modellzeitpositionen und Abgangsdetails finden Sie unter Ablauf der Modelle.

Modellparameter

Um die Modellantworten zu ändern, können Sie die Werte der folgenden Parameter im Playground oder in der API ändern.

Maximale Ausgabetoken

Die maximale Anzahl an Token, die das Modell für jede Antwort generieren soll. Schätzen Sie vier Zeichen pro Token. Da Sie ein Chatmodell anfordern, hängt die Antwort von der Eingabeaufforderung ab, und jede Antwort verwendet nicht unbedingt die maximal zugewiesenen Token.

Einleitungs-Override

Ein anfänglicher Kontext oder eine Leitnachricht für ein Chatmodell. Wenn Sie einem Chatmodell keine Präambel geben, wird die Standardpräambel für dieses Modell verwendet. Sie können eine Präambel im Parameter Preamble Override für die Modelle zuweisen. Die Standardpräambel für die Cohere-Familie lautet:

You are Command.
            You are an extremely capable large language model built by Cohere. 
            You are given instructions programmatically via an API
            that you follow to the best of your ability.

Das Überschreiben der Standardpräambel ist optional. Wenn angegeben, ersetzt das preamble-Override die Standard-Cohere-Präambel. Geben Sie beim Hinzufügen einer Präambel für beste Ergebnisse den Modellkontext, Anweisungen und einen Unterhaltungsstil an.

Tipp

Bei Chatmodellen ohne den Parameter preamble Override können Sie einen Präambel in die Chatunterhaltung aufnehmen und das Modell direkt auf eine bestimmte Weise zur Beantwortung auffordern.
Sicherheitsmodus
Fügt eine Sicherheitsanweisung für das Modell hinzu, die beim Generieren von Antworten verwendet werden soll. Folgende Optionen stehen zur Auswahl:
  • Kontextuell: (Standard) Gibt weniger Constraints für die Ausgabe aus. Es behält den Kernschutz, indem es darauf abzielt, schädliche oder illegale Vorschläge abzulehnen, aber es erlaubt Profanität und einige toxische Inhalte, sexuell explizite und gewalttätige Inhalte sowie Inhalte, die medizinische, finanzielle oder rechtliche Informationen enthalten. Der kontextbezogene Modus eignet sich für Unterhaltung, kreative oder akademische Zwecke.
  • Streng: Zielt darauf ab, sensible Themen wie gewalttätige oder sexuelle Handlungen und Profanität zu vermeiden. Dieser Modus zielt darauf ab, eine sicherere Erfahrung zu bieten, indem er Antworten oder Empfehlungen verbietet, die er für unangemessen hält. Der strikte Modus eignet sich für den Unternehmenseinsatz, z. B. für die Unternehmenskommunikation und den Kundenservice.
  • Aus: Es wird kein Sicherheitsmodus angewendet.
Temperatur

Der Grad der Zufälligkeit, mit dem der Ausgabetext generiert wird.

Tipp

Stellen Sie die Temperatur auf 0 oder weniger als eins ein, und erhöhen Sie die Temperatur, wenn Sie die Prompts für eine kreativere Ausgabe neu generieren. Hohe Temperaturen können Halluzinationen und sachlich falsche Informationen verursachen.
Top p

Eine Samplingmethode, mit der die kumulative Wahrscheinlichkeit der Top-Token gesteuert wird, die für das nächste Token zu berücksichtigen sind. Weisen Sie p eine Dezimalzahl zwischen 0 und 1 für die Wahrscheinlichkeit zu. Beispiel: Geben Sie 0,75 für die Top 75 Prozent ein, die berücksichtigt werden sollen. Setzen Sie p auf 1, um alle Token zu berücksichtigen.

Top k

Eine Samplingmethode, bei der das Modell das nächste Token zufällig aus den top k-Token wählt. Ein hoher Wert für k generiert eine zufällige Ausgabe, wodurch der Ausgabetext natürlicher klingt. Der Standardwert für k ist 0 für Cohere Command-Modelle und -1 für Meta Llama-Modelle. Das bedeutet, dass das Modell alle Token berücksichtigen und diese Methode nicht verwenden sollte.

Frequency Penalty

Eine Strafe, die einem Token zugewiesen wird, wenn dieses Token häufig angezeigt wird. Hohe Strafen fördern weniger wiederholte Token und erzeugen eine zufälligere Ausgabe.

Für die Meta Llama-Familienmodelle kann diese Strafe positiv oder negativ sein. Positive Zahlen ermutigen das Modell, neue Token zu verwenden, und negative Zahlen ermutigen das Modell, die Token zu wiederholen. Auf 0 setzen, um zu deaktivieren.

Presence Penalty

Eine Strafe, die jedem Token zugewiesen wird, wenn es in der Ausgabe angezeigt wird, um die Generierung von Ausgaben mit noch nicht verwendeten Token zu fördern.

Vordefinieren

Ein Parameter, der den bestmöglichen Versuch unternimmt, Token deterministisch zu erfassen. Wenn diesem Parameter ein Wert zugewiesen wird, zielt das Large Language Model darauf ab, dasselbe Ergebnis für wiederholte Anforderungen zurückzugeben, wenn Sie denselben Seed und dieselben Parameter für die Anforderungen zuweisen.

Zulässige Werte sind Ganzzahlen, und die Zuweisung eines großen oder kleinen Seed-Wertes wirkt sich nicht auf das Ergebnis aus. Die Zuweisung einer Nummer für den Seed-Parameter ähnelt dem Tagging der Anforderung mit einer Nummer. Das große Sprachmodell zielt darauf ab, dieselbe Gruppe von Token für dieselbe Ganzzahl in aufeinanderfolgenden Anforderungen zu generieren. Diese Funktion ist besonders für Debugging und Tests nützlich. Der Seed-Parameter hat keinen Höchstwert für die API, und in der Konsole ist der Höchstwert 9999. Wenn Sie den Seed-Wert in der Konsole leer lassen oder in der API Null angeben, wird dieses Feature deaktiviert.

Warnung

Der Seed-Parameter erzeugt möglicherweise nicht dasselbe Ergebnis auf lange Sicht, da die Modellupdates im OCI Generative AI-Service den Seed möglicherweise ungültig machen.