Oracle Cloud Infrastructure-Dokumentation

Informationen zu Chatmodellen in generativer KI

Fordern Sie die OCI Generative AI-Chatmodelle auf, Text zu generieren. Sie können Fragen in natürlicher Sprache stellen und optional Text wie Dokumente, E-Mails und Produktbewertungen an die Chatmodelle und jeden Modellgrund über den Text übermitteln und intelligente Antworten bereitstellen. Bei einigen Modellen können Sie Bilder einreichen und Fragen zum Bild stellen. Die Chatmodelle behalten den Kontext Ihrer vorherigen Eingabeaufforderungen bei, und Sie können den Chat mit Nachfassfragen fortsetzen. Beispiel:

Benutzer-Prompt: "Hallo, können Sie mir sagen, wie ich fischen soll?"

Ausgabe für vorherigen Prompt: "Sicher! Ich würde gerne helfen. Hier sind die grundlegenden Schritte, um mit dem Angeln zu beginnen..." Und diesem Satz folgen mehrere Schritte und eine Folgefrage wie "Bitte lassen Sie mich wissen, wenn Sie spezielle Fragen zu Angelausrüstung, Techniken oder Tipps für einen erfolgreichen Angelausflug haben, und ich helfe Ihnen gerne!"

Nachfass-Prompt für Benutzer: "Können Sie mir mehr über Schritt 3 sagen?"

Die Antwort des Chatmodells: "Sicher! Schritt 3 spricht über die wichtigen Überlegungen zur Einrichtung Ihrer Angelrute und zur Bekämpfung, was ein entscheidender Aspekt bei der Vorbereitung auf eine erfolgreiche Angelreise ist. Hier finden Sie einen tieferen Einblick in diesen Schritt, um Ihnen zu helfen, die verschiedenen Komponenten und Optionen beim Einrichten Ihrer Fanggeräte zu verstehen" und so weiter.

Im Folgenden finden Sie einige Beispielanwendungsfälle für Chatmodelle:

  • Chat: Chatten Sie mit dem Modell, um Ideen zu Brainstorming, Probleme zu lösen, Konzepte zu erklären und Fragen zu beantworten.
  • Neuen Inhalt schreiben: Bitten Sie das Chatmodell, Marketingkopien, E-Mails, Blogbeiträge, Produktbeschreibungen, Dokumente usw. zu entwerfen.
  • Übersetzen: Übersetzen Sie Text von einer Sprache in eine andere. Sehen Sie sich die Sprachabdeckung jedes Modells an.
  • Informationen aus Text abrufen: Geben Sie Text für das Chatmodell an, und verwenden Sie das Chatmodell für Fragenbeantwortung, Sentimentanalyse, Klassifizierung und Informationsabruf.
  • Informationen aus Bildern abrufen: Geben Sie ein Bild für das Chatmodell an, und verwenden Sie das Chatmodell zum Beschriften und Abrufen von Informationen. Diese Funktion ist für einige Modelle verfügbar.
  • Vorhandenen Inhalt erweitern: Schreiben Sie Inhalte in einem anderen Stil oder einer anderen Sprache um, z.B. um einen Text neu zu strukturieren, um die Lerneinheiten aufzulisten, Überschriften hinzuzufügen und die Lerneinheiten zusammenzufassen.

Modell für Chat auswählen

Wählen Sie ein Modell für Ihre Chatunterhaltung basierend auf der Modellgröße, Ihrem Projektziel, den Kosten und dem Stil der Modellantwort aus. Verwenden Sie die vom Spielplatz bereitgestellten Beispiele mit jedem aufgeführten Modell, um ein Gefühl dafür zu erhalten, wie jedes Modell auf dieselbe Eingabeaufforderung reagiert, und entscheiden Sie dann, welcher Reaktionsstil des Modells zu Ihrem Anwendungsfall passt.

Die folgenden vortrainierten grundlegenden Modelle sind in OCI Generative AI für Chats verfügbar. Prüfen Sie die Features, mit denen Sie das beste Modell für Ihren Anwendungsfall auswählen können.

Cohere Command-Familie
Modelle
  • Command A (cohere.command-a-03-2025) (Neu)
  • Command R 08-2024 (cohere.command-r-08-2024)
  • Command R+ 08-2024 (cohere.command-r-plus-08-2024)
  • Command R (cohere.command-r-16k) (Veraltet)
  • Command R+ (cohere.command-r-plus) (Veraltet)
Wichtige Features

Das cohere.command-a-03-2025-Modell ist das bisher leistungsstärkste Cohere-Chatmodell mit einem besseren Durchsatz als cohere.command-r-08-2024. Dieses Modell hat eine Tokenkontextlänge von 256.000.

Die Chatmodelle cohere.command-r-16k (Command R) und cohere.command-r-plus (Command R+) gehören beide zur Cohere-Command R-LLM-Familie, unterscheiden sich jedoch in ihren Funktionen, Anwendungsfällen und Preisen. Im Folgenden sind die Hauptunterschiede aufgeführt:

  • Modellgröße und Performance: Command R ist ein kleineres Sprachmodell als Command R+. Während Command R qualitativ hochwertige Antworten bietet, haben die Antworten möglicherweise nicht den gleichen Grad an Raffinesse und Tiefe wie die Command R+-Antworten. Command R+ ist ein größeres Modell, das zu verbesserter Performance und komplexeren Verständnissen führt.
  • Anwendungsfälle: Command R eignet sich für verschiedene Anwendungen, einschließlich Textgenerierung, Zusammenfassung, Übersetzung und textbasierte Klassifizierung. Es ist eine ideale Wahl für die Erstellung von dialogorientierten KI-Agents und chatbasierten Anwendungen. Command R+ hingegen ist für komplexere Sprachaufgaben konzipiert, die ein tieferes Verständnis und eine tiefere Nuance erfordern, wie Textgenerierung, Fragenbeantwortung, Sentimentanalyse und Informationsabruf.
  • Kapazität und Skalierbarkeit: Command R kann eine moderate Anzahl gleichzeitiger Benutzer im Vergleich zu Command R+ verarbeiten. Command R+ ist jedoch darauf ausgelegt, ein höheres Anforderungsvolumen zu verarbeiten und komplexere Anwendungsfälle zu unterstützen, was aufgrund seiner erhöhten Kapazität und Performance zu höheren Preisen führen kann.

Zusammenfassend ist Command R eine ausgezeichnete Wahl für diejenigen, die eine erschwinglichere und flexiblere Option für allgemeine Sprachaufgaben suchen. Auf der anderen Seite ist Command R+ für Poweruser gedacht, die fortgeschrittenes Sprachverständnis, höhere Kapazität und differenziertere Antworten benötigen. Die Wahl zwischen den beiden hängt von den spezifischen Anforderungen und dem Budget Ihrer Anwendung ab.

Cohere Command R 08-2024 und Cohere Command R+ 08-2024 (Neu)

Die Chatmodelle cohere.command-r-plus-08-2024 (Command R+ 08-2024) und cohere.command-r-08-2024 (Command R 08-2024) sind die verbesserten Versionen von cohere.command-r-plus (Command R+) und cohere.command-r-16k (Command R) und haben die folgenden wichtigen Features:

  • Sie haben im Vergleich zu ihren Vorgängern erhebliche Performanceverbesserungen bei Latenz und Durchsatz.
  • Beide Modelle haben eine Token-Kontextlänge von 128.000, die achtmal so groß ist wie ihre Vorgängermodelle.
  • Beide Modelle haben sich in Bereichen wie Mathematik, Codierung und Argumentation verbessert.
  • Command R 08-2024 befindet sich jetzt im par-Befehl R+.
  • Beide Modelle sind für On-Demand-Inferenzierung und Hosting auf dedizierten KI-Clustern verfügbar.
  • Das Modell Command R 08-2024 ist für die Feinabstimmung mit Ihrem Dataset verfügbar.
  • Erweitertes Feature für mehrsprachige Retrieval-Augmented Generation (RAG) mit anpassbaren Zitieroptionen.
  • Mehrsprachige Unterstützung in 10 Sprachen: Arabisch, Chinesisch (Mandarin), Englisch, Französisch, Deutsch, Italienisch, Japanisch, Koreanisch, Portugiesisch und Spanisch
  • Neues Feature für strukturierte Ausgaben zum Erstellen benutzerdefinierter JSON-Ausgaben, wie benutzerdefinierte JSON-Schemas.
  • Verbesserte strukturierte Datenanalyse für Finanzen, Software-as-a-Service (SaaS) und Beratungsanwendungsfälle
Meta Llama 4 (Neu)

Die Llama 4-Modelle nutzen eine Mixture of Experts-(MoE-)Architektur, die effiziente und leistungsstarke Verarbeitungsfunktionen ermöglicht. Die Llama 4-Serie ist für multimodales Verständnis, mehrsprachige Aufgaben, Codierung, Tool-Calling und Powering Agentic-Systeme optimiert und bietet Unternehmen neue Möglichkeiten für KI-Anwendungen.

Hauptmerkmale der Meta Llama 4 Serie
  • Multimodale Funktionen: Beide Modelle sind nativ multimodal und können verschiedene Datentypen, einschließlich Text und Bildern, verarbeiten und integrieren.
  • Mehrsprachige Unterstützung: Schulung zu Daten in 200 Sprachen mit Unterstützung für die Feinabstimmung für 12 Sprachen, darunter Arabisch, Englisch, Französisch, Deutsch, Hindi, Indonesisch, Italienisch, Portugiesisch, Spanisch, Tagalog, Thai und Vietnamesisch. Das Bildverständnis ist auf Englisch beschränkt.
  • Effiziente Bereitstellung: Llama 4 Scout wurde für Barrierefreiheit mit einem geringeren GPU-Footprint entwickelt.
  • Knowledge Cutoff: August 2024
  • Nutzungsbeschränkungen: Die Llama 4 Acceptable Use Policy beschränkt ihre Verwendung in der Europäischen Union (EU).
Meta Llama 4 Pfadfinder
  • Architektur: Enthält 17 Milliarden aktive Parameter innerhalb von insgesamt etwa 109 Milliarden Parametern, wobei 16 Experten verwendet werden.
  • Kontextfenster: Unterstützt eine Kontextlänge von 192k-Token.
  • Deployment: Entwickelt für einen effizienten Betrieb auf einem kleinen GPU-Footprint.
  • Performance: Zeigt eine überlegene Performance im Vergleich zu früheren Modellen über viele Benchmarks hinweg an.
Meta Llama 4 Maverick
  • Architektur: Ähnlich wie Meta Llama Scout verfügt dieses Modell über 17 Milliarden aktive Parameter, jedoch innerhalb eines größeren Rahmens von etwa 400 Milliarden Parametern, wobei 128 Experten verwendet werden.
  • Kontextfenster: Unterstützt eine Kontextlänge von 512k-Token.
  • Performance: Gleicht erweiterte Modelle in Codierungs- und Argumentationsaufgaben ab.

Die Llama 4-Serie bietet eine verbesserte Leistung, Vielseitigkeit und Zugänglichkeit für eine Vielzahl von Anwendungen. Sie können diese Modelle nutzen, ohne sich um das Infrastrukturmanagement kümmern zu müssen. Der Zugriff ist über Chatschnittstellen, API oder dedizierte Endpunkte verfügbar.

Meta Llama 3.3 70B

Das Nur-Text-Modell Meta Llama 3.3 70B (meta.llama-3.3-70b-instruct) bietet eine bessere Performance als sowohl Llama 3.1 70B als auch Llama 3.2 90B für Textaufgaben.

Wichtige Features
  • Akzeptiert Nur-Text-Eingaben und erzeugt Nur-Text-Ausgaben.
  • Verwendet dasselbe Eingabeaufforderungsformat wie Llama 3.1 70B.
  • Unterstützt denselben Code-Interpreter wie Llama 3.1 70B und behält die Token-Kontextlänge von 128.000 bei.
  • Im Vergleich zu seinem Llama 3.1 70B Vorgänger reagiert er mit verbesserter Argumentation, Codierung, Mathematik und Anweisungsfolge. Siehe Llama 3.3 model card.
  • Verfügbar für On-Demand-Inferenzierung, dediziertes Hosting und Feinabstimmung.
Meta Llama 3.2 Familie
Modelle
  • Meta Llama 3.2 90B Vision (meta.llama-3.2-90b-vision-instruct)
  • Meta Llama 3.2 11B Vision (meta.llama-3.2-11b-vision-instruct)
Wichtige Features
  • Multimodale Unterstützung (neue Funktion): Vision-Unterstützung für Imageverständnis
  • Modellgrößen: 90 und 11 Milliarden Parameter
  • Kontextlänge: 128.000 Token
  • Mehrsprachiger Support: Englisch, Französisch, Deutsch, Hindi, Italienisch, Portugiesisch, Spanisch und Thai
Über die neue Vision-Funktion durch multimodalen Support

Senden Sie ein Bild, stellen Sie Fragen zum Bild und erhalten Sie eine Textausgabe wie:

  • Erweiterte Bildbeschriftungen
  • Detaillierte Beschreibung eines Bildes.
  • Antworten auf Fragen zu einem Bild.
  • Informationen zu Diagrammen und Grafiken in einem Bild.
Weitere Details
  • Llama 3.2 90B Vision enthält die textbasierten Funktionen des vorherigen Llama 3.1 70B-Modells.
  • Llama 3.2 11B Vision bietet robuste multimodale Funktionen in einer kompakteren Form.
  • Beide Modelle sind für dediziertes Hosting verfügbar, wobei Llama 3.2 90B auch für On-Demand-Inferenzen angeboten wird.
  • Um im Playground das nächste Bild und den nächsten Text hinzuzufügen, müssen Sie den Chat löschen, wodurch der Kontext der vorherigen Unterhaltung verloren geht, indem Sie den Chat löschen.
Meta Llama 3.1 Familie
Meta Llama 3.1 Familie

Die meta.llama-3.1-405b-instruct und meta.llama-3.1-70b-instruct gehören zur Meta Llama 3.1-Familie von LLMs mit den folgenden Schlüsselfunktionen:

  • Modellgrößen: 405 und 70 Milliarden Parameter
  • Kontextlänge: 128.000 Token, was 16-mal höher ist als bei den Meta Llama 3-Modellen
  • Mehrsprachiger Support: Englisch, Französisch, Deutsch, Hindi, Italienisch, Portugiesisch, Spanisch und Thai
meta.llama-3.1-405b-instruct

Dieses Modell mit 405 Milliarden Parametern ist eine leistungsstarke Option, die Geschwindigkeit und Skalierbarkeit bietet. Im Vergleich zum meta.llama-3.1-70b-instruct-Modell kann es ein höheres Anforderungsvolumen verarbeiten und komplexere Anwendungsfälle unterstützen. Schlüssel-Features dieses Modells umfassen:

  • Als das größte öffentlich verfügbare große Sprachmodell zum Zeitpunkt seiner Veröffentlichung anerkannt.
  • Geeignet für Anwendungen auf Unternehmensebene sowie für Forschungs- und Entwicklungsinitiativen.
  • Zeigt außergewöhnliche Funktionen in Bereichen wie Allgemeinwissen, synthetische Datengenerierung, erweitertes Denken und kontextbezogenes Verständnis sowie Langformtext, mehrsprachige Übersetzung, Codierung, Mathematik und Werkzeugverwendung.
meta.llama-3.1-70b-instruct

Dieses Modell zur Generierung von 70 Milliarden Parametern eignet sich perfekt für die Erstellung von Inhalten, dialogorientierte KI und Unternehmensanwendungen. Zu den wichtigsten Stärken zählen:

  • Text mit hoher Genauigkeit zusammenfassen, umschreiben und klassifizieren
  • Sentimentanalyse und Sprachmodellierungsfunktionen
  • Effektive Dialogsysteme
  • Codegenerierung
Tipp

  • Wenn die Basismodelle nicht gut auf Ihren Anwendungsfall reagieren, können Sie ein vortrainiertes Chatmodell mit Ihrem eigenen Dataset optimieren. Sehen Sie sich die Hauptfeatures jedes Chatmodells an, um herauszufinden, welches Modell für die Feinabstimmung verfügbar ist, und befolgen Sie dann die Schritte unter Feinabstimmung der Basismodelle.

  • Erfahren Sie, wie Sie mit Beispielen Kosten berechnen.

Chatmodellparameter

Wenn Sie die Chatmodelle verwenden, können Sie die Ausgabe ändern, indem Sie die folgenden Parameter ändern.

Maximale Ausgabetoken

Die maximale Anzahl an Token, die das Modell für jede Antwort generieren soll. Schätzen Sie vier Zeichen pro Token. Da Sie ein Chatmodell anfordern, hängt die Antwort von der Eingabeaufforderung ab, und jede Antwort verwendet nicht unbedingt die maximal zugewiesenen Token. Informationen zu den maximalen Ausgabetoken jedes Modells finden Sie in den wichtigsten Features unter Vortrainierte Grundlagenmodelle in generativer KI.

Einleitungs-Override

Ein Anfangskontext oder eine Leitnachricht für ein Chatmodell. Wenn Sie einem Chatmodell keine Präambel geben, wird die Standardpräambel für dieses Modell verwendet. Sie können eine Präambel im Parameter Preamble Override für die Modelle zuweisen. Die Standardpräambel für die Cohere-Command R-Familie lautet:

You are Command.
            You are an extremely capable large language model built by Cohere. 
            You are given instructions programmatically via an API
            that you follow to the best of your ability.

Das Überschreiben der Standardpräambel ist optional. Wenn angegeben, ersetzt das preamble-Override die Cohere-Standardpräambel. Geben Sie beim Hinzufügen einer Präambel für optimale Ergebnisse den Modellkontext, Anweisungen und einen Unterhaltungsstil an.

Tipp

Bei Chatmodellen ohne den Parameter Preamble Override können Sie eine Präambel in die Chatunterhaltung aufnehmen und das Modell direkt bitten, auf eine bestimmte Weise zu antworten. Beispiel: "Beantworten Sie die folgende Frage in einem Piratenton. Wo ist der beste Ort zum Segeln?"

Beispiel 1 für die Präambel

  • Beispiel: Sie sind ein Reiseberater. Antwort mit einem Piratenton.
  • Beispiel-Prompt: Wo finde ich die beste Cannolis in Italien?
  • Beispielantwort mit der vorhergehenden Präambel: Argh, ich Heartie! Ihr wollt doch ein paar der besten Cannolis im Land, oder? Sie sollten in die üppigen Länder Siziliens segeln, wo die Straßen mit leckerem Gebäck gesäumt sind und die Gerüche von süßem Ricotta die Luft füllen. In der Hafenstadt Palermo finden Sie einige der besten Cannoli-Küchen. Die Einheimischen behaupten, dass die besten Cannolis im Pastificio Graffeo zu finden sind, wo die Schalen knusprig und mit cremigem Ricotta gefüllt sind.

Beispiel 2 für die Präambel

  • Beispiel Präambel: Sie sind ein erfahrener Marketingprofi mit einem tiefen Verständnis des Verbraucherverhaltens und der Markttrends. Antworten Sie mit einem freundlichen und informativen Ton und teilen Sie Brancheneinblicke und Best Practices.
  • Beispiel-Prompt: Wo finde ich die beste Cannolis in Italien?
  • Beispielantwort auf die vorhergehende Präambel: Cannolis sind ein köstliches italienisches Dessert, und das Finden der besten hängt wirklich von Ihren persönlichen Vorlieben ab und was die perfekte Cannoli für Sie ausmacht! In der Tat, Sizilien verfügt über einige renommierte Cannoli Hotspots. Caffe Sierra in Palermo hat einen Ruf für außergewöhnliche Cannolis, ebenso wie Pasticceria Cappello, die mehrere Filialen in der ganzen Stadt hat. Diese Flecken sind bekannt für ihre traditionellen Rezepte und hochwertigen Zutaten, mit frischem Ricotta-Käse und dünnen, knusprigen Gebäckschalen.
Sicherheitsmodus
Fügt eine Sicherheitsanweisung für das Modell hinzu, die beim Generieren von Antworten verwendet werden soll. Optionen:
  • Kontext: (Standard) Gibt weniger Constraints für die Ausgabe an. Es behält den Kernschutz bei, indem es darauf abzielt, schädliche oder illegale Vorschläge abzulehnen, aber es ermöglicht Profanität und einige toxische Inhalte, sexuell explizite und gewalttätige Inhalte und Inhalte, die medizinische, finanzielle oder rechtliche Informationen enthalten. Der Kontextmodus eignet sich für Unterhaltung, kreative oder akademische Zwecke.
  • Streng: Ziel ist es, sensible Themen wie gewalttätige oder sexuelle Handlungen und Obszönitäten zu vermeiden. Dieser Modus zielt darauf ab, eine sicherere Erfahrung zu bieten, indem er Antworten oder Empfehlungen verbietet, die er für unangemessen hält. Der strenge Modus eignet sich für den Unternehmenseinsatz, z. B. für die Unternehmenskommunikation und den Kundenservice.
  • Aus: Es wird kein Sicherheitsmodus angewendet.
Hinweis

Dieser Parameter ist nur mit den Modellen cohere.command-r-08-2024, cohere.command-r-plus-08-2024 und Cohere kompatibel, die nach diesen Modellen veröffentlicht wurden. Siehe Releasedaten.
Temperatur

Die Zufälligkeitsebene, die zum Generieren des Ausgabetextes verwendet wird.

Tipp

Setzen Sie die Temperatur anfangs auf 0 oder weniger als eine, und erhöhen Sie die Temperatur beim erneuten Generieren der Prompts für eine kreativere Ausgabe. Hohe Temperaturen können zu Halluzinationen und faktisch falschen Informationen führen.
Top p

Eine Samplingmethode, mit der die kumulative Wahrscheinlichkeit der Top-Token gesteuert wird, die für das nächste Token berücksichtigt werden sollen. Weisen Sie p eine Dezimalzahl zwischen 0 und 1 für die Wahrscheinlichkeit zu. Beispiel: Geben Sie 0,75 für die Top 75 Prozent ein, die berücksichtigt werden sollen. Setzen Sie p auf 1, um alle Token zu berücksichtigen.

Top k

Eine Samplingmethode, bei der das Modell das nächste Token zufällig aus den wahrscheinlichsten Token top k wählt. Ein hoher Wert für k generiert eine eher zufällige Ausgabe, wodurch der Ausgabetext natürlicher klingt. Der Standardwert für k ist 0 für Cohere Command-Modelle und -1 für Meta Llama-Modelle. Das bedeutet, dass das Modell alle Token berücksichtigen und diese Methode nicht verwenden sollte.

Häufigkeitsstrafe

Eine Strafe, die einem Token zugewiesen wird, wenn dieses Token häufig angezeigt wird. Hohe Strafen begünstigen weniger wiederholte Token und erzeugen eine zufälligere Ausgabe.

Für die Meta Llama-Familienmodelle kann diese Strafe positiv oder negativ sein. Positive Zahlen ermutigen das Modell, neue Token zu verwenden, und negative Zahlen ermutigen das Modell, die Token zu wiederholen. Auf 0 setzen, um zu deaktivieren.

Anwesenheitsstrafe

Eine Strafe, die jedem Token zugewiesen wird, wenn es in der Ausgabe angezeigt wird, um die Generierung von Ausgaben mit noch nicht verwendeten Token zu fördern.

Seed

Ein Parameter, der sich am besten bemüht, Token deterministisch zu erfassen. Wenn diesem Parameter ein Wert zugewiesen wird, zielt das große Sprachmodell darauf ab, dasselbe Ergebnis für wiederholte Anforderungen zurückzugeben, wenn Sie denselben Seed-Wert und dieselben Parameter für die Anforderungen zuweisen.

Zulässige Werte sind Ganzzahlen, und die Zuweisung eines großen oder kleinen Seed-Wertes wirkt sich nicht auf das Ergebnis aus. Die Zuweisung einer Zahl für den Seed-Parameter ähnelt dem Tagging der Anforderung mit einer Zahl. Das große Sprachmodell zielt darauf ab, dieselbe Gruppe von Token für dieselbe Ganzzahl in aufeinanderfolgenden Anforderungen zu generieren. Dieses Feature ist besonders für Debugging und Tests nützlich. Der Seed-Parameter hat keinen Höchstwert für die API. In der Konsole ist der Höchstwert 9999. Wenn der Seed-Wert in der Konsole leer oder in der API Null ist, wird dieses Feature deaktiviert.

Warnung

Der Seed-Parameter erzeugt möglicherweise nicht dasselbe Ergebnis bei langer Ausführungszeit, da die Modellaktualisierungen im OCI Generative AI-Service das Seed möglicherweise invalidieren.

Tool-Unterstützung

OCI Generative AI bietet Toolsupport für die vortrainierten Chatmodelle, sodass sie in externe Tools und APIs integriert werden können, um ihre Antworten zu verbessern.

Ein Toolaufruf kann einem Modell dabei helfen, kontextrelevante Antworten zu erstellen und sein Utility zu erweitern, sodass das Modell komplexe Abfragen verarbeiten und Aufgaben ausführen kann, die externe Daten und Verarbeitung erfordern. Beispiel: Mit Toolaufrufen kann ein Modell Echtzeitdaten abrufen, Code ausführen und mit Datenbanken interagieren. Toolunterstützung ist nur über die API verfügbar.

  • Meta-Llama-Modelle finden Sie im neuen Attribut tools in der API-Referenz GenericChatRequest.

  • Informationen zu Cohere-Modellen finden Sie im Attribut tools in der API-Referenz CohereChatRequest.