Meta Llama 3 (70B)
Das Modell meta.llama-3-70b-instruct (veraltet) verfügt über ein breites Allgemeinwissen, von der Ideengenerierung bis zur Verfeinerung der Textanalyse und der Erstellung schriftlicher Inhalte, wie E-Mails, Blogbeiträge und Beschreibungen.
In diesen Regionen verfügbar
- Brazil East (Sao Paulo)
- Germany Central (Frankfurt)
- UK South (London)
- US Midwest (Chicago)
Wichtige Features
- Modellgröße: 70 Milliarden Parameter
- Kontextlänge: 8.000 Token (Maximale Prompt- und Antwortlänge: 8.000 Token für jede Ausführung.)
- Wissen: Verfügt über ein breites Allgemeinwissen, von der Ideengenerierung bis zur Verfeinerung von Textanalysen und der Erstellung schriftlicher Inhalte, wie E-Mails, Blogbeiträge und Beschreibungen.
Dediziertes KI-Cluster für das Modell
Um ein Modell über ein dediziertes KI-Cluster in einer beliebigen aufgelisteten Region zu erreichen, müssen Sie einen Endpunkt für dieses Modell in einem dedizierten KI-Cluster erstellen. Die Größe der Clustereinheit, die mit diesem Modell übereinstimmt, finden Sie in der folgenden Tabelle.
| Basismodell | Optimierungscluster | Hostingcluster | Preisfindungsseiteninformationen | Erhöhung des Clusterlimits anfordern |
|---|---|---|---|---|
|
|
|
|
|
- Wenn in Ihrem Mandanten nicht genügend Clusterlimits für das Hosting des Modells Meta Llama 3 in einem dedizierten KI-Cluster vorhanden sind, fordern Sie die Erhöhung des Limits
dedicated-unit-llama2-70-countum 2 an. - Für die Feinabstimmung fordern Sie das Limit von
dedicated-unit-llama2-70-countan, um es um 4 zu erhöhen. - Prüfen Sie die Performancebenchmarks für Meta Llama 3 (70B)-Cluster für verschiedene Anwendungsfälle.
Abruf- und Abgangsdatum
| Modell | Freigabedatum | Abgangsdatum bei Bedarf | Abgangsdatum im dedizierten Modus |
|---|---|---|---|
meta.llama-3-70b-instruct
|
2.024-6-4 | 2.024-11-12 | 2.025-8-7 |
Eine Liste aller Modellzeitpositionen und Abgangsdetails finden Sie unter Ablauf der Modelle.
Modellparameter
Um die Modellantworten zu ändern, können Sie die Werte der folgenden Parameter im Playground oder in der API ändern.
- Maximale Ausgabetoken
-
Die maximale Anzahl an Token, die das Modell für jede Antwort generieren soll. Schätzen Sie vier Zeichen pro Token. Da Sie ein Chatmodell anfordern, hängt die Antwort von der Eingabeaufforderung ab, und jede Antwort verwendet nicht unbedingt die maximal zugewiesenen Token.
- Temperatur
-
Der Grad der Zufälligkeit, mit dem der Ausgabetext generiert wird.
Tipp
Stellen Sie die Temperatur auf 0 oder weniger als eins ein, und erhöhen Sie die Temperatur, wenn Sie die Prompts für eine kreativere Ausgabe neu generieren. Hohe Temperaturen können Halluzinationen und sachlich falsche Informationen verursachen. - Top p
-
Eine Samplingmethode, mit der die kumulative Wahrscheinlichkeit der Top-Token gesteuert wird, die für das nächste Token zu berücksichtigen sind. Weisen Sie
peine Dezimalzahl zwischen 0 und 1 für die Wahrscheinlichkeit zu. Beispiel: Geben Sie 0,75 für die Top 75 Prozent ein, die berücksichtigt werden sollen. Setzen Siepauf 1, um alle Token zu berücksichtigen. - Top k
-
Eine Samplingmethode, bei der das Modell das nächste Token zufällig aus den
top k-Token wählt. Ein hoher Wert fürkgeneriert eine zufällige Ausgabe, wodurch der Ausgabetext natürlicher klingt. Der Standardwert für k ist 0 fürCohere Command-Modelle und -1 fürMeta Llama-Modelle. Das bedeutet, dass das Modell alle Token berücksichtigen und diese Methode nicht verwenden sollte. - Frequency Penalty
-
Eine Strafe, die einem Token zugewiesen wird, wenn dieses Token häufig angezeigt wird. Hohe Strafen fördern weniger wiederholte Token und erzeugen eine zufälligere Ausgabe.
Für die Meta Llama-Familienmodelle kann diese Strafe positiv oder negativ sein. Positive Zahlen ermutigen das Modell, neue Token zu verwenden, und negative Zahlen ermutigen das Modell, die Token zu wiederholen. Auf 0 setzen, um zu deaktivieren.
- Presence Penalty
-
Eine Strafe, die jedem Token zugewiesen wird, wenn es in der Ausgabe angezeigt wird, um die Generierung von Ausgaben mit noch nicht verwendeten Token zu fördern.
- Vordefinieren
-
Ein Parameter, der den bestmöglichen Versuch unternimmt, Token deterministisch zu erfassen. Wenn diesem Parameter ein Wert zugewiesen wird, zielt das Large Language Model darauf ab, dasselbe Ergebnis für wiederholte Anforderungen zurückzugeben, wenn Sie denselben Seed und dieselben Parameter für die Anforderungen zuweisen.
Zulässige Werte sind Ganzzahlen, und die Zuweisung eines großen oder kleinen Seed-Wertes wirkt sich nicht auf das Ergebnis aus. Die Zuweisung einer Nummer für den Seed-Parameter ähnelt dem Tagging der Anforderung mit einer Nummer. Das große Sprachmodell zielt darauf ab, dieselbe Gruppe von Token für dieselbe Ganzzahl in aufeinanderfolgenden Anforderungen zu generieren. Diese Funktion ist besonders für Debugging und Tests nützlich. Der Seed-Parameter hat keinen Höchstwert für die API, und in der Konsole ist der Höchstwert 9999. Wenn Sie den Seed-Wert in der Konsole leer lassen oder in der API Null angeben, wird dieses Feature deaktiviert.
Warnung
Der Seed-Parameter erzeugt möglicherweise nicht dasselbe Ergebnis auf lange Sicht, da die Modellupdates im OCI Generative AI-Service den Seed möglicherweise ungültig machen.