OpenAI gpt-oss-20b (New)

Dieses Szenario ahmt Anwendungsfälle für die Textgenerierung nach, bei denen die Größe der Eingabeaufforderung und der Antwort im Voraus unbekannt ist. Aufgrund der unbekannten Prompt- und Response-Längen haben wir einen stochastischen Ansatz verwendet, bei dem sowohl die Prompt- als auch die Response-Länge einer normalen Verteilung folgen. Die Prompt-Länge folgt einer Normalverteilung mit einem Mittelwert von 480 Token und einer Standardabweichung von 240 Token. Die Antwortlänge folgt einer Normalverteilung mit einem Mittelwert von 300 Token und einer Standardabweichung von 150 Token.

In diesem Szenario werden Chat- und Dialoganwendungsfälle behandelt, bei denen die Eingabeaufforderung und die Antworten kurz sind. Die Prompt- und Antwortlänge sind jeweils auf 100 Token festgelegt.

Dieses Szenario gilt für Anwendungsfälle für die Generierung und Modellreaktion. Beispiel: Eine lange Jobbeschreibung, die aus einer kurzen Aufzählungsliste mit Artikeln generiert wird. In diesem Fall wird die Prompt-Länge auf 100 Token und die Antwortlänge auf 1.000 Token festgelegt.

Das RAG-Szenario (Retrieval-Augmented Generation) hat einen großen Input und eine kurze Antwort, wie z.B. die Zusammenfassung von Anwendungsfällen. In diesem Szenario wird die Eingabelänge auf 2.000 Token und die Antwortlänge auf 200 Token festgelegt.

Das RAG-Szenario (Retrieval-Augmented Generation) hat einen großen Input und eine kurze Antwort, wie z.B. die Zusammenfassung von Anwendungsfällen. In diesem Szenario wird die Eingabelänge auf 7.800 Token und die Antwortlänge auf 200 Token festgelegt.

Das RAG-Szenario (Retrieval-Augmented Generation) hat einen großen Input und eine kurze Antwort, wie z.B. die Zusammenfassung von Anwendungsfällen. In diesem Szenario wird die Eingabelänge auf 128.000 Token und die Antwortlänge auf 200 Token festgelegt.