Meta Llama 3.2 11B Vision

このシナリオでは、プロンプトとレスポンスのサイズが事前に不明であるテキスト生成のユースケースを模倣します。プロンプト長とレスポンス長が不明なため、プロンプト長とレスポンス長の両方が正規分布に従う確率的アプローチを使用しました。プロンプト長は、平均480トークンと標準偏差240トークンの正規分布に従います。レスポンスの長さは、平均300トークンと標準偏差150トークンの正規分布に従います。

このシナリオでは、プロンプトと応答が短いチャットおよびダイアログのユースケースについて説明します。プロンプトとレスポンスの長さはそれぞれ100トークンに固定されています。

このシナリオは、生成およびモデル・レスポンスの多いユース・ケース用です。たとえば、項目の短い箇条書きリストから生成される長い職務内容です。この場合、プロンプト長は100トークンに固定され、レスポンス長は1,000トークンに固定されます。

検索拡張生成(RAG)シナリオには、非常に長いプロンプトと、ユース・ケースの要約などの短いレスポンスがあります。プロンプト長は2,000トークンに固定され、レスポンス長は200トークンに固定されます。