Meta Llama 3.1 (405B)
meta.llama-3.1-405b-instructモデルは、オンデマンド推論、専用ホスティングおよびファインチューニングに使用でき、テキスト・タスクのLlama 3.1 70BおよびLlama 3.2 90Bよりも優れたパフォーマンスを提供します。
この4050億パラメータ・モデルは、速度とスケーラビリティを提供する高パフォーマンス・オプションです。meta.llama-3.1-70b-instructモデルと比較して、大量のリクエストを処理し、より複雑なユースケースをサポートできます。このモデルの主な機能は次のとおりです。
- 発売当時、公的に利用可能な最大の大規模言語モデルとして認識されている。
- 企業レベルのアプリケーションや研究開発イニシアチブに適しています。
- 一般的な知識、合成データの生成、高度な推論、コンテキストの理解、および長い形式のテキスト、多言語翻訳、コーディング、数学、ツールの使用などの分野で優れた機能を示します。
これらのリージョンで使用可能
- ブラジル東部(サンパウロ)(専用AIクラスタのみ)
- ドイツ中央部(フランクフルト)(専用AIクラスタのみ)
- 日本中央部(大阪)(専用AIクラスタのみ)
- 英国南部(ロンドン)(専用AIクラスタのみ)
- 米国中西部(シカゴ)
主な機能
- モデル・サイズ: 4050億のパラメータ
- コンテキスト長: 128,000トークン(最大プロンプト+レスポンス長: 各実行の128,000トークン)
- 多言語サポート:英語、フランス語、ドイツ語、ヒンディー語、イタリア語、ポルトガル語、スペイン語、タイ語
- 最大プロンプト+レスポンス長: 実行ごとに128,000トークン。
- オンデマンド推論の場合、レスポンスの長さは、実行ごとに4,000トークンに制限されます。
- 専用モードの場合、レスポンスの長さは制限されず、コンテキストの長さは128,000トークンです。
- オンデマンド推論は、米国中西部(シカゴ)リージョンでのみ使用できます。他のリージョンでは、独自の専用AIクラスタを作成し、推論のためにこれらのクラスタでこのモデルをホストする必要があります。次の項を参照してください。
モデルの専用AIクラスタ
リストされた任意のリージョンの専用AIクラスタを介してモデルに到達するには、専用AIクラスタにそのモデルのエンドポイントを作成する必要があります。このモデルに一致するクラスタユニットサイズについては、次の表を参照してください。
| ベース・モデル | ファインチューニング・クラスタ | ホスティング・クラスタ | 価格設定ページ情報 | クラスタ制限の引上げをリクエスト |
|---|---|---|---|---|
|
ファインチューニングに使用できません |
|
|
|
-
専用AIクラスタでMeta Llama 3.1 (405B)モデルをホストするための十分なクラスタ制限がテナンシにない場合は、
dedicated-unit-llama2-70-count制限を4増やすようにリクエストします。 - 様々なユースケースについて、Meta Llama 3.1 (405B)クラスタのパフォーマンス・ベンチマークを確認します。
リリース日と除・売却日
| モデル | リリース日 | オンデマンド処分日 | 専用モード除・売却日 |
|---|---|---|---|
meta.llama-3.1-405b-instruct
|
2024-09-19 | 1番目の置換モデルのリリースから少なくとも1か月後。 | 最初の交換モデルのリリースから少なくとも6か月後。 |
モデル・パラメータ
モデル・レスポンスを変更するには、プレイグラウンドまたはAPIで次のパラメータの値を変更できます。
- 最大出力トークン
-
各レスポンスに対してモデルで生成するトークンの上限数。トークンごとに4文字を推定します。チャット・モデルを要求するため、レスポンスはプロンプトに依存し、各レスポンスは必ずしも最大割当てトークンを使用するわけではありません。
- 温度
-
出力テキストの生成に使用されるランダム性のレベル。
ヒント
温度の設定を0で開始し、出力を改良のためにプロンプトを再生成するときに温度を上げます高温は、幻覚や事実上誤った情報をもたらす可能性があります。 - 上位p
-
次のトークンで考慮する上位トークンの累積確率を制御するサンプリング方法。確率に
pに0から1までの小数を割り当てます。たとえば、上位75パーセントを考慮するには、0.75と入力します。すべてのトークンを考慮するには、pを1に設定します。 - 上位k
-
top kの最も可能性の高いトークンからモデルが次のトークンをランダムに選択するサンプリング・メソッド。kの値が大きいほど、ランダムな出力が生成され、出力テキストがより自然になります。kのデフォルト値は、Cohere Commandモデルの場合は0、Meta Llamaモデルの場合は-1です。これは、モデルがすべてのトークンを考慮し、このメソッドを使用しないことを意味します。 - 頻度ペナルティ
-
トークンが頻繁に表示される場合にトークンに割り当てられるペナルティ。高いペナルティにより、繰り返されるトークンが少なくなり、よりランダムな出力が生成されます。
Meta Llamaファミリ・モデルでは、このペナルティはプラスまたはマイナスになります。正の数は、モデルが新しいトークンを使用することを推奨し、負の数はモデルがトークンを繰り返すことを推奨します。無効にするには、0に設定します。
- プレゼンス・ペナルティ
-
出力に表示されている各トークンにペナルティが割り当てられ、使用されていないトークンを使用した出力の生成を促します。
- シード
-
トークンを確定的にサンプリングする最善の努力をするパラメータ。このパラメータに値が割り当てられると、大規模言語モデルは、リクエストに同じシードとパラメータを割り当てたときに、繰返しリクエストに対して同じ結果を返すことを目的としています。
許可される値は整数で、大きいシード値または小さいシード値を割り当てても結果には影響しません。シード・パラメータに番号を割り当てることは、リクエストを番号でタグ付けすることと似ています。大規模言語モデルは、連続するリクエストで同じ整数に対して同じトークンのセットを生成することを目的としています。この機能は、デバッグおよびテストに特に役立ちます。シード・パラメータにはAPIの最大値がなく、コンソールでは最大値は9999です。コンソールでシード値を空白のままにするか、APIでnullのままにすると、この機能は無効になります。
警告
OCI生成AIサービスのモデル更新によってシードが無効になる可能性があるため、シード・パラメータで長時間実行しても同じ結果が生成されない場合があります。