Oracle Cloud Infrastructureドキュメント

Meta Llama 3 (70B)

meta.llama-3-70b-instructモデルはリタイアされています。

重要

meta.llama-3-70b-instructモデルは廃止されました。推奨される置換モデルについては、モデルのリタイアを参照してください。

廃止モデルについて

オンデマンド・モードの除・売却

モデルがオンデマンド・モードでリタイアされると、生成AIサービス・プレイグラウンドまたは生成AI推論APIで使用できなくなります。

専用モードの除・売却

モデルが専用モードでリタイアされると、リタイアしたモデルの専用AIクラスタは作成できなくなりますが、リタイアしたモデルを実行しているアクティブな専用AIクラスタは引き続き実行されます。リタイアしたモデルから実行されているカスタム・モデルは、アクティブな専用AIクラスタでも引き続き使用可能であり、リタイアしたモデルで作成されたカスタム・モデルを使用して、新しい専用AIクラスタを引き続き作成できます。ただし、Oracleではこれらのシナリオのサポートは制限されており、Oracleエンジニアリングでは、モデルに関連する問題を解決するために、サポートされているモデルにアップグレードするよう求められる場合があります。

専用モードでモデルがリタイア日より長く存続するようにリクエストするには、サポート・チケットを作成します。

これらのリージョンで使用可能

専用AIクラスタでこのモデルを実行している場合、このモデルは次のいずれかのリージョンになります:

  • ブラジル東部(サンパウロ)
  • ドイツ中央部(フランクフルト)
  • 英国南部(ロンドン)
  • 米国中西部(シカゴ)

主な機能

  • モデル・サイズ: 700億のパラメータ
  • コンテキスト長: 8,000トークン(最大プロンプト+レスポンス長: 実行ごとに8,000トークン)。
  • ナレッジ:アイデアの生成からテキスト分析の改良、電子メール、ブログ投稿、説明などの記述されたコンテンツの製図まで、幅広い一般的な知識があります。

オンデマンドモード

cohere.embed-english-light-image-v3.0モデルはリタイアされているため、オンデマンド・モードでは使用できません。

モデルの専用AIクラスタ

リストされているリージョン内の専用AIクラスタを介してモデルに到達するには、専用AIクラスタ上でそのモデルのエンドポイントを作成する必要があります。このモデルの専用AIクラスタを作成した場合、クラスタに関する情報は次のとおりです:

ベース・モデル クラスタのファインチューニング ホスト・クラスタ 価格設定ページ情報 クラスタ制限の引上げのリクエスト
  • モデル名: Meta Llama 3
  • OCIモデル名: meta.llama-3-70b-instruct (廃止)
  • 単位サイズ: Large Generic
  • 必須単位: 2
  • 単位サイズ: Large Generic
  • 必須単位: 1
  • 価格設定ページ製品名: Large Meta - Dedicated
  • ホスティングの場合は、単価を乗算します: x2
  • ファインチューニングの場合、単価を乗算します。 x4
  • 制限名: dedicated-unit-llama2-70-count
  • ホスティングの場合、リクエスト制限の引上げ単位: 2
  • ファインチューニングの場合、リクエスト制限の引上げ単位: 4
ノート

  • 専用AIクラスタでMeta Llama 3モデルをホストし、サービス制限の2ユニット数(dedicated-unit-llama2-70-count)を使用します。
  • 専用AIクラスタ上のMeta Llama 3モデルのファインチューニングでは、サービス制限の4ユニット数(dedicated-unit-llama2-70-count)が使用されます。

クラスタのエンドポイント・ルール

  • 専用AIクラスタには、最大50のエンドポイントを保持できます。
  • これらのエンドポイントを使用して、同じベース・モデルまたは同じバージョンのカスタム・モデルのいずれかを指し示すが、両方の型を指さない別名を作成します。
  • 同じモデルの複数のエンドポイントにより、それらを異なるユーザーまたは目的に簡単に割り当てることができます。
ホスト・クラスタ・ユニット・サイズ エンドポイント・ルール
Large Generic
  • ベース・モデル: 複数のエンドポイントで ⁇ meta.llama-3-70b-instruct⁇modelを実行するには、必要な数のエンドポイントをLarge Genericクラスタ(単位サイズ)に作成します。
  • カスタム・モデル: 同じことが、meta.llama-3-70b-instructの上に構築されたカスタム・モデルに適用されます。つまり、Large Generic (単位サイズ)クラスタに必要な数のエンドポイントを作成します。
ヒント

クラスタ・パフォーマンス・ベンチマーク

様々なユース・ケースについて、Meta Llama 3 (70B)クラスタのパフォーマンス・ベンチマークを確認します。

リリースおよび除・売却日

モデル リリース日 オンデマンド除・売却日 専用モード除・売却日
meta.llama-3-70b-instruct 2024-06-04 2024-11-12 2025-08-07
重要

すべてのモデル時間明細および除・売却詳細のリストは、モデルの除・売却を参照してください。

モデル・パラメータ

モデル・レスポンスを変更するには、プレイグラウンドまたはAPIで次のパラメータの値を変更できます。

最大出力トークン

各レスポンスに対してモデルで生成するトークンのの最大数。トークンごとに4文字を見積もります。チャット・モデルを要求するため、レスポンスはプロンプトに依存し、各レスポンスは必ずしも最大割当てトークンを使用する必要はありません。

温度

出力テキストの生成に使用されるランダム性のレベル。

ヒント

温度の設定を0で開始し、出力を改良のためにプロンプトを再生成するときに温度を上げます高温は幻覚をもたらし、事実上誤った情報をもたらす可能性があります。
上位p

次のトークンで考慮する上位トークンの累積確率を制御するサンプリング・メソッド。確率として、pに0から1までの小数を割り当てます。たとえば、上位75パーセントが考慮される場合は0.75と入力します。すべてのトークンを考慮するには、pを1に設定します。

上位k

モデルがtop kの最も可能性の高いトークンから次のトークンをランダムに選択するサンプリング・メソッド。kの値が大きいほど、よりランダムな出力が生成されるため、出力テキストのサウンドがより自然になります。kのデフォルト値は、Cohere Commandモデルの場合は0、Meta Llamaモデルの場合は-1です。これは、モデルがすべてのトークンを考慮し、このメソッドを使用しないことを意味します。

頻度ペナルティ

トークンが頻繁に表示される場合に、そのトークンに割り当てられるペナルティ。高いペナルティにより、繰り返されるトークンが少なくなり、よりランダムな出力が生成されます。

Meta Llamaファミリ・モデルでは、このペナルティはプラスまたはマイナスにできます。正の数はモデルに新しいトークンを使用することを促し、負の数はモデルがトークンを繰り返すことを促します。無効にするには、0に設定します。

プレゼンス・ペナルティ

出力に表示されている各トークンにペナルティが割り当てられ、使用されていないトークンを使用した出力の生成を促します。

シード

トークンを確定的にサンプリングするために最善を尽くすパラメータ。このパラメータに値が割り当てられている場合、大規模言語モデルでは、リクエストに同じシードおよびパラメータを割り当てるときに、繰返しリクエストに対して同じ結果を返すことを目的としています。

指定できる値は整数であり、大きいシード値または小さいシード値を割り当てても結果には影響しません。シード・パラメータに番号を割り当てることは、リクエストに番号を付けてタグ付けすることと似ています。大規模言語モデルは、連続したリクエストで同じ整数に対して同じトークンのセットを生成することを目的としています。この機能は、デバッグおよびテストに特に役立ちます。シード・パラメータにはAPIの最大値がありません。コンソールでは、最大値は9999です。コンソールでシード値を空白のままにするか、APIでnullのままにすると、この機能が無効になります。

警告

OCI生成AIサービスのモデル更新によってシードが無効になる可能性があるため、シード・パラメータによって長時間実行で同じ結果が生成されない可能性があります。