Oracle Cloud Infrastructureドキュメント

Meta Llama 3.2 11B Vision

meta.llama-3.2-11b-vision-instructモデルは、テキストおよびイメージの理解機能を提供し、専用ホスティングに使用できます。Llama 3.2 90B Visionと比較して、Llama 3.2 11B Visionは、よりコンパクトな形式で堅牢なマルチモーダル機能を提供します。

これらの商業地域で利用可能

  • ブラジル東部(サンパウロ)(専用AIクラスタのみ)
  • 英国南部(ロンドン)(専用AIクラスタのみ)
  • 日本中部(大阪)(専用AIクラスタのみ)
  • 米国中西部(シカゴ)(専用AIクラスタのみ)

この政府リージョンで使用可能

このモデルは、次のAPIエンドポイントを介してUK Gov South (ロンドン)で使用できます:

  • 推論API:

    https://inference.generativeai.uk-gov-london-1.oci.oraclegovcloud.uk

  • 管理API:

    https://generativeai.uk-gov-london-1.oci.oraclegovcloud.uk

APIでは、モデル名とモデルOCIDの両方にmeta.llama-3.2-11b-vision-instructを使用します。このモデルは、専用AIクラスタ・エンドポイントを介してのみこのリージョンで使用できます。

Oracle Cloud Infrastructure United Kingdom Government Cloudについて学習します。

主な機能

主な特徴
  • マルチモーダル・サポート:テキストおよびイメージを入力し、テキスト出力を取得します。
  • モデル・サイズ:モデルには110億のパラメータがあります。
  • コンテキスト長: 128,000トークン(最大プロンプト+レスポンス長: 実行ごとに128,000トークン)
  • 多言語サポート:英語、フランス語、ドイツ語、ヒンディー語、イタリア語、ポルトガル語、スペイン語、タイ語
マルチモーダルサポートによるビジョン機能について

イメージを送信し、イメージに関する質問をして、次のようなテキスト出力を取得します。

  • 高度な画像キャプション
  • イメージの詳細な説明。
  • イメージに関する質問への回答。
  • イメージ内のチャートおよびグラフに関する情報。
詳細
  • プレイグラウンドで次のイメージおよびテキストを追加するには、チャットをクリアして、前の会話のコンテキストを失う原因となるチャットをクリアする必要があります。
  • イメージとテキストのオプションでサポートされている言語は英語のみです。
  • テキストのみのオプションでサポートされる多言語オプション。
  • コンソールで、5MB以下の.pngまたは.jpgイメージを入力します。
  • APIの場合は、各実行でbase64エンコード・イメージを入力します。512 x 512イメージは約1,610トークンに変換されます。

モデルの専用AIクラスタ

リストされているリージョン内の専用AIクラスタを介してモデルに到達するには、専用AIクラスタ上でそのモデルのエンドポイントを作成する必要があります。このモデルに一致するクラスタユニットサイズについては、次の表を参照してください。

ベース・モデル クラスタのファインチューニング ホスト・クラスタ 価格設定ページ情報 クラスタ制限の引上げのリクエスト
  • モデル名: Meta Llama 3.2 11B Vision
  • OCIモデル名: meta.llama-3.2-11b-vision-instruct
 ファインチューニングに使用できません
  • 単位サイズ: Small Generic V2
  • 必須単位: 1
  • 価格設定ページ製品名: Large Meta - Dedicated
  • ホスティングの場合は、単価を乗算します: x(0.5)
  • 制限名: dedicated-unit-llama2-70-count
  • ホスティングの場合、リクエスト制限の引上げ単位:1
ヒント

専用AIクラスタでMeta Llama 3.2 11B Visionモデルをホストするための十分なクラスタ制限がテナンシにない場合は、dedicated-unit-llama2-70-count制限をリクエストして1増やします。

クラスタのエンドポイント・ルール

  • 専用AIクラスタには、最大50のエンドポイントを保持できます。
  • これらのエンドポイントを使用して、同じベース・モデルまたは同じバージョンのカスタム・モデルのいずれかを指し示すが、両方の型を指さない別名を作成します。
  • 同じモデルの複数のエンドポイントにより、それらを異なるユーザーまたは目的に簡単に割り当てることができます。
ホスト・クラスタ・ユニット・サイズ エンドポイント・ルール
Small Generic V2
  • ベース・モデル: 複数のエンドポイントで ⁇ meta.llama-3.2-11b-vision-instruct⁇modelを実行するには、必要な数のエンドポイントをSmall Generic V2クラスタ(単位サイズ)に作成します。
  • カスタム・モデル: meta.llama-3.2-11b-vision-instructを微調整できないため、そのベースから構築されたカスタム・モデルを作成およびホストできません。
ヒント

クラスタ・パフォーマンス・ベンチマーク

様々なユース・ケースのMeta Llama 3.2 11B Visionクラスタ・パフォーマンス・ベンチマークを確認します。

リリースおよび除・売却日

モデル リリース日 オンデマンド除・売却日 専用モード除・売却日
meta.llama-3.2-11b-vision-instruct 2024-11-14 このモデルではオンデマンド・モードを使用できません。 最初の交換モデルのリリースから少なくとも6か月後。
重要

すべてのモデル時間明細および除・売却詳細のリストは、モデルの除・売却を参照してください。

モデル・パラメータ

モデル・レスポンスを変更するには、プレイグラウンドまたはAPIで次のパラメータの値を変更できます。

最大出力トークン

各レスポンスに対してモデルで生成するトークンのの最大数。トークンごとに4文字を見積もります。チャット・モデルを要求するため、レスポンスはプロンプトに依存し、各レスポンスは必ずしも最大割当てトークンを使用する必要はありません。

温度

出力テキストの生成に使用されるランダム性のレベル。

ヒント

温度の設定を0で開始し、出力を改良のためにプロンプトを再生成するときに温度を上げます高温は幻覚をもたらし、事実上誤った情報をもたらす可能性があります。
上位p

次のトークンで考慮する上位トークンの累積確率を制御するサンプリング・メソッド。確率として、pに0から1までの小数を割り当てます。たとえば、上位75パーセントが考慮される場合は0.75と入力します。すべてのトークンを考慮するには、pを1に設定します。

上位k

モデルがtop kの最も可能性の高いトークンから次のトークンをランダムに選択するサンプリング・メソッド。kの値が大きいほど、よりランダムな出力が生成されるため、出力テキストのサウンドがより自然になります。kのデフォルト値は、Cohere Commandモデルの場合は0、Meta Llamaモデルの場合は-1です。これは、モデルがすべてのトークンを考慮し、このメソッドを使用しないことを意味します。

頻度ペナルティ

トークンが頻繁に表示される場合に、そのトークンに割り当てられるペナルティ。高いペナルティにより、繰り返されるトークンが少なくなり、よりランダムな出力が生成されます。

Meta Llamaファミリ・モデルでは、このペナルティはプラスまたはマイナスにできます。正の数はモデルに新しいトークンを使用することを促し、負の数はモデルがトークンを繰り返すことを促します。無効にするには、0に設定します。

プレゼンス・ペナルティ

出力に表示されている各トークンにペナルティが割り当てられ、使用されていないトークンを使用した出力の生成を促します。

シード

トークンを確定的にサンプリングするために最善を尽くすパラメータ。このパラメータに値が割り当てられている場合、大規模言語モデルでは、リクエストに同じシードおよびパラメータを割り当てるときに、繰返しリクエストに対して同じ結果を返すことを目的としています。

指定できる値は整数であり、大きいシード値または小さいシード値を割り当てても結果には影響しません。シード・パラメータに番号を割り当てることは、リクエストに番号を付けてタグ付けすることと似ています。大規模言語モデルは、連続したリクエストで同じ整数に対して同じトークンのセットを生成することを目的としています。この機能は、デバッグおよびテストに特に役立ちます。シード・パラメータにはAPIの最大値がありません。コンソールでは、最大値は9999です。コンソールでシード値を空白のままにするか、APIでnullのままにすると、この機能が無効になります。

警告

OCI生成AIサービスのモデル更新によってシードが無効になる可能性があるため、シード・パラメータによって長時間実行で同じ結果が生成されない可能性があります。