サポートされているメタ・モデル

大規模言語モデルをHugging FaceおよびOCI Object StorageバケットからOCI生成AIにインポートし、それらのモデルのエンドポイントを作成して生成AIサービスで使用できます。

これらのモデルは、Grouped Query Attention (GQA)を使用したMeta Llamaモデルの改良版です。詳細は、Hugging FaceドキュメントのLlama 2、Llama 3、Llama 3.1、Llama 3.2、Llama 3.3、Llama 4を参照してください。

Meta Llama

サポートされているMeta Llamaモデル
Hugging FaceモデルID	モデル機能	推奨される専用AIクラスタ・ユニット・シェイプ
meta-llama/Llama-2-7b-chat-hf	TEXT_TO_TEXT	A100_80G_X1
meta-llama/Llama-2-13b-chat-hf	TEXT_TO_TEXT	A100_80G_X1
meta-llama/Llama-2-70b-chat-hf	TEXT_TO_TEXT	A100_80G_X4
meta-llama/Meta-Llama-3-8B-Instruct	TEXT_TO_TEXT	A100_80G_X1
meta-llama/Meta-Llama-3-70B-Instruct	TEXT_TO_TEXT	A100_80G_X4
meta-llama/Llama-3.1-8B-Instruct	TEXT_TO_TEXT	A100_80G_X1
meta-llama/Llama-3.1-70B-Instruct	TEXT_TO_TEXT	A100_80G_X4
メタラマ/Llama-3.1-405B-Instruct-FP8	TEXT_TO_TEXT	H100_X8
meta-llama/Llama-3.2-1B-Instruct	TEXT_TO_TEXT	A100_80G_X1
meta-llama/Llama-3.2-3B-Instruct	TEXT_TO_TEXT	A100_80G_X1
meta-llama/Llama-3.2-11B-Vision-Instruct	IMAGE_TEXT_TO_TEXT	A100_80G_X1
RedHatAI/Llama-3.2-90B-Vision-Instruct-FP8-dynamic	IMAGE_TEXT_TO_TEXT	H100_X4
meta-llama/Llama-3.3-70B-Instruct	TEXT_TO_TEXT	A100_80G_X4
meta-llama/Llama-4-Maverick-17B-128E-Instruct-FP8	IMAGE_TEXT_TO_TEXT	H100_X8
meta-llama/Llama-4-Scout-17B-16E-Instruct	IMAGE_TEXT_TO_TEXT	H100_X4

重要

インポートされたモデルは、モデル・プロバイダによって指定されたネイティブ・コンテキスト長をサポートします。ただし、使用できるコンテキストの最大長は、OCI生成AIの基礎となるハードウェア構成によっても制限されます。モデルのネイティブ・コンテキスト長を最大限に活用するには、追加のハードウェア・リソースをプロビジョニングする必要がある場合があります。
モデルのファインチューニング・バージョンをインポートするには、元のモデルと同じトランスフォーマ・バージョンを使用し、元のモデルの±10%以内にパラメータ数を持つファインチューニング・モデルのみがサポートされます。
推奨ユニット・シェイプのインスタンス・タイプがリージョンで使用できない場合は、上位インスタンスを選択します(たとえば、A100-80GシェイプではなくH100シェイプを選択します)。
前提条件およびモデルのインポート方法については、インポートされたモデルの管理(新規)を参照してください。