検証済メタ・モデル
大規模言語モデルをHugging FaceおよびOCI Object StorageバケットからOCI生成AIにインポートし、それらのモデルのエンドポイントを作成して生成AIサービスで使用できます。
これらのモデルは、Grouped Query Attention (GQA)を使用したMeta Llamaモデルの改良版です。詳細は、Hugging FaceドキュメントのLlama 3.3およびLlama 4を参照してください。
Meta Llama
| Hugging FaceモデルID | モデル機能 | 推奨される専用AIクラスタ・ユニット・シェイプ |
|---|---|---|
| meta-llama/Llama-4-Maverick-17B-128E-Instruct-FP8 | IMAGE_TEXT_TO_TEXT | H100_X8 |
| meta-llama/Llama-4-Scout-17B-16E-Instruct | IMAGE_TEXT_TO_TEXT | H100_X4 |
| meta-llama/Llama-3.3-70B-Instruct | TEXT_TO_TEXT | A100_80G_X4 |
| meta-llama/Llama-3.2-3B-Instruct | TEXT_TO_TEXT | A100_80G_X1 |
| meta-llama/Llama-3.2-1B-Instruct | TEXT_TO_TEXT | A100_80G_X1 |
| meta-llama/Llama-3.1-8B-Instruct | TEXT_TO_TEXT | A100_80G_X1 |
| meta-llama/Meta-Llama-3-8B-Instruct | TEXT_TO_TEXT | A100_80G_X1 |
| meta-llama/Meta-Llama-3-70B-Instruct | TEXT_TO_TEXT | A100_80G_X4 |
| meta-llama/Llama-2-70b-chat-hf | TEXT_TO_TEXT | A100_80G_X4 |
| meta-llama/Llama-2-13b-chat-hf | TEXT_TO_TEXT | A100_80G_X1 |
| meta-llama/Llama-2-7b-chat-hf | TEXT_TO_TEXT | A100_80G_X1 |
重要
-
オープン・モデル・エンジン(vLLMまたはSGLangランタイムを使用)を介して検証された任意のチャット、埋込み(およびファインチューニング)モデルをインポートできますが、このページに明示的にリストされたモデルのみがこのモデル・ファミリについて検証されます。非リスト・モデルには互換性に問題がある可能性があり、本番で使用する前に、リストされていないモデルをテストすることをお薦めします。OCI Generative AI Imported Model Architectureについて学習します。
- インポートされたモデルの場合は、モデル・プロバイダによって指定されたネイティブ・コンテキスト長を使用できます。ただし、効果的な最大コンテキスト長は、OCI生成AIでホスティング専用AIクラスタに選択する基礎となるハードウェア設定によって制限されます。モデルのネイティブ・コンテキスト長を最大限に活用するには、より多くのハードウェア・リソースをプロビジョニングする必要がある場合があります。
- ファインチューニング・モデルは、検証済のベース・モデルのトランスフォーマ・バージョンと一致し、パラメータ数が元のモデルの±10%以内である場合にのみ使用します。
- インポートされたモデルのデプロイ方法に関する使用可能なハードウェアおよびステップは、インポートされたモデルの管理を参照してください。
- 検証されたユニット・シェイプがリージョンで使用できない場合は、上位層オプションを選択します。たとえば、A100を使用できない場合は、「H100」を選択します。