サポートされているMicrosoftモデル
大規模言語モデルをHugging FaceおよびOCI Object StorageバケットからOCI生成AIにインポートし、それらのモデルのエンドポイントを作成して生成AIサービスで使用できます。
Microsoft Phi-3モデルは、その効率性とコンパクトさで知られており、スケーラブルで柔軟なパフォーマンスのために設計されています。Hugging Faceの Phi-3ドキュメントを参照してください。
Phi 3
| Hugging FaceモデルID | モデル機能 | 推奨専用AIクラスタ・ユニット・サイズ |
|---|---|---|
| マイクロソフト/phi-4 | TEXT_TO_TEXT | A100_80G_X1 |
| microsoft/Phi-3-mini-4k-instruct | TEXT_TO_TEXT | A100_80G_X1 |
| microsoft/Phi-3-mini-128k-instruct | TEXT_TO_TEXT | A100_80G_X1 |
| microsoft/Phi-3-small-8k-instruct | TEXT_TO_TEXT | A100_80G_X1 |
| microsoft/Phi-3-medium-4k-instruct | TEXT_TO_TEXT | A100_80G_X1 |
| microsoft/Phi-3-vision-128k-instruct | IMAGE_TEXT_TO_TEXT | H100_X1 |
重要
-
オープン・モデル・エンジン(vLLMまたはSGLangランタイムを使用)でサポートされている任意のチャット、埋込み(およびファインチューニング)モデルをインポートできますが、このモデル・ファミリでは、このページに明示的にリストされたモデルのみがサポートされます。非リスト・モデルには互換性に問題がある可能性があり、本番で使用する前にリストされていないモデルをテストすることをお薦めします。OCI Generative AI Imported Model Architectureについて学習します。
- インポートされたモデルは、モデル・プロバイダによって指定されたネイティブ・コンテキスト長をサポートします。ただし、効果的な最大コンテキスト長は、OCI生成AIの基礎となるハードウェア設定によっても制限されます。モデルのネイティブ・コンテキスト長を最大限に活用するには、より多くのハードウェア・リソースをプロビジョニングする必要がある場合があります。
- ファインチューニング・モデルは、サポートされているベース・モデルのトランスフォーマ・バージョンと一致し、パラメータ数が元のモデルの±10%以内である場合にのみサポートされます。
- インポートされたモデルのデプロイ方法に関する使用可能なハードウェアおよびステップは、インポートされたモデルの管理を参照してください。
- 推奨単位形状がリージョンで使用できない場合は、上位層オプションを選択します。たとえば、A100を使用できない場合は、H100を選択します。