Modèles Microsoft validés
Vous pouvez importer des modèles de langage volumineux à partir de buckets Hugging Face et OCI Object Storage dans OCI Generative AI, créer des adresses pour ces modèles et les utiliser dans le service d'IA générative.
Les modèles Microsoft Phi-3, connus pour leur efficacité et leur compacité, sont conçus pour des performances évolutives et flexibles. Reportez-vous à la documentation Phi-3 sur Hugging Face.
Phi 3
| ID modèle Hugging Face | Capacité du modèle | Taille d'unité de cluster d'IA dédié recommandée |
|---|---|---|
| microsoft/phi-4 | TEXT_TO_TEXT | A100_80G_X1 |
| microsoft/Phi-3-mini-4k-instruct | TEXT_TO_TEXT | A100_80G_X1 |
| microsoft/Phi-3-mini-128k-instruct | TEXT_TO_TEXT | A100_80G_X1 |
| microsoft/Phi-3-petit-8k-instruct | TEXT_TO_TEXT | A100_80G_X1 |
| microsoft/Phi-3-small-128k-instruct | TEXT_TO_TEXT | A100_80G_X1 |
| microsoft/Phi-3-moyen-4k-instruct | TEXT_TO_TEXT | A100_80G_X1 |
| microsoft/Phi-3-medium-128k-instruct | TEXT_TO_TEXT | A100_80G_X1 |
| microsoft/Phi-3-vision-128k-instruct | IMAGE_TEXT_TO_TEXT | H100_X1 |
-
Bien que vous puissiez importer n'importe quel modèle de discussion, d'intégration (et de réglage fin) validé via Open Model Engine (avec exécution vLLM ou SGLang), seuls les modèles explicitement répertoriés sur cette page sont validés pour cette famille de modèles. Les modèles non répertoriés peuvent présenter des problèmes de compatibilité et nous vous recommandons de tester tous les modèles non répertoriés avant leur utilisation en production. Découvrez l'architecture de modèle importée d'OCI Generative AI.
- Pour les modèles importés, vous pouvez utiliser la longueur de contexte native indiquée par le fournisseur de modèle. Cependant, la longueur de contexte maximale effective est limitée par la configuration matérielle sous-jacente que vous sélectionnez pour l'hébergement de clusters d'IA dédiés dans OCI Generative AI. Pour tirer pleinement parti de la longueur du contexte natif d'un modèle, vous devrez peut-être provisionner davantage de ressources matérielles.
- Utilisez les modèles affinés uniquement s'ils correspondent à la version du transformateur du modèle de base validé et ont un nombre de paramètres inférieur à ±10 % de l'original.
- Pour connaître le matériel disponible et connaître les étapes de déploiement des modèles importés, reportez-vous à Gestion des modèles importés.
- Si la forme d'unité validée n'est pas disponible dans la région, sélectionnez une option de niveau supérieur. Par exemple, si A100 n'est pas disponible, sélectionnez H100.