Modèles compatibles Moonshot AI Kimi
Vous pouvez importer de grands modèles de langage à partir de seaux de stockage d'objets Hugging Face et OCI dans le service d'intelligence artificielle générative pour OCI, créer des points d'extrémité pour ces modèles et les utiliser dans le service d'intelligence artificielle générative.
Kimi 2
Les modèles Kimi K2.6 et Kimi K2.7 Code sont optimisés pour le codage à long terme, les flux de travail agéntiques et les tâches complexes d'ingénierie logicielle. Kimi K2.6 est conçu pour le codage, la conception axée sur le codage, l'exécution autonome et l'orchestration des tâches, tandis que Kimi K2.7 Code est un modèle axé sur le codage basé sur Kimi K2.6 pour les flux de travail d'ingénierie logicielle à long terme.
| ID modèle de visage Hugging | Capacité du modèle | Formes recommandées d'unité de grappe dédiée à l'IA |
|---|---|---|
| moonshotai/Kimi-K2.6 | TEXTE_TO_TEXT |
|
| moonshotai/Kimi-K2.7-Code | TEXTE_TO_TEXT |
|
-
Bien que vous puissiez importer tout modèle de clavardage, d'intégration (et de réglage fin) validé au moyen du moteur de modèle ouvert (avec l'exécution vLLM ou SGLang), seuls les modèles explicitement répertoriés sur cette page ont été évalués pour cette famille de modèles par Oracle par rapport aux environnements d'exécution de modèle à code source libre et testés sur les configurations GPU prises en charge par Oracle. Nonobstant ce qui précède, Oracle n'est pas responsable des problèmes liés à la performance, la disponibilité, l'exploitation ou la sécurité des modèles compatibles. Les modèles non listés peuvent présenter des problèmes de compatibilité et nous vous recommandons de tester tout modèle non listé avant l'utilisation en production. En savoir plus sur l'architecture de modèle importée par l'intelligence artificielle générative pour OCI.
- Pour les modèles importés, vous pouvez utiliser la longueur de contexte natif spécifiée par le fournisseur de modèle. Toutefois, la longueur de contexte maximale en vigueur est limitée par la configuration matérielle sous-jacente que vous sélectionnez pour les grappes d'IA dédiées à l'hébergement dans l'IA générative OCI. Pour tirer pleinement parti de la longueur du contexte natif d'un modèle, vous devrez peut-être provisionner plus de ressources matérielles.
- Utilisez les modèles affinés uniquement s'ils correspondent à la version du transformateur du modèle de base compatible et ont un nombre de paramètres inférieur à ± 10 % de l'original.
- Pour le matériel disponible et les étapes de déploiement des modèles importés, voir Gestion des modèles importés.
- Si aucune forme recommandée n'est disponible dans une région, sélectionnez l'alternative disponible la plus proche. Par exemple, si
H100_X2n'est pas disponible mais queA100_80G_X2l'est, sélectionnezA100_80G_X2. Si des formes H100 et A100 sont disponibles, sélectionnez H100 pour une meilleure performance.