Documentation sur Oracle Cloud Infrastructure

Modèles Z.ai compatibles

Vous pouvez importer de grands modèles de langage à partir de seaux de stockage d'objets Hugging Face et OCI dans le service d'intelligence artificielle générative pour OCI, créer des points d'extrémité pour ces modèles et les utiliser dans le service d'intelligence artificielle générative.

Note

Avant de sélectionner un modèle, consultez les conseils qui suivent les tableaux de modèle de cette page pour sélectionner une forme d'unité matérielle compatible et comprendre la facturation pour les grappes d'intelligence artificielle dédiées qui hébergent les modèles importés.

Z.ai GLM

Les modèles texte et multimodaux Z.ai GLM suivants sont compatibles avec l'importation de modèle.

Modèles GLM compatibles
ID modèle de visage Hugging Capacité du modèle Forme minimale d'unité de grappe dédiée à l'IA
zai-org/GLM-5.3-Flash IMAGE_TEXT_TO_TEXT
  • H100_X8 —
  • H200_X4 —
zai-org/GLM-5.3 TEXTE_TO_TEXT
  • B200_X8;
zai-org/GLM-5.2-FP8 TEXTE_TO_TEXT
  • H100_X16 —
  • H200_X8 —
  • B200_X8;
Important

  • Pour les modèles importés, vous pouvez utiliser la longueur de contexte natif spécifiée par le fournisseur de modèle. Toutefois, la longueur de contexte maximale en vigueur est limitée par la configuration matérielle sous-jacente que vous sélectionnez pour les grappes d'IA dédiées à l'hébergement dans l'IA générative OCI. Pour tirer pleinement parti de la longueur du contexte natif d'un modèle, vous devrez peut-être provisionner plus de ressources matérielles.
  • Exigences du modèle ajusté

    Vous pouvez affiner les modèles de base pris en charge répertoriés dans cette page en dehors du service d'intelligence artificielle générative pour OCI et importer les modèles résultants s'ils répondent aux exigences suivantes :

    • Le modèle affiné doit utiliser la même version Hugging Face Transformers que le modèle de base pris en charge. Pour une explication du champ de métadonnées transformers_version dans config.json, voir Présentation des métadonnées de configuration.
    • Son nombre total de paramètres doit se situer à ±10 % du modèle de base d'origine.

    Pour les modèles réglés avec LoRA :

    • Avant le déploiement, fusionnez les pondérations de l'adaptateur LoRA dans le modèle de base.
    • Vous pouvez fusionner les pondérations automatiquement à l'aide de PEFT ou d'un référentiel ou outil similaire.
    • La fusion rend le modèle transparent au moteur de service et offre les meilleures performances.
    • Chaque modèle affiné peut contenir les poids fusionnés d'un seul adaptateur LoRA.

    Pour la préparation de l'exportation, les vérifications de type de données et l'aide pour les erreurs de validation, voir Importation de modèles affinés.

  • Pour déterminer où vous pouvez héberger un modèle importé, recherchez une forme d'unité compatible pour le modèle dans le tableau de cette page, puis vérifiez que la forme matérielle est disponible dans la région cible sous Formes d'unité matérielle par région. Un modèle ne peut être hébergé dans une région que si la région fournit une forme matérielle répertoriée pour ce modèle.
  • Pour savoir comment déployer les modèles importés, voir Gestion des modèles importés.
  • Pour remplacer un modèle sur une grappe d'IA dédiée à l'hébergement existante, voir Changement de modèles sur des grappes d'IA dédiées.
Note

Facturation pour les grappes d'IA dédiées hébergeant des modèles importés

Les grappes dédiées à l'IA qui hébergent des modèles importés ne nécessitent pas l'engagement minimum de 744 heures qui s'applique aux grappes dédiées à l'IA hébergeant des modèles préentraînés disponibles dans OCI Generative AI. À la place, une grappe dédiée à l'IA de modèle importé a une durée minimale facturable d'une heure. Par exemple, une grappe qui utilise une unité d'IA et qui s'exécute pendant 30 minutes est facturée pour une unité d'IA par heure.

Après la première heure, les frais sont basés sur le temps d'exécution réel de la grappe et sont calculés au prorata de la milliseconde. Par exemple, une grappe qui s'exécute pendant une heure et une minute est facturée pour cette durée, plutôt que pour deux heures complètes.

OCI envoie les enregistrements d'utilisation aux services de mesure et de facturation toutes les cinq minutes pendant l'exécution de la grappe. Si la grappe est supprimée avant que le minimum d'une heure soit atteint, OCI continue à déclarer l'utilisation facturable jusqu'à ce que le minimum soit atteint. Si la grappe s'exécute pendant plus d'une heure, OCI continue d'envoyer des enregistrements d'utilisation toutes les cinq minutes jusqu'à ce que la grappe soit supprimée.