Documentation sur Oracle Cloud Infrastructure

Changement de modèles sur des grappes d'IA dédiées

Changer un modèle préentraîné ou importé hébergé dans une grappe dédiée à l'IA du service d'intelligence artificielle générative pour OCI. Réutilisez la grappe si le nouveau modèle prend en charge sa forme d'unité complète dans la même région, ou créez une nouvelle grappe si une forme différente est requise.

Vous pouvez changer de modèle pour ajouter une prise en charge d'image, améliorer le raisonnement ou la qualité de réponse pour une application, ou remplacer un modèle qui prend sa retraite. Si vous hébergez déjà le modèle courant dans une grappe dédiée à l'IA, comparez les formes d'unité prises en charge par le nouveau modèle à la forme de la grappe existante avant de créer une autre grappe. Ce traitement s'applique également lorsque vous passez d'un modèle importé à un autre.

Décider s'il faut réutiliser une grappe dédiée à l'IA

Vous sélectionnez une forme d'unité lorsque vous créez une grappe dédiée à l'IA. Vous ne pouvez pas modifier cette forme après la création. Pour réutiliser la grappe, le nouveau modèle doit prendre en charge la même forme d'unité dans la région de la grappe.

Comparez les noms complets de forme d'unité, tels que Cohere_H100_X2 et Cohere_H100_X4, plutôt que le seul type de matériel, tel que H100. Les formes peuvent différer selon le modèle et la région.

  • Si le nouveau modèle prend en charge la forme d'unité existante, supprimez les points d'extrémité du modèle courant et créez un point d'extrémité pour le nouveau modèle sur la même grappe dédiée à l'IA. La grappe reste affectée à vous.
  • Si le nouveau modèle nécessite une forme d'unité différente, créez une nouvelle grappe dédiée à l'IA avec cette forme et un point d'extrémité pour le nouveau modèle. Vous n'avez pas besoin de supprimer la grappe initiale pour en créer une nouvelle.

Par défaut, une grappe peut avoir jusqu'à 50 points d'extrémité pour le même modèle hébergé. Ces points d'extrémité partagent les répliques de modèle de la grappe, qui servent le modèle courant. Pour basculer la grappe vers un autre modèle, supprimez chaque point d'extrémité du modèle courant avant de créer un point d'extrémité pour le modèle de remplacement. Les demandes aux points d'extrémité supprimés s'arrêtent; une fois le nouveau point d'extrémité actif, mettez à jour les applications pour l'utiliser.

Exemples : Changement de modèles préentraînés du service d'intelligence artificielle générative pour OCI dans Ashburn

Supposons que vous hébergiez la commande Cohere A sur une grappe dédiée à l'IA avec la forme Cohere_H100_X2 dans la région États-Unis - Est (Ashburn). Le tableau Formes de référence pour l'Amérique du Nord présente ces options pour changer de modèle dans la même région.

Passage de Cohere Command A à Ashburn
scénario; Modèle courant Forme de grappe courante Nouveau modèle Forme de la grappe cible Action
Scénario 1 Commandement Cohere A Cohere_H100_X2 Une vision de Cohere Command Cohere_H100_X2

Réutilisez la grappe existante. Les deux modèles prennent en charge Cohere_H100_X2. Supprimez tous les points d'extrémité de commande A de la grappe, puis créez un point d'extrémité de vue de commande A sur la même grappe.
Scénario 2 Commandement Cohere A Cohere_H100_X2 Cohere Command A Raisonnement Cohere_H100_X4

Créer une grappe. La commande A Reasoning requiert Cohere_H100_X4 et vous ne pouvez pas modifier la forme Cohere_H100_X2 de la grappe existante. Créez une grappe avec la forme requise et un point d'extrémité pour le raisonnement de la commande A.

Exemples : Changement de modèles Qwen importés

Supposons que vous hébergiez Qwen/Qwen3.6-35B-A3B sur une grappe dédiée à l'IA avec la forme H100_X2. Dans ces exemples, H100_X1, H100_X2 et H100_X4 sont disponibles pour la région cible. La page Modèles Alibaba compatibles répertorie H100_X1 comme forme d'unité H100 minimale pour Qwen/Qwen3.8-27B et H100_X4 pour Qwen/Qwen3-Next-80B-A3B-Instruct. Le modèle Qwen/Qwen3.8-27B prend également en charge H100_X2 dans ces exemples.

Passage de Qwen/Qwen3.6-35B-A3B
scénario; Modèle courant Forme de grappe courante Nouveau modèle Forme de la grappe cible Action
Scénario 1 Qwen/Qwen3.6-35B-A3B H100_X2 Qwen/Qwen3.8-27B H100_X2

Réutilisez la grappe existante. Le nouveau modèle prend en charge H100_X2, même si sa forme H100 minimale est H100_X1. Supprimez tous les points d'extrémité du modèle courant, puis créez un point d'extrémité pour le nouveau modèle dans la même grappe.
Scénario 2 Qwen/Qwen3.6-35B-A3B H100_X2 Qwen/Qwen3.8-27B H100_X1

Créez une grappe pour utiliser une forme plus petite. Le nouveau modèle peut utiliser la grappe H100_X2 existante. Pour utiliser sa forme H100_X1 minimale à la place, créez une nouvelle grappe car vous ne pouvez pas modifier la forme de la grappe existante. Créez un point d'extrémité sur la nouvelle grappe et basculez l'application vers celle-ci. Supprimez les points d'extrémité et la grappe de l'ancien modèle si vous n'en avez plus besoin.
Scénario 3 Qwen/Qwen3.6-35B-A3B H100_X2 Qwen/Qwen3-Suivant-80B-A3B-Instruction H100_X4

Créer une grappe. Le nouveau modèle requiert au moins H100_X4, de sorte que la grappe H100_X2 existante ne dispose pas de suffisamment d'unités matérielles. Créez une grappe avec H100_X4 et un point d'extrémité pour le nouveau modèle.

Avant de supprimer la grappe dédiée à l'IA initiale

La création d'une nouvelle grappe dédiée à l'IA est distincte de la décision de supprimer la grappe initiale. Les conditions de facturation dépendent du type de modèle :

  • Les grappes d'hébergement pour les modèles préentraînés et personnalisés du service d'intelligence artificielle générative pour OCI ont un engagement minimal de 744 unités par heure. La suppression d'une grappe avant que ce minimum soit atteint ne supprime pas les frais minimums.
  • Les grappes d'hébergement pour les modèles importés ne nécessitent pas l'engagement de 744 heures. Au lieu de cela, ils ont une durée minimale facturable d'une heure. Voir Formes d'unité matérielle pour les modèles importés.

Avant de décider si ou quand supprimer la grappe initiale, vérifiez son utilisation, toute facturation minimale applicable et si vous en avez encore besoin pour d'autres points d'extrémité ou un modèle compatible. La conservation d'une grappe affectée continue d'accumuler l'utilisation. Prendre également en compte les conditions de facturation de la nouvelle grappe. Voir Calcul du coût et la page Tarifs.

Changement de modèles

Vous disposez d'un point d'extrémité pour le modèle courant dans une grappe d'IA dédiée à l'hébergement et vous avez sélectionné le modèle à utiliser à la place.

  1. Consultez les détails existants de la grappe dédiée à l'IA et notez sa région et sa forme d'unité complète.
    Par exemple, une grappe de la commande Cohere A dans Ashburn utilise Cohere_H100_X2. Dans les exemples de modèle importé, une grappe hébergeant Qwen/Qwen3.6-35B-A3B utilise H100_X2.
  2. Recherchez les formes d'unité prises en charge par le nouveau modèle dans la région de la grappe et comparez leur nom complet avec la forme de la grappe existante.

    Pour les modèles préentraînés par le service d'intelligence artificielle générative pour OCI, utilisez les formes d'unité matérielle de référence pour les modèles OCI. Dans Ashburn, la commande A Vision utilise Cohere_H100_X2, qui correspond à l'exemple de grappe. La commande A Reasoning utilise Cohere_H100_X4, qui nécessite une nouvelle grappe.

    Pour les modèles importés, recherchez une forme compatible dans la page du nouveau modèle dans Modèles compatibles et vérifiez sa disponibilité régionale dans Formes d'unité matérielle pour les modèles importés. Par exemple, une grappe avec H100_X2 peut être réutilisée pour un autre modèle importé qui prend en charge H100_X2 dans la même région.

  3. Si le nouveau modèle prend en charge la forme d'unité existante, réutilisez la grappe :
    1. Supprimez tous les points d'extrémité du modèle courant de la grappe.
    2. Créez un nouveau point d'extrémité pour le nouveau modèle à l'aide de la même grappe dédiée à l'IA.
    La grappe dédiée à l'IA reste affectée à vous. Vous n'avez pas besoin de la supprimer lorsque la forme de l'unité n'est pas modifiée.
  4. Si le nouveau modèle nécessite une forme d'unité différente, créez une grappe et un point d'extrémité :
    1. Créez une nouvelle grappe dédiée à l'IA pour l'hébergement avec la forme requise par le nouveau modèle dans votre région.
    2. Une fois la nouvelle grappe active, créez un point d'extrémité pour le nouveau modèle associé.
  5. Mettez à jour votre application pour utiliser le nouveau point d'extrémité et vérifiez ses réponses.
    Le nouveau point d'extrémité a son propre OCID. Mettez à jour toute configuration d'application faisant référence à l'ancien point d'extrémité.

Si vous avez créé une nouvelle grappe, consultez Avant de supprimer la grappe dédiée à l'IA initiale avant de décider si les anciennes ressources doivent être mises hors service ou non. Si vous décidez de supprimer la grappe initiale, supprimez d'abord ses points d'extrémité, puis supprimez la grappe.