Documentation Oracle Cloud Infrastructure

A propos de la mise hors service des modèles

OCI Generative AI retire ses grands modèles de langage (LLM) en fonction du type et du mode de service de chaque modèle. Les LLM servent les demandes utilisateur en mode à la demande ou en mode dédié. Consultez les sections suivantes pour en savoir plus sur chaque mode de service et sur la façon dont vous pouvez être averti avant le retrait d'un modèle.

Mode à la demande

Vous pouvez atteindre les modèles de base préentraînés dans l'IA générative via deux modes : à la demande et dédié. Voici les principales fonctionnalités du mode à la demande :

  • Vous payez au fur et à mesure pour chaque appel d'inférence lorsque vous utilisez les modèles dans le playground de test ou lorsque vous appelez les modèles via l'API.

  • Faible barrière pour commencer à utiliser l'IA générative.
  • Idéal pour l'expérimentation, la preuve de concepts et l'évaluation des modèles.
  • Disponible pour les modèles préentraînés dans les régions non répertoriées en tant que (cluster d'IA dédié uniquement).
Conseil

Pour garantir un accès fiable aux modèles d'IA générative en mode à la demande, nous vous recommandons d'implémenter une stratégie de back-off, qui implique de retarder les demandes après un rejet. Sans cela, des demandes rapides répétées peuvent entraîner d'autres rejets au fil du temps, une latence accrue et un blocage temporaire potentiel du client par le service d'IA générative. En utilisant une stratégie de back-off, telle qu'une stratégie de back-off exponentielle, vous pouvez répartir les demandes plus uniformément, réduire la charge et améliorer le succès des nouvelles tentatives, en respectant les meilleures pratiques du secteur et en améliorant la stabilité et les performances globales de votre intégration au service.

Sortie pour le mode à la demande

Lorsqu'un modèle est retiré en mode à la demande, il n'est plus disponible pour utilisation dans le terrain de jeu du service d'IA générative ou via l'API d'inférence d'IA générative.

Abandon pour le mode à la demande

Lorsqu'un modèle est en phase d'abandon en mode à la demande, il reste disponible dans le service d'IA générative, mais sa durée d'utilisation est définie avant son retrait. Cette durée est plus longue pour le mode dédié.

Pour les modèles OCI Generative AI, reportez-vous aux dates de sortie du modèle (mode à la demande).

Mode dédié

  • Vous obtenez un ensemble dédié de GPU pour les clusters d'IA dédiés.
  • Vous pouvez créer des modèles personnalisés sur les clusters d'IA dédiés, en affinant un sous-ensemble des modèles de base préentraînés dans l'IA générative répertoriés pour le réglage fin.
  • Vous pouvez héberger des répliques des modèles fondamentaux et affinés sur les clusters d'IA dédiés.
  • Vous validez à l'avance certaines heures d'utilisation des clusters d'IA dédiés. Pour connaître les prix, reportez-vous à la page des tarifs.
  • Disponible pour les modèles préentraînés dans toutes les régions répertoriées.
  • Les performances sont prévisibles et adaptées aux charges de travail de production.
Retraite pour le mode dédié

Lorsqu'un modèle est retiré en mode dédié, vous ne pouvez plus créer de cluster d'IA dédié pour le modèle retiré, mais un cluster d'IA dédié actif exécutant un modèle retiré continue de s'exécuter. Un modèle personnalisé, qui s'exécute à partir d'un modèle retiré, continue également d'être disponible pour les clusters d'IA dédiés actifs et vous pouvez continuer à créer des clusters d'IA dédiés avec un modèle personnalisé créé sur un modèle retiré. Cependant, Oracle offre un support limité pour ces scénarios, et l'ingénierie Oracle peut vous demander de mettre à niveau vers un modèle pris en charge pour résoudre les problèmes liés à votre modèle.

Pour demander qu'un modèle reste actif plus longtemps que la date de sortie en mode dédié, créez un ticket d'assistance.

Abandon pour le mode dédié

Lorsqu'un modèle est en phase d'abandon en mode dédié, il reste disponible dans le service d'IA générative, mais sa durée d'utilisation est définie avant son retrait. Le temps d'abandon du mode dédié est plus long que le temps d'abandon à la demande du même modèle.

Pour les modèles OCI Generative AI, reportez-vous aux dates de sortie du modèle (mode dédié).

Obtention de notifications pour les dates de sortie

Vous pouvez vous abonner au service OCI Notifications pour être informé des dates de retrait du modèle. Lorsque vous souscrivez, vous obtenez des messages d'abandon et de retrait de modèle avec la cadence suivante :

  • Mode à la demande : 14 et 7 jours avant la date de sortie du modèle.
  • Mode dédié : 90, 60, 30 et 7 jours avant la date de retrait du modèle.

Découvrez comment vous abonner aux annonces OCI pour recevoir des notifications. Lorsque vous créez l'annonce, sélectionnez Service Oracle Cloud Infrastructure Generative AI pour le service.