Documentation sur Oracle Cloud Infrastructure

À propos de la mise hors service du modèle

OCI Generative AI retire ses grands modèles de langage (LLM) en fonction du type et du mode de service de chaque modèle. Les LLM servent les demandes des utilisateurs en mode sur demande ou en mode dédié. Consultez les sections suivantes pour en savoir plus sur chaque mode de service et sur la façon d'être avisé avant la mise hors service d'un modèle.

Mode sur demande

Vous pouvez accéder aux modèles fondamentaux préentraînés dans l'IA générative au moyen de deux modes : sur demande et dédié. Voici les principales fonctions du mode sur demande :

  • Vous payez à l'utilisation pour chaque appel d'inférence lorsque vous utilisez les modèles dans le terrain de jeu ou lorsque vous appelez les modèles au moyen de l'API.

  • Faible barrière pour commencer à utiliser l'IA générative.
  • Idéal pour l'expérimentation, la preuve de concepts et l'évaluation des modèles.
  • Disponible pour les modèles préentraînés dans les régions non listées (grappe dédiée à l'IA uniquement).
Conseil

Pour garantir un accès fiable aux modèles d'IA générative en mode sur demande, nous recommandons de mettre en oeuvre une stratégie de secours, qui implique de retarder les demandes après un rejet. Sans cela, des demandes rapides répétées peuvent entraîner d'autres rejets au fil du temps, une latence accrue et un blocage temporaire potentiel du client par le service d'IA générative. En utilisant une stratégie d'attente, telle qu'une stratégie d'attente exponentielle, vous pouvez répartir les demandes plus uniformément, réduire la charge et améliorer le succès des tentatives, en suivant les meilleures pratiques du secteur et en améliorant la stabilité et la performance globales de votre intégration au service.

Mise hors service en mode sur demande

Lorsqu'un modèle est mis hors service en mode sur demande, il n'est plus disponible pour utilisation dans le terrain de jeu du service d'IA générative ou au moyen de l'API d'inférence d'IA générative.

Obsolète pour le mode sur demande

Lorsqu'un modèle est obsolète en mode sur demande, il reste disponible dans le service d'intelligence artificielle générative, mais dispose d'une durée définie pendant laquelle il peut être utilisé avant sa mise hors service. Cette durée est plus longue pour le mode dédié.

Pour les modèles d'IA générative pour OCI, voir les dates de mise hors service du modèle (mode sur demande).

Mode dédié

  • Vous obtenez un jeu dédié de processeurs graphiques pour les grappes d'IA dédiées.
  • Vous pouvez créer des modèles personnalisés dans les grappes d'IA dédiées, en réglant avec précision un sous-ensemble des modèles fondamentaux préentraînés dans l'IA générative listés pour le réglage de précision.
  • Vous pouvez héberger des répliques des modèles fondamentaux et des modèles ajustés sur les grappes d'IA dédiées.
  • Vous vous engagez à l'avance à certaines heures d'utilisation des grappes d'IA dédiées. Pour les prix, consultez la page Tarifs.
  • Disponible pour les modèles préentraînés dans toutes les régions listées.
  • Vous obtenez des performances prévisibles et convient aux charges de travail de production.
Mise hors service en mode dédié

Lorsqu'un modèle est mis hors service en mode dédié, vous ne pouvez plus créer de grappe dédiée à l'IA pour le modèle mis hors service, mais une grappe dédiée à l'IA active qui exécute un modèle mis hors service continue de s'exécuter. Un modèle personnalisé, qui exécute un modèle mis hors service, continue également d'être disponible pour les grappes d'IA dédiées actives et vous pouvez continuer à créer de nouvelles grappes d'IA dédiées avec un modèle personnalisé créé sur un modèle mis hors service. Toutefois, Oracle offre un soutien limité pour ces scénarios, et l'ingénierie Oracle peut vous demander de passer à un modèle pris en charge pour résoudre les problèmes liés à votre modèle.

Pour demander qu'un modèle reste actif plus longtemps que la date de mise hors service dans un mode dédié, créez un ticket de soutien.

Obsolète pour le mode dédié

Lorsqu'un modèle est obsolète en mode dédié, il reste disponible dans le service d'intelligence artificielle générative, mais dispose d'une durée définie pendant laquelle il peut être utilisé avant sa mise hors service. Le temps d'abandon du mode dédié est plus long que le temps d'abandon sur demande du même modèle.

Pour les modèles d'IA générative pour OCI, voir les dates de mise hors service du modèle (mode dédié).

Obtention d'avis pour les dates de mise hors service

Vous pouvez vous abonner au service d'avis OCI pour être avisé des dates de mise hors service du modèle. Lorsque vous êtes abonné, vous obtenez des messages d'abandon et de mise hors service de modèle avec la fréquence suivante :

  • Mode sur demande : 14 et 7 jours avant la date de mise hors service du modèle.
  • Mode dédié : 90, 60, 30 et 7 jours avant la date de mise hors service du modèle.

Voyez comment vous abonner aux annonces OCI pour recevoir des avis. Lorsque vous créez l'annonce, pour le service, sélectionnez Service Oracle Cloud Infrastructure Generative AI.