Mettre hors service les modèles
OCI Generative AI retire ses grands modèles de langage (LLM) en fonction du type et du mode de service de chaque modèle. Les LLM traitent les demandes des utilisateurs en mode de service à la demande ou en mode de service dédié. Consultez les sections suivantes pour en savoir plus sur les délais d'abandon et de retrait et pour déterminer le mode de desserte qui vous convient le mieux.
Terminologie
- Sortie
- Lorsqu'un modèle est mis hors service, il n'est plus disponible pour utilisation dans le service IA générative.
- Abandon
- Lorsqu'un modèle est en phase d'abandon, il reste disponible dans le service IA générative, mais il dispose d'une durée définie pour pouvoir être utilisé avant son retrait.
A propos des modes de service
- Mode de service à la demande
-
Le mode de service à la demande est disponible uniquement pour les modèles de base préentraînés et présente les caractéristiques suivantes :
- Lorsque OCI Generative AI publie une nouvelle version ou famille de modèles, vous pouvez obtenir une période de chevauchement au cours de laquelle les deux versions ou deux familles du même modèle sont prises en charge jusqu'à ce que l'ancienne version ou famille de modèles soit retirée.
- La famille de modèles et les versions ne sont pas toutes disponibles dans toutes les régions OCI prises en charge. Reportez-vous aux fonctionnalités clés de la rubrique Modèles de base préentraînés dans l'IA générative pour connaître les modèles disponibles dans chaque région.
- Modèles de mode de service à la demande pris en charge
-
Le tableau suivant présente les dates de retrait du modèle pour le mode de service à la demande.
Modèle Date de version Date de sortie Modèle(s) de remplacement cohere.command-r-plus v1.22024-06-18Au moins un mois après la sortie du 1er modèle de remplacement. provisoire cohere.command-r-16k v1.22024-06-04Au moins un mois après la sortie du 1er modèle de remplacement. provisoire meta.llama-3-70b-instruct v1.02024-06-04Au moins un mois après la sortie du 1er modèle de remplacement. provisoire cohere.command v15.62024-02-072024-07-18cohere.command-r-plus v1.2cohere.command-light v15.62024-02-072024-07-09cohere.command-r-16k v1.2cohere.embed-english-v3.02024-02-07Au moins 6 mois après la sortie du 1er modèle de remplacement. provisoire cohere.embed-multilingual-light-v3.02024-02-07Au moins 6 mois après la sortie du 1er modèle de remplacement. provisoire meta.llama-2-70b-chat2024-01-222024-07-09meta.llama-3-70b-instruct - Mode de service dédié
-
Le mode de desserte dédié est disponible pour les modèles de base personnalisés et préentraînés et présente les caractéristiques suivantes :
- Etant donné que chaque cluster d'IA dédié à l'hébergement ne peut héberger que la même version de chaque modèle, si vous décidez de continuer à utiliser la version de modèle que le cluster d'IA dédié héberge déjà et de ne pas migrer au cours de la période de chevauchement, vous pouvez demander une prise en charge à long terme de cette version.
- L'exécution des adresses existantes se poursuivra.
Important
Si vous avez besoin d'un modèle de mode de desserte dédié pour rester en vie plus longtemps que la date de retrait, créez un ticket d'assistance. - Modèles de mode de service dédié pris en charge
-
Modèle Date de version Date de sortie Modèle(s) de remplacement cohere.command-r-plus v1.22024-06-18Au moins 6 mois après la sortie du 1er modèle de remplacement. provisoire cohere.command-r-16k v1.22024-06-04Au moins 6 mois après la sortie du 1er modèle de remplacement. provisoire meta.llama-3-70b-instruct v1.02024-06-04Au moins 6 mois après la sortie du 1er modèle de remplacement. provisoire cohere.command v15.62024-02-072025-01-18cohere.command-r-plus v1.2cohere.command-light v15.62024-02-072025-01-04cohere.command-r-16k v1.2cohere.embed-english-v3.02024-02-07Au moins 6 mois après la sortie du 1er modèle de remplacement. provisoire cohere.embed-multilingual-light-v3.02024-02-07Au moins 6 mois après la sortie du 1er modèle de remplacement. provisoire meta.llama-2-70b-chat2024-01-222025-01-04meta.llama-3-70b-instruct
Les temps d'abandon peuvent changer à l'avenir.
- Vulnérabilités de sécurité et corrections de bug pour les modèles de base
-
Le service Generative AI s'efforce d'atténuer rapidement les problèmes de sécurité ou les correctifs de bogues présents pour les modèles de base pris en charge. Consultez les notes sur la version d'OCI pour savoir si vous devez migrer vers une autre version.