Limites relatives aux modèles dans Generative AI

Passez en revue les exigences de modèle suivantes pour les modèles personnalisés et de base OCI Generative AI afin de tirer le meilleur parti de vos modèles.

Remarque

Pour connaître les fonctionnalités clés des modèles de base préentraînés, reportez-vous à Modèles de base préentraînés dans l'IA générative.

Mise en correspondance des modèles de base avec les clusters

Pour héberger un modèle préentraîné ou personnalisé OCI Generative AI sur un cluster d'IA dédié d'hébergement, accédez à Modèles fondamentaux préentraînés dans l'IA générative. Sélectionnez ensuite le modèle préentraîné ou le modèle de base du modèle personnalisé. Dans la section Cluster d'IA dédié pour le modèle de la page, reportez-vous à la taille d'unité et aux unités requises pour héberger ce modèle fondamental.

Ajout d'adresses à des clusters d'hébergement

Pour héberger un modèle pour l'inférence sur un cluster d'IA dédié d'hébergement, vous devez créer une adresse pour ce modèle. Vous pouvez ensuite ajouter un modèle personnalisé ou un modèle de base préentraîné à cette adresse.

A propos des alias d'adresse et du service de pile

Un cluster d'IA dédié d'hébergement peut comporter jusqu'à 50 adresses. Utilisez ces adresses pour les cas d'emploi suivants :

Création d'alias d'adresse: Créez des alias avec de nombreuses adresses. Ces 50 adresses doivent pointer vers le même modèle de base ou vers la même version d'un modèle personnalisé. La création de nombreuses adresses pointant vers le même modèle facilite la gestion des adresses, car vous pouvez les utiliser pour différents utilisateurs ou à des fins différentes.
Pile à servir: Héberger plusieurs versions d'un modèle personnalisé sur un cluster. Cela s'applique aux modèles cohere.command et cohere.command-light affinés avec la méthode d'entraînement T-Few. L'hébergement de différentes versions d'un modèle affiné peut vous aider à évaluer les modèles personnalisés pour différents cas d'utilisation.

Conseil

Pour augmenter le volume d'appels pris en charge par un cluster d'hébergement, vous pouvez augmenter le nombre d'instances.

Développez les sections suivantes pour passer en revue les exigences relatives à l'hébergement de modèles sur le même cluster.

Discussion

Important

Certains modèles de base préentraînés fondamentaux d'OCI Generative AI pris en charge pour le mode de service dédié sont désormais en phase d'abandon et seront mis hors service au plus tôt 6 mois après la publication du 1^er modèle de remplacement. Vous pouvez héberger un modèle de base ou affiner un modèle de base et héberger le modèle affiné sur un cluster d'IA dédié (mode de service dédié) jusqu'à ce que le modèle de base soit retraité. Pour connaître les dates de retrait du mode de service dédié, voir Mise hors service des modèles.

Pour héberger les modèles de discussion de base préentraînés ou les modèles de discussion affinés sur un cluster d'IA dédié d'hébergement, utilisez la taille d'unité de cluster et les règles d'adresse suivantes qui correspondent à chaque modèle de base.


Taille de l'unité de cluster d'hébergement	Règles de correspondance
Large Generic 2 pour le modèle de base, `meta.llama-4-maverick-17b-128e-instruct-fp8`	Modèles de base d'hébergement Pour héberger le même modèle de base préentraîné via plusieurs adresses sur le même cluster : Créez autant d'adresses que nécessaire pour le modèle `meta.llama-4-maverick-17b-128e-instruct-fp8` sur le même cluster d'hébergement. Hébergement de modèles personnalisés Affinage non disponible pour le modèle `meta.llama-4-maverick-17b-128e-instruct-fp8`.
Large Generic V2 pour le modèle de base, `meta.llama-4-scout-17b-16e-instruct`	Modèles de base d'hébergement Pour héberger le même modèle de base préentraîné via plusieurs adresses sur le même cluster : Créez autant d'adresses que nécessaire pour le modèle `meta.llama-4-scout-17b-16e-instruct` sur le même cluster d'hébergement. Hébergement de modèles personnalisés Affinage non disponible pour le modèle `meta.llama-4-scout-17b-16e-instruct`.
LARGE_COHERE_V3 pour le modèle de base, `cohere.command-a-03-2025`	Modèles de base d'hébergement Pour héberger le même modèle de base préentraîné via plusieurs adresses sur le même cluster : Créez autant d'adresses que nécessaire pour le modèle `cohere.command-a-03-2025` sur le même cluster d'hébergement. Hébergement de modèles personnalisés Affinage non disponible pour le modèle `cohere.command-a-03-2025`.
Small Generic V2 pour le modèle de base, `meta.llama-3.2-11b-vision-instruct`	Modèles de base d'hébergement Pour héberger le même modèle de base préentraîné via plusieurs adresses sur le même cluster : Créez autant d'adresses que nécessaire pour le modèle `meta.llama-3.2-11b-vision-instruct` sur le même cluster d'hébergement. Hébergement de modèles personnalisés Affinage non disponible pour le modèle `meta.llama-3.2-11b-vision-instruct`.
Large Generic pour le modèle de base, `meta.llama-3.3-70b-instruct`	Modèles de base d'hébergement Pour héberger le même modèle de base préentraîné via plusieurs adresses sur le même cluster : Créez autant d'adresses que nécessaire pour le modèle `meta.llama-3.3-70b-instruct` sur le même cluster d'hébergement. Hébergement de modèles personnalisés Pour héberger plusieurs modèles personnalisés sur le même cluster : Affinez un modèle avec la méthode d'entraînement `LoRA`. Utilisez le modèle `meta.llama-3.3-70b-instruct` comme base. Créez autant d'adresses que nécessaire pour le modèle personnalisé (même version).
Large Generic pour le modèle de base, `meta.llama-3.1-70b-instruct`	Modèles de base d'hébergement Pour héberger le même modèle de base préentraîné via plusieurs adresses sur le même cluster : Créez autant d'adresses que nécessaire pour le modèle `meta.llama-3.1-70b-instruct` sur le même cluster d'hébergement. Hébergement de modèles personnalisés Pour héberger plusieurs modèles personnalisés sur le même cluster : Affinez le réglage d'un modèle avec la méthode d'entraînement `LoRA`. Utilisez le modèle `meta.llama-3.1-70b-instruct` comme base. Créez autant d'adresses que nécessaire pour le modèle personnalisé (même version).
Large Generic pour le modèle de base, `meta.llama-3-70b-instruct`	Modèles de base d'hébergement Pour héberger le même modèle de base préentraîné via plusieurs adresses sur le même cluster : Créez autant d'adresses que nécessaire pour le modèle `meta.llama-3-70b-instruct` sur le même cluster d'hébergement. Hébergement de modèles personnalisés Pour héberger plusieurs modèles personnalisés sur le même cluster : Affinez le réglage d'un modèle avec la méthode d'entraînement `LoRA`. Utilisez le modèle `meta.llama-3-70b-instruct` comme base. Créez autant d'adresses que nécessaire pour le modèle personnalisé (même version).
Large Generic V2 pour le modèle de base, `meta.llama-3.2-90b-vision-instruct`	Modèles de base d'hébergement Pour héberger le même modèle de base préentraîné via plusieurs adresses sur le même cluster : Créez autant d'adresses que nécessaire pour le modèle `meta.llama-3.2-90b-vision-instruct` sur le même cluster d'hébergement. Hébergement de modèles personnalisés Réglage fin non disponible pour le modèle `meta.llama-3.2-90b-vision-instruct`.
Large Generic 2 pour le modèle de base, `meta.llama-3.1-405b-instruct`	Modèles de base d'hébergement Pour héberger le même modèle de base préentraîné via plusieurs adresses sur le même cluster : Créez autant d'adresses que nécessaire pour le modèle `meta.llama-3.1-405b-instruct` sur le même cluster d'hébergement. Hébergement de modèles personnalisés Réglage fin non disponible pour le modèle `meta.llama-3.1-405b-instruct`.
Small Cohere V2 pour le modèle de base, `cohere.command-r-16k` (obsolète)	Modèles de base d'hébergement Pour héberger le même modèle de base préentraîné via plusieurs adresses sur le même cluster : Créez autant d'adresses que nécessaire pour le modèle `cohere.command-r-16k` sur le même cluster d'hébergement. Hébergement de modèles personnalisés Pour héberger plusieurs modèles personnalisés sur le même cluster : Affinez le réglage d'un modèle avec la méthode d'entraînement `T-Few` ou `Vanilla`. Utilisez le modèle `cohere.command-r-16k` comme base. Créez autant d'adresses que nécessaire pour le modèle personnalisé (même version). Vous ne pouvez pas héberger d'autres versions d'un modèle personnalisé entraîné sur le modèle de base `cohere.command-r-16k` sur le même cluster, car le service de pile n'est pas pris en charge.
Small Cohere V2 pour le modèle de base, `cohere.command-r-08-2024`	Modèles de base d'hébergement Pour héberger le même modèle de base préentraîné via plusieurs adresses sur le même cluster : Créez autant d'adresses que nécessaire pour le modèle `cohere.command-r-08-2024` sur le même cluster d'hébergement. Hébergement de modèles personnalisés Pour héberger plusieurs modèles personnalisés sur le même cluster : Affinez le réglage d'un modèle avec la méthode d'entraînement `T-Few` ou `Vanilla`. Utilisez le modèle `cohere.command-r-08-2024` comme base. Créez autant d'adresses que nécessaire pour le modèle personnalisé (même version). Vous ne pouvez pas héberger d'autres versions d'un modèle personnalisé entraîné sur le modèle de base `cohere.command-r-16k` sur le même cluster, car le service de pile n'est pas pris en charge.
Large Cohere V2_2 pour le modèle de base, `cohere.command-r-plus` (obsolète)	Modèles de base d'hébergement Pour héberger le même modèle de base préentraîné via plusieurs adresses sur le même cluster : Créez autant d'adresses que nécessaire pour le modèle `cohere.command-r-plus` sur le même cluster d'hébergement. Hébergement de modèles personnalisés Réglage fin non disponible pour le modèle `cohere.command-r-plus`.
Large Cohere V2_2 pour le modèle de base, `cohere.command-r-plus-08-2024`	Modèles de base d'hébergement Pour héberger le même modèle de base préentraîné via plusieurs adresses sur le même cluster : Créez autant d'adresses que nécessaire pour le modèle `cohere.command-r-plus-08-2024` sur le même cluster d'hébergement. Hébergement de modèles personnalisés Réglage fin non disponible pour le modèle `cohere.command-r-plus-08-2024`.

Rerank

Pour héberger le modèle de rangée sur un cluster d'IA dédié d'hébergement, utilisez les règles de taille d'unité de cluster et d'adresse suivantes.


Taille de l'unité de cluster d'hébergement	Règles de correspondance
RERANK_COHERE	Modèles de base d'hébergement Pour héberger le même modèle de base préentraîné via plusieurs adresses sur le même cluster : Créez autant d'adresses que nécessaire pour le modèle `cohere.rerank.3-5` sur le même cluster d'hébergement. Hébergement de modèles personnalisés Affinage non disponible pour le modèle Cohere Rerank.

Plongement

Pour héberger les modèles d'intégration sur un cluster AI dédié hébergeant, utilisez les règles d'adresse et de taille d'unité de cluster suivantes.


Taille de l'unité de cluster d'hébergement	Règles de correspondance
Embed Cohere	Modèles de base d'hébergement Pour héberger le même modèle de base préentraîné via plusieurs adresses sur le même cluster : Créez autant d'adresses que nécessaire pour l'un des modèles Cohere Embed préentraînés sur le même cluster d'hébergement. Hébergement de modèles personnalisés Réglage fin non disponible pour les modèles Cohere Embed.

Génération de texte (en phase d'abandon)

Important

Non disponible à la demande : tous les modèles préentraînés de base d'OCI Generative AI pris en charge pour le mode de service à la demande qui utilisent les API de génération de texte et de synthèse (y compris le playground de test) sont désormais retirés. Nous vous recommandons plutôt d'utiliser les modèles de chat.
Peut être hébergé sur des clusters : si vous hébergez un récapitulatif ou un modèle de génération tel que cohere.command sur un cluster d'IA dédié (mode de service dédié), vous pouvez continuer à utiliser ce modèle jusqu'à son abandon. Ces modèles, lorsqu'ils sont hébergés sur un cluster d'IA dédié, sont uniquement disponibles dans le Midwest des Etats-Unis (Chicago). Reportez-vous à la section Mise hors service des modèles pour connaître les dates et définitions de sortie.

Pour héberger les modèles de génération de texte sur un cluster d'IA dédié d'hébergement, utilisez la taille d'unité de cluster et les règles d'adresse suivantes qui correspondent à votre modèle de base.


Taille de l'unité de cluster d'hébergement	Règles de correspondance
Small Cohere pour le modèle de base, `cohere.command-light`	Modèles de base d'hébergement Pour héberger le même modèle de base préentraîné via plusieurs adresses sur le même cluster : Créez autant d'adresses que nécessaire pour le modèle `cohere.command-light` sur le même cluster d'hébergement. Hébergement de modèles personnalisés Pour héberger différents modèles personnalisés sur le même cluster : Affinez tous les modèles avec la méthode d'entraînement `T-Few`. Utilisez le modèle `cohere.command-light` comme base. Assurez-vous que tous les modèles de base ont la même version. Créez une adresse pour chaque modèle sur le même cluster d'hébergement.
Large Cohere pour le modèle de base, `cohere.command`	Modèles de base d'hébergement Pour héberger le même modèle de base préentraîné via plusieurs adresses sur le même cluster : Créez autant d'adresses que nécessaire pour le modèle `cohere.command` avec la même version sur le même cluster d'hébergement. Hébergement de modèles personnalisés Pour héberger différents modèles personnalisés sur le même cluster : Affinez tous les modèles avec la méthode d'entraînement `T-Few`. Utilisez le modèle `cohere.command` comme base. Assurez-vous que tous les modèles de base ont la même version. Ajoutez une adresse au cluster d'hébergement pour chaque modèle.
Llama2 70 pour le modèle de base, `meta.llama-2-70b-chat`	Modèles de base d'hébergement Pour héberger le même modèle de base préentraîné via plusieurs adresses sur le même cluster : Créez autant d'adresses que nécessaire pour le modèle `meta.llama-2-70b-chat` sur le même cluster d'hébergement.

Synthèse (en phase d'abandon)

Important

Le modèle cohere.command pris en charge pour le mode de service à la demande est désormais retiré et ce modèle est en phase d'abandon pour le mode de service dédié. Si vous hébergez cohere.command sur un cluster d'IA dédié (mode de service dédié) pour la synthèse, vous pouvez continuer à utiliser cette réplique de modèle hébergée avec l'API de synthèse et dans le playground de test jusqu'à ce que le modèle cohere.command retires pour le mode de service dédié. Ces modèles, lorsqu'ils sont hébergés sur un cluster d'IA dédié, sont uniquement disponibles dans le Midwest des Etats-Unis (Chicago). Reportez-vous à la section Mise hors service des modèles pour connaître les dates et définitions de sortie. Nous vous recommandons plutôt d'utiliser les modèles de discussion qui offrent les mêmes fonctionnalités de résumé, y compris le contrôle de la longueur et du style du résumé.

Pour héberger le modèle de synthèse cohere.command préentraîné sur un cluster d'IA dédié d'hébergement, utilisez les règles d'adresse et la taille d'unité de cluster suivantes.


Taille de l'unité de cluster d'hébergement	Règles de rapprochement
Large Cohere pour le modèle de base, `cohere.command`	Modèles de base d'hébergement Pour héberger le même modèle de base préentraîné via plusieurs adresses sur le même cluster : Créez autant d'adresses que nécessaire pour le modèle `cohere.command` avec la même version sur le même cluster d'hébergement. Hébergement de modèles personnalisés Pour héberger différents modèles personnalisés sur le même cluster : Affinez tous les modèles avec la méthode d'entraînement `T-Few`. Utilisez le modèle `cohere.command` comme base. Assurez-vous que tous les modèles de base ont la même version. Ajoutez une adresse au cluster d'hébergement pour chaque modèle.

Données d'entraînement

Les ensembles de données pour l'entraînement des modèles personnalisés doivent répondre aux exigences suivantes :

Un jeu de données de réglage fin au maximum est autorisé par modèle personnalisé. Cet ensemble de données est divisé aléatoirement en un rapport de 80:20 pour la formation et la validation.
Chaque fichier doit comporter au moins 32 exemples de paire invite/achèvement.
Le format de fichier est JSONL.
Chaque ligne du fichier JSONL possède le format suivant :
{"prompt": "<a prompt>", "completion": "<expected response given the prompt>"}\n
Le fichier doit être stocké dans un bucket OCI Object Storage.

En savoir plus sur les exigences relatives aux données d'entraînement dans Generative AI.

Données d'entrée pour les incorporations de texte

Les données d'entrée permettant de créer des incorporations de texte doivent satisfaire aux exigences suivantes :

Vous pouvez ajouter des phrases, des phrases ou des paragraphes pour les incorporations, soit une phrase à la fois, soit en téléchargeant un fichier.
Seuls les fichiers portant l'extension .txt sont autorisés.
Si vous utilisez un fichier d'entrée, chaque phrase, expression ou paragraphe d'entrée du fichier doit être séparé par un caractère de retour à la ligne.
Un maximum de 96 entrées est autorisé pour chaque exécution.
Dans la console, chaque entrée doit être inférieure à 512 jetons pour les modèles de texte uniquement.
Si une entrée est trop longue, indiquez si le début ou la fin du texte doit être coupé dans la limite du jeton en définissant le paramètre Truncate sur Start ou End. Si une entrée dépasse la limite de jeton 512 et que le paramètre Truncate est défini sur None, un message d'erreur s'affiche.
Pour les modèles de texte et d'image, vous pouvez avoir des fichiers et des entrées qui totalisent tous jusqu'à 128 000 jetons.
Pour les modèles d'intégration de texte et d'image, tels que Cohere Embed English Image V3, vous pouvez soit ajouter du texte, soit ajouter une seule image. Pour l'image, vous pouvez utiliser une API. L'entrée d'image n'est pas disponible dans la console. Pour l'API, entrez une image encodée base64 à chaque exécution. Par exemple, une image 512 x 512 est convertie en environ 1 610 jetons.

En savoir plus sur la création d'intégrations de texte dans OCI Generative AI.