Cohere Embed Multilingual Light 3
Le modèle cohere.embed-multilingual-light-v3.0 transforme chaque phrase, phrase ou paragraphe que vous entrez en tableau.
Vous pouvez utiliser les modèles d'intégration pour rechercher des similarités dans des expressions similaires dans un contexte ou une catégorie. Les intégrations sont généralement stockées dans une base de données vectorielle. Les plongements sont principalement utilisés pour les recherches sémantiques, dans lesquelles la fonction de recherche se concentre sur la signification du texte recherché, plutôt que sur l'obtention de résultats basés sur des mots clés.
Disponible dans cette région
- États-Unis - Midwest (Chicago)
Accéder à ce modèle
Principales fonctions
- Les modèles légers sont plus petits et plus rapides que les modèles d'origine.
- Anglais ou multilingue.
- Le modèle crée un vecteur à 384 dimensions pour chaque plongement.
- 96 phrases par exécution au maximum.
- Maximum de 512 jetons pour chaque entrée.
- Idéal pour les cas d'utilisation lorsque :
- Au lieu de l'anglais, les documents sont écrits dans l'une des langues prises en charge.
- Les documents sont écrits dans plusieurs langues et celles-ci sont l'une des langues prises en charge.
Mode sur demande
Ce modèle est disponible sur demande dans les régions non listées (grappe dédiée à l'IA uniquement). Consultez le tableau suivant pour connaître le nom du produit sur demande de ce modèle dans la page de tarification.
| Nom de modèle | Nom du modèle OCI | Nom du produit de la page de tarification |
|---|---|---|
| Cohere Embed Multilingual Light 3 | cohere.embed-multilingual-light-v3.0 |
Embed Cohere |
-
Vous payez à l'utilisation pour chaque appel d'inférence lorsque vous utilisez les modèles dans le terrain de jeu ou lorsque vous appelez les modèles au moyen de l'API.
- Faible barrière pour commencer à utiliser l'IA générative.
- Idéal pour l'expérimentation, la preuve de concept et l'évaluation de modèle.
- Disponible pour les modèles préentraînés dans les régions non listées (grappe dédiée à l'IA uniquement).
Ajustement de limite de limitation dynamique pour le mode sur demande
OCI Generative AI ajuste dynamiquement la limite de limitation de demande pour chaque location active en fonction de la demande du modèle et de la capacité du système afin d'optimiser l'affectation des ressources et d'assurer un accès équitable.
Cet ajustement dépend des facteurs suivants :
- Débit maximal courant pris en charge par le modèle cible.
- Toute capacité système inutilisée au moment de l'ajustement.
- L'historique d'utilisation du débit de chaque location et les limites de remplacement spécifiées sont définies pour cette location.
Remarque : En raison de la limitation dynamique, les limites de débit ne sont pas documentées et peuvent changer pour répondre à la demande à l'échelle du système.
En raison de l'ajustement dynamique de la limite de limitation, nous recommandons de mettre en œuvre une stratégie de back-off, qui implique de retarder les demandes après un rejet. Sans cela, des demandes rapides répétées peuvent entraîner d'autres rejets au fil du temps, une latence accrue et un blocage temporaire potentiel du client par le service d'IA générative. En utilisant une stratégie d'attente, telle qu'une stratégie d'attente exponentielle, vous pouvez répartir les demandes plus uniformément, réduire la charge et améliorer le succès des tentatives, en suivant les meilleures pratiques du secteur et en améliorant la stabilité et la performance globales de votre intégration au service.
Grappe d'IA dédiée pour le modèle
Pour atteindre un modèle au moyen d'une grappe dédiée à l'IA dans n'importe quelle région répertoriée, vous devez créer un point d'extrémité pour ce modèle sur une grappe dédiée à l'IA. Pour connaître la taille d'unité de grappe correspondant à ce modèle, voir le tableau suivant.
| Modèle de base | Cluster de réglage fin | Grappe d'hébergement | Informations sur la page de tarification | Demander une augmentation de limite de grappe |
|---|---|---|---|---|
|
Non disponible pour le réglage fin |
|
|
|
-
Le modèle Cohere Embed Multilingual Light 3 comporte à la fois des options sur demande et des options de grappe dédiée à l'IA. Pour le mode sur demande, vous n'avez pas besoin de grappes et vous pouvez accéder au modèle dans le terrain de jeu de la console ou au moyen de l'API.
-
Si vous n'avez pas suffisamment de limites de grappe dans votre location pour héberger un modèle intégré dans une grappe dédiée à l'IA, demandez que la limite
dedicated-unit-embed-cohere-countaugmente de 1.
Règles de point d'extrémité pour les grappes
- Une grappe dédiée à l'IA peut contenir jusqu'à 50 points d'extrémité.
- Utilisez ces points d'extrémité pour créer des alias qui pointent tous vers le même modèle de base ou vers la même version d'un modèle personnalisé, mais pas vers les deux types.
- Plusieurs points d'extrémité pour le même modèle permettent de les affecter facilement à différents utilisateurs ou objectifs.
| Taille d'unité de la grappe d'hébergement | Règles de point d'extrémité |
|---|---|
| Embed Cohere |
|
-
Pour augmenter le volume d'appels pris en charge par une grappe d'hébergement, augmentez le nombre d'instances en modifiant la grappe dédiée à l'IA. Voir Mise à jour d'une grappe d'intelligence artificielle dédiée.
-
Pour plus de 50 points d'extrémité par grappe, demandez une augmentation de la limite,
endpoint-per-dedicated-unit-count. Voir Demande d'une augmentation de limite de service et Limites de service pour l'IA générative.
Tests de performance des grappes
Consultez les points de référence de performance de grappe Cohere Embed Multilingual Light 3 pour différents cas d'utilisation.
Dates de lancement et de mise hors service
| Modèle | Date de version | Date de mise hors service sur demande | Date de mise hors service en mode dédié |
|---|---|---|---|
cohere.embed-multilingual-light-v3.0
|
2,024-2-7 | 2,026-1-22 | 2,026-1-22 |
Pour obtenir la liste de toutes les lignes de temps du modèle et les détails de mise hors service, voir Mise hors service des modèles.
Données d'entrée pour les intégrations de texte
Les données d'entrée pour créer des plongements de texte ont les exigences suivantes :
- Vous pouvez ajouter des phrases, des phrases ou des paragraphes pour les intégrations, soit une phrase à la fois, soit en chargeant un fichier.
- Seuls les fichiers portant l'extension
.txtsont autorisés. - Si vous utilisez un fichier d'entrée, chaque phrase, expression ou paragraphe d'entrée du fichier doit être séparé par un caractère newline.
- Un maximum de 96 entrées est autorisé pour chaque exécution.
- Dans la console, chaque entrée doit être inférieure à 512 jetons pour les modèles texte seulement.
- Si une entrée est trop longue, indiquez s'il faut couper le début ou la fin du texte pour tenir dans la limite du jeton en réglant le paramètre Tronquer à Début ou Fin. Si une entrée dépasse la limite de 512 jetons et que le paramètre Truncate (Tronquer) est réglé à None (Aucun), vous obtenez un message d'erreur.
- Pour les modèles de texte et d'image, vous pouvez avoir des fichiers et des entrées qui totalisent jusqu'à 128 000 jetons.
- Pour les modèles d'intégration de texte et d'image, tels que Cohere Embed English Image V3, vous pouvez ajouter du texte ou une seule image. Pour l'image, vous pouvez utiliser l'API. L'entrée d'image n'est pas disponible dans la console. Pour l'API, entrez une image encodée base64 à chaque exécution. Par exemple, une image 512 x 512 est convertie en environ 1 610 jetons.
Découvrez la création d'intégrations de texte dans le service d'intelligence artificielle générative pour OCI.
Paramètre de modèle de plongement
Lorsque vous utilisez les modèles d'intégration, vous pouvez obtenir une sortie différente en modifiant le paramètre suivant.
- Truncate
-
Indique s'il faut tronquer les jetons de début ou de fin d'une phrase, lorsque celle-ci dépasse le nombre maximal de jetons autorisés. Par exemple, une phrase comporte 516 jetons, mais la taille maximale du jeton est 512. Si vous choisissez de tronquer la fin, les 4 derniers jetons de cette phrase sont coupés.