Documentation sur Oracle Cloud Infrastructure

Cohere Embed 4

cohere.embed-v4.0 est un modèle multimodal qui peut créer des plongements de texte à partir d'entrées de texte ou d'une image. L'entrée d'image n'est pas disponible dans la console et vous devez utiliser l'API. Pour l'API, entrez une image encodée base64 à chaque exécution. Par exemple, une image 512 x 512 est convertie en environ 1 610 jetons.

Accéder à ce modèle

Accédez à ce modèle au moyen de la console, de l'API et de l'interface de ligne de commande :
Note

Les points d'extrémité d'API pour toutes les régions commerciales, souveraines et gouvernementales prises en charge sont listés dans les liens API de gestion et API d'inférence. Vous ne pouvez accéder à chaque modèle qu'au moyen de ses régions prises en charge.

Principales fonctions

  • Mode
    • Entrez du texte ou une image, mais pas les deux.
    • Pour obtenir des plongements pour une image, une seule image est autorisée. Vous ne pouvez pas combiner le texte et l'image pour une même intégration. Entrée d'image au moyen de l'API uniquement.
  • Entrée et sortie
    • Dans la console, chaque entrée de texte doit comporter moins de 512 jetons et un maximum de 96 entrées par exécution.
    • Dans la trousse SDK et l'API, toutes les entrées peuvent ajouter jusqu'à 128 000 jetons par intégration par exécution.
    • Le modèle produit un vecteur à 1 536 dimensions pour chaque intégration.
  • Prise en charge de langues
    • Texte : Anglais ou multilingue.
    • Image : Anglais seulement.

Mode sur demande

Consultez le tableau suivant pour connaître le nom du produit sur demande de ce modèle dans la page de tarification.

Nom de modèle Nom du modèle OCI Nom du produit de la page de tarification
Cohere Cohere Embed 4 cohere.embed-v4.0 Embed Cohere
Vous pouvez accéder aux modèles fondamentaux préentraînés dans l'IA générative au moyen de deux modes : sur demande et dédié. Voici les principales fonctions du mode sur demande :

  • Vous payez à l'utilisation pour chaque appel d'inférence lorsque vous utilisez les modèles dans le terrain de jeu ou lorsque vous appelez les modèles au moyen de l'API.

  • Faible barrière pour commencer à utiliser l'IA générative.
  • Idéal pour l'expérimentation, la preuve de concept et l'évaluation de modèle.
  • Disponible pour les modèles préentraînés dans les régions non listées (grappe dédiée à l'IA uniquement).
Important

Modification de la limite de limitation dynamique pour le mode sur demande

OCI Generative AI ajuste dynamiquement la limite de limitation de demande pour chaque location active en fonction de la demande du modèle et de la capacité du système afin d'optimiser l'affectation des ressources et d'assurer un accès équitable.

Cette modification dépend des facteurs suivants :

  • Débit maximal courant pris en charge par le modèle cible.
  • Toute capacité de système inutilisée au moment de la modification.
  • L'historique d'utilisation du débit de chaque location et les limites de remplacement spécifiées sont définies pour cette location.

Remarque : En raison de la limitation dynamique, les limites de débit ne sont pas documentées et peuvent changer pour répondre à la demande à l'échelle du système.

Conseil

En raison de la modification dynamique de la limite de limitation, nous recommandons de mettre en œuvre une stratégie d'annulation, qui implique de retarder les demandes après un rejet. Sans cela, des demandes rapides répétées peuvent entraîner d'autres rejets au fil du temps, une latence accrue et un blocage temporaire potentiel du client par le service d'IA générative. En utilisant une stratégie d'attente, telle qu'une stratégie d'attente exponentielle, vous pouvez répartir les demandes plus uniformément, réduire la charge et améliorer le succès des tentatives, en suivant les meilleures pratiques du secteur et en améliorant la stabilité et la performance globales de l'intégration au service.

Grappe d'IA dédiée pour le modèle

Pour atteindre un modèle au moyen d'une grappe dédiée à l'IA dans n'importe quelle région répertoriée, vous devez créer un point d'extrémité pour ce modèle sur une grappe dédiée à l'IA. Pour connaître la taille d'unité de grappe correspondant à ce modèle, voir le tableau suivant.

Modèle de base Cluster de réglage fin Grappe d'hébergement Informations sur la page de tarification Demander une augmentation de limite de grappe
  • Nom du modèle : Cohere Embed 4
  • Nom du modèle OCI : cohere.embed-v4.0
 Non disponible pour le réglage fin
  • Taille de l'unité : Embed Cohere
  • Unités requises : 1
  • Nom du produit de la page Tarification : Embed Cohere - Dedicated
  • Pour l'hébergement, Multiplier le prix unitaire : x1
  • Nom de la limite : dedicated-unit-embed-cohere-count
  • Pour l'hébergement, demandez une augmentation de limite de : 1
Conseil

Si vous n'avez pas suffisamment de limites de grappe dans votre location pour héberger un modèle intégré dans une grappe dédiée à l'IA, demandez que la limite dedicated-unit-embed-cohere-count augmente de 1.

Règles de point d'extrémité pour les grappes

  • Une grappe dédiée à l'IA peut contenir jusqu'à 50 points d'extrémité.
  • Utilisez ces points d'extrémité pour créer des alias qui pointent tous vers le même modèle de base ou vers la même version d'un modèle personnalisé, mais pas vers les deux types.
  • Plusieurs points d'extrémité pour le même modèle permettent de les affecter facilement à différents utilisateurs ou objectifs.
Taille d'unité de la grappe d'hébergement Règles de point d'extrémité
Embed Cohere
  • Modèle de base : Pour exécuter le modèle cohere.embed-v4.0  sur plusieurs points d'extrémité, créez autant de points d'extrémité que nécessaire sur une grappe Embed Cohere (taille de l'unité).
  • Modèle personnalisé : Vous ne pouvez pas affiner le réglage cohere.embed-v4.0, vous ne pouvez donc pas créer et héberger des modèles personnalisés créés à partir de cette base.
Conseil

Tests de performance des grappes

Consultez les points de référence de performance de grappe Cohere Embed 4 pour différents cas d'utilisation.

Données d'entrée pour les intégrations de texte

Les données d'entrée pour créer des plongements de texte ont les exigences suivantes :

  • Vous pouvez ajouter des phrases, des phrases ou des paragraphes pour les intégrations, soit une phrase à la fois, soit en chargeant un fichier.
  • Seuls les fichiers portant l'extension .txt sont autorisés.
  • Si vous utilisez un fichier d'entrée, chaque phrase, expression ou paragraphe d'entrée du fichier doit être séparé par un caractère newline.
  • Un maximum de 96 entrées est autorisé pour chaque exécution.
  • Dans la console, chaque entrée doit être inférieure à 512 jetons pour les modèles texte seulement.
  • Si une entrée est trop longue, indiquez s'il faut couper le début ou la fin du texte pour tenir dans la limite du jeton en réglant le paramètre Tronquer à Début ou Fin. Si une entrée dépasse la limite de 512 jetons et que le paramètre Truncate (Tronquer) est réglé à None (Aucun), vous obtenez un message d'erreur.
  • Pour les modèles de texte et d'image, vous pouvez avoir des fichiers et des entrées qui totalisent jusqu'à 128 000 jetons.
  • Pour les modèles d'intégration de texte et d'image, tels que Cohere Embed English Image V3, vous pouvez ajouter du texte ou une seule image. Pour l'image, vous pouvez utiliser l'API. L'entrée d'image n'est pas disponible dans la console. Pour l'API, entrez une image encodée base64 à chaque exécution. Par exemple, une image 512 x 512 est convertie en environ 1 610 jetons.

Découvrez la création d'intégrations de texte dans le service d'intelligence artificielle générative pour OCI.

Paramètre de modèle de plongement

Lorsque vous utilisez les modèles d'intégration, vous pouvez obtenir une sortie différente en modifiant le paramètre suivant.

Truncate

Indique s'il faut tronquer les jetons de début ou de fin d'une phrase, lorsque celle-ci dépasse le nombre maximal de jetons autorisés. Par exemple, une phrase comporte 516 jetons, mais la taille maximale du jeton est 512. Si vous choisissez de tronquer la fin, les 4 derniers jetons de cette phrase sont coupés.