Créer des incorporations de texte dans Generative AI

Utilisez les modèles Cohere Embed dans OCI Generative AI pour convertir du texte à des incorporations vectorielles à utiliser dans les applications pour les recherches sémantiques, la classification du texte ou la mise en cluster de textes.

Les données d'entrée pour les incorporations de texte doivent répondre aux exigences suivantes :

  • Vous pouvez ajouter des phrases, des expressions ou des paragraphes pour les incorporations, soit une phrase à la fois, soit en chargeant un fichier.
  • Seuls les fichiers avec l'extension .txt sont autorisés.
  • Si vous utilisez un fichier d'entrée, chaque phrase, expression ou paragraphe d'entrée dans le fichier doit être séparé par un caractère d'entrée à une nouvelle ligne.
  • Un maximum de 96 entrées est autorisé pour chaque exécution.
  • Dans la console, chaque entrée doit être inférieure à 512 jetons pour les modèles de texte uniquement.
  • Si une entrée est trop longue, indiquez si le début ou la fin du texte doit être coupé dans la limite du jeton en définissant le paramètre Truncate sur Start ou End. Si une entrée dépasse la limite de jeton 512 et que le paramètre Truncate est défini sur None, un message d'erreur s'affiche.
  • Pour les modèles de texte et d'image, vous pouvez avoir des fichiers et des entrées qui totalisent tous jusqu'à 128 000 jetons.
  • Pour les modèles d'intégration de texte et d'image, tels que Cohere Embed English Image V3, vous pouvez soit ajouter du texte, soit ajouter une seule image. Pour l'image, vous pouvez utiliser une API. L'entrée d'image n'est pas disponible dans la console. Pour l'API, entrez une image encodée base64 à chaque exécution. Par exemple, une image 512 x 512 est convertie en environ 1 610 jetons.
    1. Dans la barre de navigation de la console, sélectionnez une région avec l'IA générative, par exemple Midwest des Etats-Unis (Chicago). Reportez-vous à les modèles proposés dans votre région.
    2. Ouvrez le menu de navigation et sélectionnez Analytiques et IA. Sous Services d'IA, sélectionnez IA générative.
    3. Sélectionnez un compartiment dans lequel vous êtes autorisé à travailler. Si vous ne voyez pas le playground de test, demandez à un administrateur de vous donner accès aux ressources Generative AI, puis passez aux étapes suivantes.
    4. Sélectionnez Playground.
    5. Sélectionnez Imbrication.
    6. Sélectionnez un modèle pour créer des incorporations de texte en effectuant l'une des actions suivantes :
      • Dans la liste Modèle, sélectionnez un modèle.
      • Sélectionnez Afficher les détails du modèle, puis Choisir un modèle.
    7. (Facultatif) Pour utiliser un exemple de la liste Exemple, procédez comme suit :
      1. Sélectionnez un exemple dans la liste Exemple.
      2. Sélectionnez Exécuter afin de générer les plongements pour l'exemple.
      3. Examinez une version en deux dimensions de la sortie dans la section Projection de vecteur de sortie.

        Pour visualiser la sortie avec des plongements, les vecteurs de sortie sont projetés en deux dimensions et représentés sous forme de points. Les points qui sont proches les uns des autres correspondent à des expressions que le modèle considère comme similaires.

      4. Sélectionnez Effacer afin d'enlever toutes les phrases et de commencer à générer les plongements pour les nouvelles phrases.
    8. (Facultatif) Ajoutez une image .png ou .jpg d'une taille inférieure ou égale à 5 Mo.
      Une seule image est autorisée.
    9. Dans la zone Entrée de phrase, entrez le texte de l'une des manières suivantes :
      • Saisissez une phrase dans la zone 1., puis sélectionnez Ajouter une phrase pour ajouter d'autres phrases.
      • Sélectionnez Télécharger le fichier et sélectionnez un fichier avec du texte à ajouter.
      Remarque

      Seuls les fichiers avec l'extension .txt sont autorisés. Chaque phrase, expression ou paragraphe d'entrée doit être séparé par un caractère de retour à la ligne. 96 entrées au maximum sont autorisées pour chaque exécution et chaque entrée doit comporter moins de 512 sèmes. Vous pouvez ajouter des phrases manuellement ou charger plusieurs fichiers jusqu'à atteindre le nombre maximal d'entrées.
    10. Pour le paramètre Tronquer, indiquez si les sèmes de début ou de fin doivent être tronqués lorsque le nombre de sèmes dépasse la valeur maximale autorisée de 512.
      Conseil

      Si l'entrée dépasse 512 jetons, si vous définissez le paramètre Truncate sur Aucun, un message d'erreur s'affiche. Avant d'exécuter le modèle de plongement, choisissez Début ou Fin pour un paramètre de troncation.
    11. Sélectionnez Run.
    12. Examinez une version en deux dimensions de la sortie dans la section Projection de vecteur de sortie.
      Pour visualiser les sorties avec des plongements, les vecteurs de sortie sont projetés en deux dimensions et tracés sous forme de points. Les points qui sont proches les uns des autres correspondent à des expressions que le modèle considère comme similaires.
    13. Lorsque vous êtes satisfait du résultat, sélectionnez Exporter les incorporations au format JSON pour obtenir un fichier JSON contenant un vecteur 1024 dimensions pour chaque entrée.
    14. (Facultatif) Sélectionnez Visualiser un code, sélectionnez un langage de programmation ou une structure, Copier un code, puis collez le code dans un fichier. Assurez-vous que le fichier garde le format du code collé.
      Conseil

      Si vous utilisez le code dans une application :

    15. (Facultatif) Sélectionnez Effacer afin d'enlever toutes les phrases et de commencer à générer les plongements pour les nouvelles phrases.
      Remarque

      Lorsque vous sélectionnez Effacer, le paramètre Truncate reprend sa valeur par défaut Aucun.
  • Pour créer des incorporations de texte, utilisez l'opération embed-text-result.

    Entrez la commande suivante pour obtenir la liste des options permettant de créer des incorporations de texte.

    oci generative-ai-inference embed-text-result embed-text -h

    Pour obtenir la liste complète des paramètres et des valeurs des commandes de l'interface de ligne de commande OCI Generative AI, reportez-vous à Interface de ligne de commande d'inférence d'IA générative et à Interface de ligne de commande de gestion d'IA générative.

  • Exécutez l'opération EmbedText pour créer des incorporations de texte.

    Pour plus d'informations sur l'utilisation de l'API et la signature des demandes, reportez-vous à la documentation relative à l'API REST et à Informations d'identification de sécurité. Pour plus d'informations sur les kits SDK, reportez-vous à Kits SDK et interface de ligne de commande.