Documentation Oracle Cloud Infrastructure

Discussion dans OCI Generative AI

Utilisez les grands modèles de chat en langage fournis dans OCI Generative AI pour poser des questions et obtenir des réponses conversationnelles via un chatbot d'IA.

    1. Dans la barre de navigation de la console, sélectionnez une région avec l'IA générative, par exemple, Midwest des Etats-Unis (Chicago). Reportez-vous à Quels modèles sont proposés dans votre région.
    2. Ouvrez le menu de navigation et sélectionnez Analytics et IA. Sous Services AI, sélectionnez IA générative.
    3. Sélectionnez un compartiment dans lequel vous êtes autorisé à travailler. Si vous ne voyez pas le playground de test, demandez à un administrateur de vous donner accès aux ressources Generative AI, puis passez aux étapes suivantes.
    4. Sélectionnez Playground.
    5. Sélectionnez Discussion.
    6. Sélectionnez un modèle pour l'expérience de discussion en effectuant l'une des actions suivantes :
      • Dans la liste Modèle, sélectionnez un modèle préentraîné tel que meta.llama-3.1-70b-instruct, cohere.command-r-08-2024, cohere.command-r-plus-08-2024 ou un modèle personnalisé. Les modèles personnalisés sont affichés sous forme de nom de modèle (nom d'adresse).
      • Sélectionnez Afficher les détails du modèle, sélectionnez un modèle, puis Choisir un modèle.
      Remarque

      • Le modèle meta.llama-3.1-405b-instruct n'est pas disponible pour l'accès à la demande dans toutes les régions. Pour accéder à ce modèle, effectuez l'une des opérations suivantes :

        • Configurer l'accès dédié : basculez vers une région prise en charge pour les clusters dédiés pour le modèle de discussion meta.llama-3.1-405b-instruct. Ensuite, créez un cluster d'hébergement et une adresse pour ce modèle.
        • Passer à une région à la demande : passez à la région Midwest des Etats-Unis (Chicago) qui est prise en charge pour l'inférence à la demande pour le modèle de discussion meta.llama-3.1-405b-instruct.

      • Le modèle meta.llama-3.2-11b-vision-instruct n'est disponible pour un accès à la demande dans aucune région. Pour accéder à ce modèle, effectuez l'option suivante :

      En savoir plus sur les coûts et les retraits de modèle pour les modes de service dédié et à la demandes.

    7. Démarrez une conversation en saisissant une invite ou en sélectionnant un exemple dans la liste Exemple à utiliser en tant qu'invite de base ou à utiliser.
      Pour les modèles qui acceptent des images telles que meta.llama-3.2-90b-vision-instruct, vous pouvez ajouter une image .png ou .jpg d'une taille inférieure ou égale à 5 Mo.
    8. (Facultatif) Définissez de nouvelles valeurs pour les paramètres. Pour plus de détails sur les paramètres, reportez-vous aux définitions de paramètre qui sélectionnent le modèle que vous utilisez, répertorié dans Modèles de discussion.
    9. Sélectionnez Soumettre.
    10. Saisissez une nouvelle invite ou pour poursuivre la conversation, saisissez une invite de suivi et sélectionnez Soumettre.
      Important

      Dans le terrain de jeu, pour les modèles de vision qui acceptent des images :
      • La soumission d'une image sans invite ne fonctionne pas. Lorsque vous soumettez une image, vous devez envoyer une invite à propos de cette image dans la même demande. Vous pouvez ensuite soumettre des invites de suivi et le modèle conserve le contexte de la conversation.
      • Pour ajouter l'image et le texte suivants, vous devez effacer la discussion, ce qui entraîne une perte du contexte de la conversation précédente en raison de l'effacement de la discussion.
    11. (Facultatif) Pour modifier les réponses, sélectionnez Effacer la discussion, mettez à jour les invites et les paramètres et sélectionnez Soumettre. Répétez cette étape jusqu'à ce que la sortie vous convienne.
    12. (Facultatif) Après les flux de données de sortie, vérifiez les jetons d'entrée et de sortie affichés pour l'invite.
      • Jetons d'entrée : nombre de jetons d'entrée utilisés pour générer la réponse, y compris vos jetons d'invite et de modèle de discussion (système, rôle/formatage, schémas d'outil).
      • Jetons de sortie : nombre de jetons de sortie générés par le modèle. Inclut les jetons de raisonnement lorsqu'ils sont signalés ; certains modèles tels que Gemini et xAI excluent les jetons de raisonnement de ce champ.
    13. (Facultatif) Pour copier le code qui a généré la sortie, sélectionnez Visualiser le code, sélectionnez un langage de programmation ou une structure, sélectionnez Copier le code, collez le code dans un fichier et sauvegardez-le. Assurez-vous que le fichier garde le format du code collé.
      Conseil

      Si vous utilisez le code dans une application :

    14. (Facultatif) Pour démarrer une nouvelle conversation, sélectionnez Effacer la discussion.
      Remarque

      • Lorsque vous sélectionnez Effacer la discussion, la conversation de discussion est effacée, mais les paramètres du modèle restent inchangés et vous pouvez continuer à utiliser les derniers paramètres que vous avez appliqués.

        Si vous passez à une autre fonctionnalité, telle que Génération, puis que vous revenez à la zone de lecture Discussion, les paramètres de conversation et de modèle de discussion reprennent leurs valeurs par défaut.

      En savoir plus sur les paramètres de discussion Cohere.

  • Pour discuter, utilisez l'opération chat-result dans l'interface de ligne de commande d'inférence d'IA générative.

    Entrez la commande suivante pour obtenir la liste des options à utiliser avec l'opération chat-result.

    oci generative-ai-inference chat-result -h

    Pour obtenir la liste complète des paramètres et des valeurs des commandes de l'interface de ligne de commande OCI Generative AI, reportez-vous à Interface de ligne de commande d'inférence d'IA générative et à Interface de ligne de commande de gestion d'IA générative.

  • Exécutez l'opération de discussion pour discuter à l'aide des grands modèles de langage.

    Pour plus d'autres informations sur l'utilisation de l'API et sur la signature des demandes, reportez-vous à ladocumentation relative aux API REST et aux informations d'identification de sécurité. Pour plus d'informations sur les kits SDK, reportez-vous à Kits SDK et interface de ligne de commande.