Mettre en oeuvre une interface utilisateur basée sur le Web pour interagir avec les agents Oracle Cloud Infrastructure Generative AI

Utilisez les agents du service Oracle Cloud Infrastructure Generative AI (OCI Generative AI) pour mettre en oeuvre une interface Web interactive qui permet aux utilisateurs d'engager des conversations en temps réel.

Le service d'intelligence artificielle générative pour OCI ne fournit pas d'interface utilisateur en dehors de la console OCI et les utilisateurs veulent utiliser l'API pour l'intégrer à leurs projets Web. Cette architecture de référence présente une application Web qui consomme des agents du service d'intelligence artificielle générative pour OCI, qui est également intégrée à la fonction de reconnaissance de la parole en temps réel et de la fonction de texte à la parole afin de fournir une expérience complète sans quitter les données du client. Cette solution implique une machine virtuelle qui connecte l'application Web et le service de parole OCI au moyen de connecteurs logiciels Web.

À l'aide de la transcription en temps réel du service de parole pour OCI, tout ce que l'utilisateur dit est instantanément converti en texte et traité par l'agent d'IA. L'agent IA génère ensuite une réponse, qui n'est pas seulement affichée à l'écran, mais qui est également parlée à l'utilisateur au moyen de la fonction de reconnaissance de la parole pour OCI Speech. Cela crée une interaction entièrement immersive, naturelle et dynamique, idéale pour le service à la clientèle, les assistants virtuels et les solutions d'IA conversationnelle.

Architecture

Cette architecture de référence s'articule autour d'Oracle Visual Builder en tant qu'interface frontale, qui s'intègre de façon transparente aux agents de l'IA générative d'OCI et au service de reconnaissance de la parole pour OCI.

  1. Oracle Visual Builder envoie des entrées d'utilisateur au service de reconnaissance de la parole pour OCI au moyen du pont de machines virtuelles avec la trousse SDK Python.
  2. La fonction de synthèse vocale dans OCI Speech vous permet de synthétiser la parole de type humain à partir de texte dans toutes les applications. Cette fonction permet les conversations avec les clients, les traductions vocales multilingues et améliore l'accessibilité. Choisissez parmi une variété de voix pour améliorer les interactions.
  3. Oracle Visual Builder gère les interactions avec les utilisateurs, en envoyant des entrées utilisateur aux agents du service d'intelligence artificielle générative pour OCI au moyen d'API REST et en affichant les réponses de l'agent en temps réel.

    Les agents du service d'intelligence artificielle générative pour OCI utilisent l'intelligence artificielle générative pour OCI en coulisses pour permettre l'accès aux modèles fondamentaux préentraînés à partir de Cohere et de Meta. Il prend en charge les grappes dédiées à l'IA avec des processeurs graphiques privés pour des charges de travail de production stables et haute performance, y compris l'hébergement et le réglage de précision.

    L'API de clavardage et le terrain de jeu offrent une expérience de clavardage interactive avec les modèles Cohere et Meta au moyen de la console ou de l'API OCI. L'intégration LangChain permet le développement flexible d'applications du service IA générative pour OCI, tandis que l'intégration LlamaIndex permet de créer des solutions de RAG avec des sources de données personnalisées. Pour les opérations, le service d'intelligence artificielle générative pour OCI comprend des contrôles de modération de contenu et prendra bientôt en charge l'échange de points d'extrémité de modèle sans aucun temps d'arrêt, ainsi que les fonctions d'activation et de désactivation. Il fournit également des analyses sur l'utilisation du modèle, notamment les statistiques d'appel, les jetons traités et le nombre d'erreurs.

  4. Pour la sortie vocale, le service de séance OCI Text-to-Speech (TTS) convertit les réponses de l'agent en audio parlé, améliorant ainsi l'expérience utilisateur.

Le diagramme suivant illustre cette architecture de référence.


Description de oci-genai-speech-arch.png
Description de l'illustration oci-genai-speech-arch.png

oci-genai-speech-arch-oracle.zip

L'architecture comporte les composants suivants :

  • Calcul

    Avec le service de calcul pour Oracle Cloud Infrastructure, vous pouvez provisionner et gérer des hôtes de calcul dans le nuage. Vous pouvez lancer des instances de calcul avec des formes qui répondent à vos besoins en ressources pour l'unité centrale, la mémoire, la bande passante de réseau et le stockage. Après avoir créé une instance de calcul, vous pouvez y accéder en toute sécurité, la redémarrer, attacher et détacher des volumes, et y mettre fin lorsque vous n'en avez plus besoin.

  • Service de reconnaissance de la parole OCI

    OCI Speech est l'un des nombreux services d'IA en nuage natif. Vous pouvez utiliser le service Voix pour OCI pour convertir des fichiers audio en texte lisible stocké au format JSON.

    OCI Speech exploite la puissance de la langue parlée en vous permettant de convertir facilement des fichiers audio contenant de la parole humaine en transcriptions de texte très précises. Le service est une application native OCI à laquelle vous pouvez accéder à l'aide d'une application Web, d'une API REST, d'une trousse SDK, de l'interface de ligne de commande ou de la console.

    OCI Speech utilise la technologie de reconnaissance vocale automatique (ASR) pour fournir une transcription grammaticalement correcte des fichiers vidéo et audio. OCI Speech gère les enregistrements audio de faible fidélité et transcrit des enregistrements difficiles, tels que des réunions ou des appels au centre d'appels. À l'aide de Speech, vous pouvez transformer les fichiers stockés dans le stockage d'objets OCI ou une ressource de données en texte exact, normalisé, horodaté et filtré par grossièreté. Cette fonctionnalité est disponible avec les services en aval. Par exemple, vous pouvez utiliser des services supplémentaires tels que la langue et les prévisions pour analyser le sentiment d'appel, cibler du contenu pour de la publicité, indexer vos dossiers de médias et créer un moteur de recherche de médias à l'aide d'Oracle Cloud Infrastructure Lakehouse.

  • Agents du service Intelligence artificielle générative pour OCI

    Les agents du service d'intelligence artificielle générative pour OCI sont un service entièrement géré qui combine la puissance des grands modèles de langage (LLM) à un système d'extraction intelligent visant à créer des réponses pertinentes dans le contexte en recherchant votre base de connaissances.

    Les agents du service d'intelligence artificielle générative pour OCI prennent en charge plusieurs façons d'intégrer vos données où vous et vos clients pouvez interagir avec vos données à l'aide d'une interface de clavardage ou d'une API.

    • Prend en charge plusieurs méthodes d'intégration de données et canaux d'interaction (interface de clavardage ou API).
    • Crée des réponses pertinentes pour le contexte en recherchant votre base de connaissances.
    • Fournit l'attribution de la source pour chaque réponse.
    • Offre des capacités de recherche hybride (lexique et sémantique). Inclut des options de modération de contenu pour l'entrée et la sortie.
    • Prend en charge les conversations à plusieurs tours, où les utilisateurs peuvent poser des questions de suivi et recevoir des réponses tenant compte du contexte des questions et réponses précédentes.
    • Peut interpréter les données de graphiques à deux axes et de tableaux de référence dans un PDF, sans avoir besoin de descriptions explicites des éléments visuels.
    • Tous les hyperliens présents dans les documents PDF sont extraits et affichés sous forme d'hyperliens dans la réponse au clavardage.
  • Oracle Visual Builder

    Oracle Visual Builder est une expérience de développement intuitive en plus d'une plateforme de développement et d'hébergement qui vous permet de créer des applications réactives et engageantes. Se concentrant sur la facilité d'utilisation et sur une approche de développement visuel, il vous offre un moyen facile de créer des applications qui sont hébergées dans la plate-forme en nuage sécurisée et évolutive d'Oracle.

    Expérience de développement visuel

    Oracle Visual Builder fournit des outils de développement visuel simples mais puissants pour créer des applications réactives, le tout sans avoir à installer de logiciel supplémentaire. Cet ensemble riche d'outils visuels vous aide à concevoir rapidement votre application en effectuant un glisser-déposer des composants d'interface utilisateur et en personnalisant leurs attributs pour définir le comportement. Bien que ces outils se prêtent à des développeurs à faible code, les développeurs expérimentés peuvent tout aussi facilement accéder au code source sous-jacent, voire l'étendre à l'aide des techniques standard HTML5, JavaScript et CSS pour des besoins complexes.

    Accès facile aux données

    Le service Oracle Visual Builder facilite l'accès aux données de votre application au moyen de services REST. Ainsi, vous pouvez créer des objets d'affaires réutilisables pour mettre en oeuvre la logique d'affaires de votre application et stocker ses données, qui peuvent ensuite être gérées au moyen de points d'extrémité REST générés par Oracle Visual Builder pour vous ou vous pouvez sélectionner des objets de données exposés par des applications Oracle SaaS ou Oracle Integration dans un catalogue intégré de services REST. Vous pouvez également accéder aux données de n'importe quel service REST externe en quelques clics.

    Plateforme de développement et d'hébergement

    Oracle Visual Builder est un outil de développement complet, ainsi qu'une plate-forme d'hébergement, qui vous permet de gérer le cycle de vie de votre application, du développement aux tests et à la publication finale. La gestion des versions et la migration des données sont intégrées dans le cycle de vie d'une application, ce qui vous permet de mettre en scène et de publier facilement votre application et de gérer ses données à chaque phase.

Informations complémentaires

Consultez ces ressources supplémentaires pour en savoir plus sur les fonctions de cette architecture de référence.

Remerciements

  • Auteur : Jesus Brasero Jimenez
  • Contributeur : Anupama Pundpal