Implémenter une interface utilisateur Web pour interagir avec les agents Oracle Cloud Infrastructure Generative AI
Utilisez les agents Oracle Cloud Infrastructure Generative AI (OCI Generative AI) pour implémenter une interface Web interactive qui permet aux utilisateurs d'engager des conversations en temps réel.
OCI Generative AI ne fournit pas d'interface utilisateur en dehors de la console OCI et les utilisateurs veulent utiliser l'API pour l'intégrer à leurs projets Web. Cette architecture de référence présente une application Web qui utilise des agents OCI Generative AI, qui est également intégrée à Speech to Text et Text to Speech en temps réel afin de fournir une expérience complète sans quitter les données de locataire du client. Cette solution implique une machine virtuelle qui connecte l'application Web et le service OCI Speech via des sockets Web.
Grâce à la transcription en temps réel d'OCI Speech, tout ce que l'utilisateur dit est instantanément converti en texte et traité par l'agent d'IA. L'agent d'IA génère ensuite une réponse, qui est non seulement affichée à l'écran, mais également transmise à l'utilisateur via la fonctionnalité de synthèse vocale d'OCI Speech. Cela crée une interaction entièrement immersive, naturelle et dynamique, idéale pour le service client, les assistants virtuels et les solutions d'IA conversationnelle.
Architecture
Cette architecture de référence s'articule autour d'Oracle Visual Builder en tant qu'interface frontale, qui s'intègre de manière transparente aux agents OCI Generative AI et à OCI Speech.
- Oracle Visual Builder envoie les entrées utilisateur à OCI Speech via le pont de machine virtuelle avec le kit SDK Python.
- La fonctionnalité de synthèse vocale d'OCI Speech vous permet de synthétiser la synthèse vocale de type humain à partir de texte dans toutes les applications. Cette fonctionnalité permet les conversations avec les clients, les traductions vocales multilingues et une meilleure accessibilité. Faites votre choix parmi une variété de voix pour améliorer les interactions.
- Oracle Visual Builder gère les interactions utilisateur, envoie les entrées utilisateur aux agents OCI Generative AI via des API REST et affiche les réponses de l'agent en temps réel.
Les agents OCI Generative AI utilisent OCI Generative AI en arrière-plan pour permettre l'accès à des modèles de base préentraînés à partir de Cohere et Meta. Il prend en charge les clusters d'IA dédiés avec des GPU privés pour des charges de travail de production stables et hautes performances, y compris l'hébergement et le réglage fin.
L'API de discussion et le Playground offrent une expérience de discussion interactive avec les modèles Cohere et Meta via la console ou l'API OCI. L'intégration LangChain permet le développement flexible d'applications OCI Generative AI, tandis que l'intégration LlamaIndex permet de créer des solutions RAG avec des sources de données personnalisées. Pour les opérations, OCI Generative AI inclut des contrôles de modération de contenu et prendra bientôt en charge l'échange d'adresse de modèle sans temps d'inactivité, ainsi que les fonctionnalités d'activation et de désactivation. Il fournit également des analyses sur l'utilisation du modèle, notamment les statistiques d'appel, les jetons traités et le nombre d'erreurs.
- Pour la sortie vocale, le service OCI Speech Text-to-Speech (TTS) convertit les réponses de l'agent en audio parlé, améliorant ainsi l'expérience utilisateur.
Le schéma suivant illustre cette architecture de référence.
oci-genai-speech-arch-oracle.zip
L'architecture comprend les composants suivants :
- Compute
Avec Oracle Cloud Infrastructure Compute, vous pouvez provisionner et gérer des hôtes de calcul dans le cloud. Vous pouvez lancer des instances de calcul avec des formes qui répondent à vos besoins en ressources pour l'UC, la mémoire, la bande passante réseau et le stockage. Après avoir créé une instance de calcul, vous pouvez y accéder en toute sécurité, la redémarrer, attacher et détacher des volumes, et y mettre fin lorsque vous n'en avez plus besoin.
- OCI Speech
OCI Speech est l'un des nombreux services d'IA cloud natifs. Vous pouvez utiliser le service OCI Speech pour convertir des fichiers audio en texte lisible stocké au format JSON.
OCI Speech exploite la puissance du langage parlé en vous permettant de convertir facilement des fichiers audio contenant de la parole humaine en transcriptions de texte très précises. Le service est une application native OCI à laquelle vous pouvez accéder à l'aide d'une application Web, d'une API REST, d'un kit SDK, d'une interface de ligne de commande ou d'une console.
OCI Speech utilise la technologie de reconnaissance vocale automatique (ASR) pour fournir une transcription grammaticalement correcte des fichiers vidéo et audio. OCI Speech gère les enregistrements audio basse fidélité et transcrit les enregistrements difficiles tels que les réunions ou les appels au centre d'appels. Grâce à Speech, vous pouvez transformer les fichiers stockés dans OCI Object Storage ou une ressource de données en texte précis, normalisé, horodaté et filtré de manière grossière. Cette fonctionnalité est disponible avec les services en aval. Par exemple, vous pouvez utiliser des services supplémentaires tels que la langue et les prévisions pour analyser le sentiment d'appel, cibler le contenu à des fins publicitaires, indexer vos dossiers de support et créer un moteur de recherche de support à l'aide d'Oracle Cloud Infrastructure Lakehouse.
- Agents OCI Generative AI
Les agents OCI Generative AI sont un service entièrement géré qui combine la puissance des grands modèles de langage (LLM) avec un système d'extraction intelligent visant à créer des réponses contextuellement pertinentes en effectuant une recherche dans votre base de connaissances.
Les agents OCI Generative AI prennent en charge plusieurs façons d'intégrer vos données là où vous et vos clients pouvez interagir avec vos données à l'aide d'une interface de discussion ou d'une API.
- Prend en charge plusieurs méthodes d'intégration des données et canaux d'interaction (interface de discussion ou API).
- Crée des réponses contextuellement pertinentes en effectuant une recherche dans votre base de connaissances.
- Fournit l'attribution de la source pour chaque réponse.
- Offre des capacités de recherche hybrides (lexiques et sémantiques). Inclut des options de modération de contenu pour l'entrée et la sortie.
- Prend en charge les conversations multi-tours, où les utilisateurs peuvent poser des questions de suivi et recevoir des réponses qui tiennent compte du contexte des questions et réponses précédentes.
- Peut interpréter les données des graphiques à deux axes et des tables de référence dans un PDF, sans avoir besoin de descriptions explicites des éléments visuels.
- Tous les liens hypertexte présents dans les documents PDF sont extraits et affichés en tant que liens hypertexte dans la réponse de discussion.
- Oracle Visual Builder
Oracle Visual Builder est une expérience de développement intuitive reposant sur une plate-forme de développement et d'hébergement qui vous permet de créer des applications réactives attrayantes. Se concentrant sur la facilité d'utilisation et une approche de développement visuel, il vous permet de créer facilement des applications hébergées sur la plate-forme cloud sécurisée et évolutive d'Oracle.
Expérience de développement visuel
Oracle Visual Builder fournit des outils de développement visuel simples mais puissants pour créer des applications réactives, le tout sans avoir à installer de logiciel supplémentaire. Cet ensemble riche d'outils visuels vous aide à concevoir rapidement votre application en faisant glisser et déposer des composants d'interface utilisateur et en personnalisant leurs attributs pour définir le comportement. Bien que ces outils se prêtent aux développeurs low code, les développeurs expérimentés peuvent tout aussi facilement accéder au code source sous-jacent, même l'étendre en utilisant les techniques standard HTML5, JavaScript et CSS pour des besoins complexes.
Accès simple aux données
Oracle Visual Builder facilite l'accès aux données de votre application via des services basés sur REST. Vous pouvez donc créer des objets métier réutilisables pour implémenter la logique métier de votre application et stocker ses données, qui peuvent ensuite être gérées via des adresses REST générées par Oracle Visual Builder pour vous ou vous pouvez choisir des objets de données exposés par des applications Oracle SaaS ou Oracle Integration dans un catalogue intégré de services REST. Vous pouvez également accéder aux données à partir de n'importe quel service REST externe en quelques clics.
Plateforme de développement et d'hébergement
Oracle Visual Builder est un outil de développement complet ainsi qu'une plate-forme d'hébergement. Cela signifie que vous pouvez gérer le cycle de vie de votre application du développement au test et à la publication finale. La gestion des versions et la migration des données sont intégrées au cycle de vie d'une application, ce qui vous permet de préparer et de publier facilement votre application et de gérer ses données à chaque phase.