À propos du déploiement d'un cadre TEN doté des capacités d'IA d'entreprise
Deux des plus grands obstacles à l'adoption généralisée de la conversation vocale entre humains et IA sont la latence (ou le retard) et les défis du dernier kilomètre sans fil tels que la variation rapide de la bande passante et la perte de paquets élevée. Le réseau en temps réel défini par logiciel (SD-RTN) d'Agora, un réseau superposé en temps réel pour Internet, est conçu avec un routage intelligent et des optimisations du dernier kilomètre pour assurer la meilleure qualité et la latence la plus faible. L'application de l'infrastructure réseau en temps réel d'Agora à l'IA conversationnelle alimentée par la voix permet aux humains d'interagir avec l'IA de la même manière qu'avec un humain.
Le cadre RTE fournit une infrastructure réseau en temps réel. L'agent RTE est sous licence open source Apache 2.0, tandis que le cadre RTE utilise une licence open source hybride. Agora, en tant que principal partisan de TEN, offre des services d'IA conversationnelle construits avec le cadre. OCI peut fournir la puissance de calcul et Oracle Autonomous Database Sélectionnez l'intelligence artificielle avec prise en charge des fonctions RAG pour vous permettre d'utiliser des LLM pour obtenir des informations ou générer du contenu innovant en fonction de vos données privées à l'aide d'invites en langage naturel.
Architecture
Cette architecture montre comment créer un modèle d'agent vocal multimodal qui utilise les technologies d'IA d'Oracle et d'Agora pour l'infrastructure d'IA.
Le diagramme suivant est un exemple de modèle d'agent vocal AI multimodal en cascade :
Description de l'illustration multimodal-voice-agents.png
Le modèle montre comment l'audio et la vidéo sont traités par le modèle LLM (Large Language Model) et comprend les composants suivants :
- LLM déployé sur la machine virtuelle OCI
- Discours-texte (STT)
- Texte-parole (TTS)
L'infrastructure d'IA comprend le matériel et le système logiciel sous-jacents conçus spécifiquement pour répondre aux besoins informatiques exigeants des tâches d'IA. Vous pouvez déployer une infrastructure d'IA dans une seule région OCI ou déployer une architecture multinuage où la puissance de traitement est répartie entre plusieurs centres de données dispersés géographiquement, ce qui permet un déploiement flexible des applications et des données.
Le diagramme suivant présente une région OCI unique avec un agent TEN (Transformative Extensions Network) installé sur une machine virtuelle.
Description de l'illustration oci-ten-agent-deploy.png
oci-ten-agent-deploy-oracle.zip
Pour un traitement plus rapide et une plus grande extensibilité pour les grands jeux de données, déployez une infrastructure multinuage pour exécuter des algorithmes d'IA sur plusieurs noeuds de calcul. Vous pouvez utiliser une architecture d'IA distribuée avec des régions OCI ou dans une architecture multinuage. Un nuage distribué tire parti de la puissance d'un multinuage pour fractionner de grandes tâches d'IA en parties plus petites et les exécuter simultanément sur plusieurs noeuds. Il permet également un entraînement plus rapide de modèles d'IA complexes sur des jeux de données massifs. Cependant, il présente des défis dans la gestion de la cohérence des données et la coordination des calculs entre différents noeuds.
L'architecture suivante utilise une solution multinuage avec Google Cloud et OCI où Google Kubernetes Engine (GKE) orchestre le processus global de formation et d'inférence tout en déchargeant la partie intensive en calcul de l'infrastructure d'IA OCI sur demande.
Description de l'illustration oci-google-multiregion.png
oci-google-multirégion-oracle.zip
Les architectures prennent en charge les composants suivants :
- Région
Une région Oracle Cloud Infrastructure est une zone géographique localisée qui contient un ou plusieurs centres de données, appelés domaines de disponibilité. Les régions sont indépendantes les unes des autres, et de grandes distances peuvent les séparer (dans différents pays ou continents).
- Domaine de disponibilité
Les domaines de disponibilité sont des centres de données indépendants et autonomes dans une région. Les ressources physiques de chaque domaine de disponibilité sont isolées des ressources des autres domaines de disponibilité, ce qui garantit la tolérance aux pannes. Les domaines de disponibilité ne partagent pas les éléments d'infrastructure (alimentation ou refroidissement, par exemple) ni le réseau de domaines de disponibilité interne. Par conséquent, une défaillance d'un domaine de disponibilité ne devrait pas affecter les autres domaines de disponibilité de la région.
- Réseau en nuage virtuel (VCN) et sous-réseau
Un VCN est un réseau défini par logiciel personnalisable que vous avez configuré dans une région Oracle Cloud Infrastructure. Comme les réseaux en nuage virtuels traditionnels, ils vous offrent un contrôle sur votre environnement de réseau. Un VCN peut disposer de plusieurs blocs CIDR sans chevauchement que vous pouvez modifier après avoir créé le VCN. Vous pouvez segmenter un VCN en sous-réseaux, dont la portée peut concerner une région ou un domaine de disponibilité. Un sous-réseau est constitué d'un intervalle contigu d'adresses qui ne chevauchent pas les autres sous-réseaux dans le réseau en nuage virtuel. Vous pouvez modifier la taille d'un sous-réseau après sa création. Un sous-réseau peut être public ou privé.
- Domaine d'erreur
Un domaine d'erreur est un regroupement de matériel et d'infrastructure au sein d'un domaine de disponibilité. Chaque domaine de disponibilité comporte trois domaines d'erreur avec une puissance et un matériel indépendants. Lorsque vous répartissez des ressources entre plusieurs domaines d'erreur, vos applications peuvent tolérer les pannes physiques de serveur, la maintenance du système et les pannes d'alimentation au sein d'un domaine d'erreur.
- Équilibreur de charge
Oracle Cloud Infrastructure Load Balancing permet une répartition automatisée du trafic d'un point d'entrée unique vers plusieurs serveurs.
- Autonomous Database
Oracle Autonomous Database est un environnement de base de données préconfiguré entièrement géré que vous pouvez utiliser pour le traitement des transactions et les charges de travail d'entreposage de données. Il n'est pas nécessaire de configurer ou de gérer du matériel ni d'installer des logiciels. Oracle Cloud Infrastructure gère la création, la sauvegarde, l'application de correctifs, la mise à niveau et le réglage de la base de données.
- Gestion des identités et des accès
Le service Oracle Cloud Infrastructure Identity and Access Management (IAM) fournit un contrôle de l'accès des utilisateurs pour Oracle Cloud Infrastructure (OCI) et Oracle Cloud Applications. L'API IAM et l'interface utilisateur vous permettent de gérer les domaines d'identité et les ressources qu'ils contiennent. Chaque domaine d'identité IAM OCI représente une solution autonome de gestion des identités et des accès ou une population d'utilisateurs différente.
- Politique
Une politique Oracle Cloud Infrastructure Identity and Access Management spécifie qui peut accéder à quelles ressources, et comment. L'accès est accordé au niveau du groupe et du compartiment, ce qui permet d'écrire une politique qui donne à un groupe un type d'accès spécifique à un compartiment spécifique ou à la location.
- Audit
Le service Oracle Cloud Infrastructure Audit enregistre automatiquement les appels à tous les points d'extrémité d'API publique d'Oracle Cloud Infrastructure pris en charge en tant qu'événements de journal. Tous les services OCI prennent en charge la journalisation par le service Oracle Cloud Infrastructure Audit.
- JournalisationOracle Cloud Infrastructure Logging est un service hautement évolutif entièrement géré qui permet d'accéder aux types de journal suivants à partir de vos ressources en nuage :
- journaux de vérification : journaux liés aux événements produits par le service de vérification pour OCI;
- Journaux de service : Journaux publiés par des services individuels tels que Passerelle d'API OCI, Événements OCI, Fonctions OCI, Équilibrage de charge OCI, Stockage d'objets OCI et les journaux de flux de VCN.
- Journaux personnalisés : Journaux contenant des informations de diagnostic provenant d'applications personnalisées, d'autres fournisseurs en nuage ou d'un environnement sur place.
- Stockage d'objets
Le service de stockage d'objets pour Oracle Cloud Infrastructure offre un accès rapide à de grandes quantités de données structurées et non structurées de tous types, notamment des sauvegardes de base de données, des données analytiques et du contenu riche, comme des images et des vidéos. Vous pouvez stocker des données en toute sécurité, puis les extraire directement à partir d'Internet ou de la plate-forme en nuage. Vous pouvez adapter le stockage sans que la performance ou la fiabilité des services soit affectée. Utilisez le stockage standard pour le stockage "à chaud" auquel vous devez accéder rapidement, immédiatement et fréquemment. Utilisez le stockage d'archives pour le stockage "à froid" que vous retenez pendant de longues périodes et auquel vous accédez rarement.
- Passerelle Internet
Une passerelle Internet permet le trafic entre les sous-réseaux publics d'un VCN et l'Internet public.
- Passerelle de service
La passerelle de service fournit l'accès d'un VCN à d'autres services, tels qu'Oracle Cloud Infrastructure Object Storage. Le trafic entre le réseau VCN et le service Oracle circule sur la matrice réseau Oracle et ne passe pas par Internet.
- Pare-feu d'application Web (WAF)
Oracle Cloud Infrastructure Web Application Firewall (WAF) est un service d'application conforme à l'industrie des cartes de paiement, régional et en périphérie de réseau attaché à un point d'application, tel qu'un équilibreur de charge ou un nom de domaine d'application Web. Le service WAF protège les applications contre le trafic Internet malveillant ou indésirable. Le service WAF peut protéger tout point d'extrémité accessible sur Internet en appliquant uniformément des règles aux applications d'un client.
- FastConnect
Oracle Cloud Infrastructure FastConnect crée une connexion privée dédiée entre votre centre de données et Oracle Cloud Infrastructure. FastConnect fournit des options de bande passante supérieure et permet une utilisation du réseau plus fiable que les connexions Internet.
Les groupes de pages de tierce partie suivants :
- Cadre TEN
Le TEN (Transformative Extensions Network) est un framework open-source qui permet aux développeurs de créer rapidement des agents multimodaux en temps réel (voix, vidéo, flux de données, image et texte), ce qui permet aux développeurs d'expérimenter, d'intégrer des modèles de langage volumineux et de créer des extensions réutilisables.
- Agent DIX
L'agent RTE est installé sur une machine virtuelle. Vous pouvez utiliser TEN pour créer des agents prenant en charge des cas d'utilisation tels que les agents conversationnels vocaux, les minutes de réunion générées par l'IA, les tuteurs de langues, les traducteurs simultanés, les compagnons virtuels, le conseil et bien plus encore. Les développeurs peuvent tirer parti d'un ensemble diversifié de services et d'extensions d'IA et disposent d'une flexibilité totale pour créer, tester et déployer des agents d'IA de nouvelle génération, qui peuvent penser, écouter, voir et interagir comme les humains en temps réel.
- Llama 3.2
Llama 3.2 est une version légère du modèle Llama grand langage (LLM) de Meta AI. Llama 3.2 est un modèle de langage auto-régressif multimodal que vous pouvez utiliser dans les tâches nécessitant la reconnaissance d'image et le traitement du langage.
- Deepgram
Composant Speech-to-text (STT).
- Fishaudio
Composant de texte à parole (TTS).
Recommandations
- VCN
Lorsque vous créez un VCN, déterminez le nombre de blocs CIDR requis et la taille de chaque bloc en fonction du nombre de ressources que vous prévoyez d'attacher aux sous-réseaux du VCN. Utilisez des blocs CIDR qui se trouvent dans l'espace d'adresses IP privées standard.
Sélectionnez les blocs CIDR qui ne chevauchent aucun autre réseau (dans Oracle Cloud Infrastructure, votre centre de données sur place ou un autre fournisseur de nuage) auquel vous voulez configurer des connexions privées.
Après avoir créé un VCN, vous pouvez modifier, ajouter et supprimer ses blocs CIDR.
Lorsque vous concevez les sous-réseaux, tenez compte de vos exigences en matière de flux de trafic et de sécurité. Attachez toutes les ressources d'un niveau ou d'un rôle spécifique au même sous-réseau, qui peut servir de limite de sécurité.
- Listes de sécurité
Utilisez des listes de sécurité pour définir des règles de trafic entrant et sortant qui s'appliquent à l'ensemble du sous-réseau.
- Groupes de sécurité de réseau
Vous pouvez utiliser des groupes de sécurité de réseau pour définir un jeu de règles de trafic entrant et sortant qui s'appliquent à des cartes vNIC spécifiques. Nous vous recommandons d'utiliser des groupes plutôt que des listes de sécurité, car ils vous permettent de séparer l'architecture de sous-réseau du VCN des exigences de sécurité de votre application.
- Protection d'infrastructure en nuage
Cloner et personnaliser les recettes par défaut fournies par Oracle pour créer des recettes de détecteur et de répondant personnalisées. Ces recettes vous permettent de spécifier quel type de violations de sécurité génèrent un avertissement et quelles actions sont autorisées pour elles. Par exemple, vous pouvez détecter des seaux de stockage d'objets dont la visibilité est réglée à Public.
Appliquez le service de protection d'infrastructure en nuage au niveau de la location pour couvrir la portée la plus large et réduire le fardeau administratif lié à la maintenance de plusieurs configurations.
Vous pouvez également utiliser la fonction de liste gérée pour appliquer certaines configurations aux détecteurs.
- Zones de sécurité
Pour les ressources qui nécessitent une sécurité maximale, Oracle recommande d'utiliser des zones de sécurité. Une zone de sécurité est un compartiment associé à une recette de politiques de sécurité définie par Oracle et basée sur les meilleures pratiques. Par exemple, les ressources d'une zone de sécurité ne doivent pas être accessibles par l'Internet public et elles doivent être chiffrées à l'aide de clés gérées par le client. Lors de la création et de la mise à jour de ressources dans une zone de sécurité, Oracle Cloud Infrastructure valide les opérations en fonction des politiques de la recette de zone de sécurité et refuse les opérations qui violent l'une des politiques.
- Bande passante de l'équilibreur de charge
Lors de la création de l'équilibreur de charge, vous pouvez sélectionner une forme prédéfinie qui fournit une bande passante fixe, ou spécifier une forme personnalisée (flexible) dans laquelle vous définissez une plage de bande passante et laissez le service ajuster la bande passante automatiquement en fonction des modèles de trafic. Avec l'une ou l'autre approche, vous pouvez modifier la forme en tout temps après avoir créé l'équilibreur de charge.
Points à considérer
Lors de la mise en œuvre d'un cadre RTE multimodal, tenez compte des éléments suivants :
- Connectivité réseau
Nécessite une connectivité réseau robuste pour gérer efficacement les ressources informatiques distribuées.
- GPU
L'infrastructure d'IA comprend des grappes de calcul de haute performance avec du matériel spécialisé, tel que des processeurs graphiques, pour accélérer les calculs d'IA. Elle tire souvent parti des systèmes de stockage distribué pour gérer efficacement de grands jeux de données et peut impliquer des cadres et des bibliothèques d'IA spécialisés dans la formation et le déploiement de modèles d'IA. Utilisez la supergrappe OCI pour passer à 32 768 processeurs graphiques.
- Oracle Database 23ai
L'exploitation des technologies d'Oracle Database 23ai et l'assistance de l'IA procurent les avantages suivants :
- Réduisez le risque d'hallucinations : Tirez parti de la recherche vectorielle RAG et AI pour fournir des réponses plus précises aux questions en langage naturel lors de l'utilisation de LLM avec des données d'entreprise.
- Prise en charge des processeurs graphiques NVIDIA d'Oracle Autonomous Database : Accédez aux processeurs graphiques NVIDIA pour accélérer la performance de certaines opérations de données d'IA sans avoir à vous soucier du provisionnement ou de la gestion des serveurs GPU. Vous pouvez tirer parti d'Oracle Machine Learning Notebooks qui utilise des ensembles Python prenant en charge le processeur graphique pour les charges de travail gourmandes en ressources, telles que la génération d'intégrations vectorielles à l'aide de modèles de transformateur et la création de modèles d'apprentissage profond.
- Prise en charge étendue des LLM : aide les organisations à tirer davantage de valeur de l'IA générative grâce à l'intégration intégrée d'Oracle Autonomous Database à des LLM supplémentaires : Google Gemini, Anthropic Claude et Hugging Face. Autonomous Database s'intègre à 35 LLM différents pour sept fournisseurs afin de vous offrir un large choix pour la création d'applications GenDev.
- Améliorations apportées à l'IA de Data Studio : Préparez et chargez des données à l'aide du langage naturel, et utilisez un outil visuel de " glisser-déposer " pour créer des pipelines d'IA avec des intégrations de texte et de vecteurs d'image.
- Améliorations apportées à Graph Studio : Créez des modèles Operational Property Graph sans code, nouveaux dans Oracle Database 23ai, à l'aide de l'outil en libre-service intégré.
- Autonomous Database pour les développeurs : Accédez à l'ensemble étoffé de fonctions et d'outils fournis par Oracle Autonomous Database à un tarif horaire fixe. Il s'agit d'un point d'entrée plus faible et plus prévisible pour les cas d'utilisation de développement, avec un chemin de mise à niveau simple vers le déploiement en production.
- Multi-Cloud
La capacité d'OCI à travailler dans une architecture multinuage offre les avantages suivants :
- Vous permet de déployer des applications et des données dans divers emplacements, y compris sur place, sur des appareils en périphérie de réseau et dans des nuages publics.
- Offre une performance, une résilience et une localisation des données améliorées en fonction de l'emplacement de l'utilisateur.
- OCI est un hyperscaler capable de fournir plus de 150 services infonuagiques dans n'importe quel environnement, n'importe où. Vous pouvez également obtenir des services Oracle Database à partir des régions partenaires d'AWS, de Microsoft Azure et de Google Cloud.
Informations complémentaires
Consultez ces ressources supplémentaires pour en savoir plus sur les fonctions de cette architecture de référence.
- Documentation sur Oracle Cloud Infrastructure
- Documentation sur l'IA générative OCI
- IA générative OCI
- Annonce de la sélection d'intelligence artificielle avec génération augmentée d'extraction sur Autonomous Database (blogue)
- Cadre TEN
Vérifiez les ressources OCI suivantes :