A propos du déploiement d'une structure TEN avec des fonctionnalités d'IA d'entreprise
Deux des plus grands obstacles à l'adoption généralisée des conversations vocales interpersonnelles sont la latence (ou le retard) et les défis du dernier kilomètre sans fil, tels que la variation rapide de la bande passante et la perte de paquets élevée. Le réseau en temps réel défini par logiciel (SD-RTN) d'Agora, un réseau de recouvrement en temps réel pour Internet, est conçu avec un routage intelligent et des optimisations du dernier kilomètre pour assurer la plus haute qualité et la latence la plus faible. L'application de l'infrastructure réseau en temps réel d'Agora à l'IA conversationnelle vocale permet aux humains d'interagir avec l'IA de la même manière qu'avec un humain.
Le cadre RTE fournit une infrastructure réseau en temps réel. L'agent TEN est sous licence open source Apache 2.0, tandis que le framework TEN utilise une licence open source hybride. Agora, en tant que principal partisan de TEN, propose des services d'IA conversationnelle construits avec le cadre. OCI peut fournir la puissance de calcul et Oracle Autonomous Database Select AI avec la prise en charge des fonctionnalités RAG vous permet d'utiliser des LLM pour obtenir des informations ou générer du contenu innovant en fonction de vos données privées à l'aide d'invites en langage naturel.
Architecture
Cette architecture montre comment créer un modèle d'agent vocal multimodal qui utilise les technologies d'IA d'Oracle et d'Agora pour l'infrastructure d'IA.
Le diagramme suivant est un exemple de modèle d'agent vocal AI multimodal en cascade :
Description de l'image multimodal-voice-agents.png
Le modèle montre comment l'audio et la vidéo sont traités par le grand modèle de langage (LLM) et comprend les composants suivants :
- LLM déployé sur une machine virtuelle OCI
- Reconnaissance vocale (Speech-to-text, STT)
- Synthèse vocale (TTS)
L'infrastructure d'IA comprend le système matériel et logiciel sous-jacent conçu spécifiquement pour répondre aux besoins de calcul exigeants des tâches d'IA. Vous pouvez déployer une infrastructure d'IA dans une seule région OCI ou déployer une architecture multicloud où la puissance de traitement est répartie sur plusieurs centres de données géographiquement dispersés, ce qui permet un déploiement flexible des applications et des données.
Le diagramme suivant est une région OCI unique avec un agent TEN (Transformative Extensions Network) installé sur une machine virtuelle.
Description de l'image oci-ten-agent-deploy.png
oci-ten-agent-deploy-oracle.zip
Pour un traitement plus rapide et une plus grande évolutivité des ensembles de données volumineux, déployez une infrastructure multicloud pour exécuter des algorithmes d'IA sur plusieurs nœuds de calcul. Vous pouvez utiliser une architecture d'IA distribuée avec les régions OCI ou dans une architecture multicloud. Un cloud distribué tire parti de la puissance d'un multicloud pour diviser de grandes tâches d'IA en parties plus petites et les exécuter sur plusieurs nœuds simultanément. Il permet également d'entraîner plus rapidement des modèles d'IA complexes sur des ensembles de données massifs. Toutefois, elle présente des difficultés pour gérer la cohérence des données et coordonner les calculs entre les différents noeuds.
L'architecture suivante utilise une solution multicloud avec Google Cloud et OCI où Google Kubernetes Engine (GKE) orchestre le processus global d'entraînement et d'inférence tout en déchargeant la partie à forte intensité de calcul vers OCI AI Infrastructure à la demande.
Description de l'image oci-google-multiregion.png
oci-google-multiregion-oracle.zip
Les architectures prennent en charge les composants suivants :
- Région
Une région Oracle Cloud Infrastructure est une zone géographique précise, incluant un ou plusieurs centres de données, appelés domaines de disponibilité. Les régions sont indépendantes les unes des autres et de grandes distances peuvent les séparer (entre pays, voire continents).
- Domaine de disponibilité
Les domaines de disponibilité sont des centres de données autonomes indépendants au sein d'une région. Les ressources physiques de chaque domaine de disponibilité sont isolées de celles des autres, ce qui garantit la tolérance aux pannes. Les domaines de disponibilité ne partagent ni infrastructure (par exemple, alimentation, système de refroidissement), ni réseau de domaine de disponibilité interne. Par conséquent, une panne sur un domaine de disponibilité ne doit pas affecter les autres domaines de disponibilité de la région.
- Réseau cloud virtuel (VCN) et sous-réseau
Un VCN est un réseau personnalisable défini par logiciel que vous configurez dans une région Oracle Cloud Infrastructure. Comme les réseaux de centre de données traditionnels, les réseaux cloud virtuels vous donnent le contrôle sur l'environnement réseau. Un réseau cloud virtuel peut comporter plusieurs blocs CIDR qui ne se chevauchent pas et que vous pouvez modifier après l'avoir créé. Vous pouvez segmenter un réseau cloud virtuel en plusieurs sous-réseaux ciblant une région ou un domaine de disponibilité. Chaque sous-réseau est composé d'une plage contiguë d'adresses qui ne chevauchent pas celles des autres sous-réseaux du réseau cloud virtuel. Vous pouvez modifier la taille d'un sous-réseau après sa création. Un sous-réseau peut être public ou privé.
- Domaine de pannes
Un domaine de pannes est un regroupement de matériel et d'infrastructures au sein d'un domaine de disponibilité. Chaque domaine de disponibilité comporte trois domaines de pannes avec du matériel et une alimentation indépendants. Lorsque vous répartissez les ressources entre plusieurs domaines de pannes, vos applications peuvent tolérer les pannes physiques du serveur, la maintenance du système et les pannes d'alimentation au sein d'un domaine de pannes.
- Equilibreur de charge
Oracle Cloud Infrastructure Load Balancing fournit une répartition de trafic automatisée à partir d'un point d'entrée unique vers plusieurs serveurs.
- Autonomous Database
Oracle Autonomous Database est un environnement de base de données entièrement géré et préconfiguré que vous pouvez utiliser pour le traitement des transactions et les charges de travail d'entreposage de données. Vous n'avez pas à configurer ni à gérer le matériel, ni à installer de logiciel. Oracle Cloud Infrastructure gère la création, la sauvegarde, l'application de patches, la mise à niveau et le réglage de la base de données.
- Identity and Access Management
Oracle Cloud Infrastructure Identity and Access Management (IAM) fournit le contrôle d'accès utilisateur pour Oracle Cloud Infrastructure (OCI) et Oracle Cloud Applications. L'API IAM et l'interface utilisateur vous permettent de gérer les domaines d'identité et les ressources qu'ils contiennent. Chaque domaine d'identité OCI IAM représente une solution autonome de gestion des identités et des accès ou une population d'utilisateurs différente.
- Règle
Une stratégie Oracle Cloud Infrastructure Identity and Access Management indique qui peut accéder à quelles ressources et comment. L'accès est accordé au niveau d'un groupe et d'un compartiment, ce qui signifie que vous pouvez écrire une stratégie qui offre à un groupe un type d'accès spécifique dans un compartiment donné ou dans la location.
- Audit
Le service Oracle Cloud Infrastructure Audit enregistre automatiquement les appels vers toutes les adresses d'API publiques Oracle Cloud Infrastructure prises en charge en tant qu'événements de journal. Tous les services OCI prennent en charge la journalisation par Oracle Cloud Infrastructure Audit.
- LoggingOracle Cloud Infrastructure Logging est un service entièrement géré et hautement évolutif qui permet d'accéder aux types de journal suivants à partir des ressources du cloud :
- Journaux d'audit : journaux liés aux événements produits par OCI Audit.
- Journaux de service : journaux publiés par des services individuels, tels qu'OCI API Gateway, OCI Events, OCI Functions, OCI Load Balancing, OCI Object Storage et journaux de flux VCN.
- Journaux personnalisés : journaux contenant des informations de diagnostic issues d'applications personnalisées, d'autres fournisseurs cloud ou d'un environnement sur site.
- Object Storage
Oracle Cloud Infrastructure Object Storage fournit un accès rapide à de grandes quantités de données, structurées ou non, de tout type de contenu, y compris des sauvegardes de base de données, des données analytiques et du contenu enrichi tel que des images et des vidéos. Vous pouvez stocker les données, puis les extraire directement à partir d'Internet ou de la plate-forme cloud, et ce, en toute sécurité. Vous pouvez redimensionner le stockage sans dégradation des performances ni de la fiabilité des services. Utilisez le stockage standard pour le stockage "à chaud" auquel vous devez accéder rapidement, immédiatement et fréquemment. Utilisez le stockage d'archive pour le stockage "à froid" que vous conservez pendant de longues périodes et auquel vous accédez rarement.
- Passerelle Internet
Une passerelle Internet autorise le trafic entre les sous-réseaux publics d'un VCN et le réseau Internet public.
- Passerelle de service
La passerelle de service fournit un accès à partir d'un VCN à d'autres services, tels qu'Oracle Cloud Infrastructure Object Storage. Le trafic entre le VCN et le service Oracle passe par la structure du réseau Oracle et ne traverse pas Internet.
- Web Application Firewall (WAF)
Oracle Cloud Infrastructure Web Application Firewall (WAF) est un service de mise en application en périphérie basé sur les régions et compatible avec le secteur des cartes de paiement qui est attaché à un point de mise en application, tel qu'un équilibreur de charge ou un nom de domaine d'application Web. WAF protège les applications du trafic Internet malveillant et indésirable. WAF peut protéger toutes les adresses Internet, en assurant l'exécution cohérente des règles sur les différentes applications d'un client.
- FastConnect
Oracle Cloud Infrastructure FastConnect crée une connexion privée dédiée entre le centre de données et Oracle Cloud Infrastructure. FastConnect offre des options de bande passante plus élevée et une expérience de réseau plus fiable par rapport aux connexions Internet.
Les composants tiers suivants :
- Cadre RTE
Le réseau TEN (Transformative Extensions Network) est un framework open source qui permet aux développeurs de créer rapidement des agents multimodaux en temps réel (voix, vidéo, flux de données, image et texte), ce qui facilite l'expérimentation, l'intégration de grands modèles de langage et la création d'extensions réutilisables.
- Agent TEN
L'agent TEN est installé sur une machine virtuelle. Vous pouvez utiliser TEN pour créer des agents prenant en charge des cas d'utilisation tels que les chatbots vocaux, les minutes de réunion générées par l'IA, les tuteurs de langue, les traducteurs simultanés, les compagnons virtuels, le conseil et bien plus encore. Les développeurs peuvent tirer parti d'un ensemble diversifié de services et d'extensions d'IA et avoir la flexibilité totale pour créer, tester et déployer les agents d'IA de nouvelle génération, qui peuvent penser, écouter, voir et interagir comme le font les humains en temps réel.
- Llama 3.2
Llama 3.2 est une version légère du grand modèle de langage (LLM) Llama de Meta AI. Llama 3.2 est un modèle de langage auto-régressif multimodal que vous pouvez utiliser dans des tâches nécessitant la reconnaissance d'images et le traitement du langage.
- Deepgram
Composant Reconnaissance vocale (Speech-to-text, STT).
- Poissonaudio
Composant de synthèse vocale (TTS).
Recommandations
- VCN
Lorsque vous créez un VCN, déterminez le nombre de blocs CIDR requis et la taille de chaque bloc en fonction du nombre de ressources que vous prévoyez d'attacher à des sous-réseaux dans le VCN. Utilisez des blocs CIDR qui se trouvent dans l'espace d'adresse IP privée standard.
Sélectionnez les blocs CIDR qui ne chevauchent aucun autre réseau (dans Oracle Cloud Infrastructure, votre centre de données sur site ou un autre fournisseur cloud) auquel vous avez l'intention de configurer des connexions privées.
Après avoir créé un VCN, vous pouvez modifier, ajouter et supprimer ses blocs CIDR.
Lorsque vous concevez les sous-réseaux, tenez compte du flux de trafic et des exigences de sécurité. Attachez toutes les ressources d'un niveau ou d'un rôle spécifique au même sous-réseau, qui peut servir de limite de sécurité.
- Listes de sécurité
Utilisez des listes de sécurité pour définir des règles entrantes et sortantes qui s'appliquent à l'ensemble du sous-réseau.
- Groupes de sécurité réseau
Vous pouvez utiliser des groupes de sécurité réseau pour définir un ensemble de règles entrantes et sortantes qui s'appliquent à des cartes d'interface réseau virtuelles spécifiques. Nous vous recommandons d'utiliser des groupes de sécurité réseau plutôt que des listes de sécurité, car ces derniers vous permettent de séparer l'architecture de sous-réseau du VCN des exigences de sécurité de votre application.
- Cloud Guard
Cloner et personnaliser les recettes par défaut fournies par Oracle afin de créer des recettes de détecteur et de répondeur personnalisées. Ces recettes vous permettent de spécifier le type de violation de sécurité qui génère un avertissement et les actions autorisées à y être exécutées. Par exemple, vous pouvez détecter les buckets Object Storage dont la visibilité est définie sur Public.
Appliquez Cloud Guard au niveau de la location pour couvrir la portée la plus large et réduire la charge administrative liée à la maintenance de plusieurs configurations.
Vous pouvez également utiliser la fonction Liste gérée pour appliquer certaines configurations aux détecteurs.
- Security Zones
Pour les ressources nécessitant une sécurité maximale, Oracle vous recommande d'utiliser des zones de sécurité. Une zone de sécurité est un compartiment associé à une recette de stratégies de sécurité définie par Oracle qui repose sur les meilleures pratiques. Par exemple, les ressources d'une zone de sécurité ne doivent pas être accessibles à partir du réseau Internet public et doivent être cryptées à l'aide de clés gérées par le client. Lorsque vous créez et mettez à jour des ressources dans une zone de sécurité, Oracle Cloud Infrastructure valide les opérations par rapport aux stratégies de la recette de zone de sécurité et refuse les opérations qui enfreignent l'une des stratégies.
- Bande passante d'équilibreur de charge
Lors de la création de l'équilibreur de charge, vous pouvez sélectionner une forme prédéfinie qui fournit une bande passante fixe ou indiquer une forme personnalisée (flexible) dans laquelle vous définissez une plage de bande passante et laisser le service redimensionner automatiquement la bande passante en fonction des modèles de trafic. Dans l'une ou l'autre approche, vous pouvez modifier la forme à tout moment après avoir créé l'équilibreur de charge.
Points à prendre en compte
Lors de la mise en œuvre d'un cadre RTE multimodal, tenez compte des éléments suivants :
- Connectivité réseau
Nécessite une connectivité réseau robuste pour gérer efficacement les ressources de calcul distribué.
- GPU
L'infrastructure d'IA inclut des clusters de calcul hautes performances avec du matériel spécialisé, tel que des GPU, pour accélérer les calculs d'IA. Il tire souvent parti des systèmes de stockage distribués pour gérer efficacement de grands ensembles de données et peut impliquer des structures et des bibliothèques d'IA spécialisées pour l'entraînement et le déploiement de modèles d'IA. Utilisez OCI Supercluster pour évoluer jusqu'à 32 768 GPU.
- Oracle Database 23ai
Tirer parti des technologies Oracle Database 23ai et assisté par l'IA offre les avantages suivants :
- Réduisez le risque d'hallucinations : tirez parti de la RAG et de la recherche vectorielle d'IA pour fournir des réponses plus précises aux questions en langage naturel lorsque vous utilisez des LLM avec des données d'entreprise.
- Prise en charge des GPU NVIDIA Oracle Autonomous Database : accédez aux GPU NVIDIA pour accélérer les performances de certaines opérations de données d'IA sans avoir à vous soucier du provisionnement ou de la gestion des serveurs GPU. Vous pouvez tirer parti des blocs-notes Oracle Machine Learning Notebooks qui utilisent des packages Python compatibles GPU pour des charges de travail gourmandes en ressources, telles que la génération d'intégrations vectorielles à l'aide de modèles de transformateur et la création de modèles de deep learning.
- Prise en charge plus large des LLM : aide les entreprises à tirer davantage parti de l'IA générative grâce à l'intégration intégrée d'Oracle Autonomous Database à des LLM supplémentaires : Google Gemini, Anthropic Claude et Hugging Face. Autonomous Database s'intègre à 35 LLM différents sur sept fournisseurs pour vous offrir un large choix de création d'applications GenDev.
- Améliorations apportées à l'IA de Data Studio : préparez et chargez des données en langage naturel, et utilisez un outil visuel de glisser-déplacer pour créer des pipelines d'IA avec des incorporations de texte et d'image vectorielles.
- Améliorations de Graph Studio : créez des modèles de graphes de propriétés opérationnelles sans code, nouveaux dans Oracle Database 23ai, à l'aide de l'outil en libre-service intégré.
- Autonomous Database pour les développeurs : accédez au riche ensemble de fonctionnalités et d'outils fournis par Oracle Autonomous Database à un tarif horaire fixe. Cela fournit un point d'entrée inférieur et plus prévisible pour les cas d'utilisation de développement avec un chemin de mise à niveau simple vers le déploiement de production.
- Multicloud
La capacité d'OCI à travailler dans une architecture multicloud offre les avantages suivants :
- Permet de déployer des applications et des données à différents emplacements, y compris sur site, les appareils en périphérie et les clouds publics.
- Offre des performances, une résilience et une localisation des données améliorées en fonction de l'emplacement de l'utilisateur.
- OCI est un hyperscaler capable de fournir plus de 150 services cloud dans n'importe quel environnement, n'importe où. Vous pouvez également obtenir des services Oracle Database auprès des régions partenaires AWS, Microsoft Azure et Google Cloud.
En savoir plus
Consultez ces ressources supplémentaires pour en savoir plus sur les fonctionnalités de cette architecture de référence.
- Documentation Oracle Cloud Infrastructure
- Documentation OCI Generative AI
- OCI Generative AI
- Annonce de Select AI with Retrieval Augmented Generation (RAG) sur Autonomous Database (blog)
- Cadre RTE
Consultez les ressources OCI suivantes :