TEN-Framework mit KI-Funktionen für Unternehmen bereitstellen
Zwei der größten Hürden für die breite Akzeptanz von Mensch-zu-KI-Sprachkonversationen sind Latenz (oder Verzögerung) und drahtlose Herausforderungen der letzten Meile wie schnell unterschiedliche Bandbreite und hoher Paketverlust. Das Software-Defined Real-Time Network (SD-RTN), ein Echtzeit-Overlay-Netzwerk für das Internet, wurde mit intelligentem Routing und Last-Meile-Optimierungen entwickelt, um höchste Qualität und geringste Latenz zu gewährleisten. Durch die Anwendung der Echtzeit-Netzwerkinfrastruktur von Agora auf sprachgesteuerte Konversations-KI können Menschen auf die gleiche Weise mit KI interagieren wie mit einem Menschen.
Das TEN-Framework bietet eine Echtzeit-Netzwerkinfrastruktur. Der TEN Agent ist unter der Open-Source-Lizenz Apache 2.0 lizenziert, während das TEN Framework eine hybride Open-Source-Lizenz verwendet. Agora bietet als primärer Unterstützer von TEN Konversations-KI-Services an, die mit dem Framework erstellt wurden. OCI kann die Rechenleistung bereitstellen, und Oracle Autonomous Database Select AI mit Unterstützung für RAG-Features ermöglicht es Ihnen, LLMs zu verwenden, um Erkenntnisse zu gewinnen oder innovative Inhalte basierend auf Ihren privaten Daten mithilfe von Eingabeaufforderungen in natürlicher Sprache zu generieren.
Architektur
Diese Architektur zeigt, wie Sie ein multimodales Voice-Agent-Modell erstellen können, das die KI-Technologien von Oracle und Agora für die KI-Infrastruktur verwendet.
Das folgende Diagramm zeigt ein Beispiel für ein kaskadiertes multimodales KI-Voice-Agent-Modell:
Beschreibung der Abbildung multimodal-voice-agents.png
Das Modell zeigt, wie Audio und Video vom Large Language Model (LLM) verarbeitet werden und umfasst die folgenden Komponenten:
- LLM auf OCI-VM bereitgestellt
- Sprache-zu-Text (STT)
- Text-to-Speech (TTS)
Die KI-Infrastruktur umfasst das zugrunde liegende Hardware- und Softwaresystem, das speziell für die anspruchsvollen rechnerischen Anforderungen von KI-Aufgaben entwickelt wurde. Sie können eine KI-Infrastruktur in einer einzigen OCI-Region bereitstellen oder eine Multicloud-Architektur bereitstellen, bei der die Verarbeitungsleistung auf mehrere geografisch verteilte Data Center verteilt ist, was eine flexible Bereitstellung von Anwendungen und Daten ermöglicht.
Das folgende Diagramm ist eine einzelne OCI-Region, in der ein TEN-(Transformative Extensions Network-)Agent auf einer VM installiert ist.
Beschreibung der Abbildung oci-ten-agent-deploy.png
oci-ten-agent-deploy-oracle.zip
Um eine schnellere Verarbeitung und größere Skalierbarkeit für große Datasets zu erreichen, stellen Sie eine Multicloud-Infrastruktur bereit, um KI-Algorithmen über mehrere Computing-Knoten hinweg auszuführen. Sie können eine verteilte KI-Architektur mit OCI-Regionen oder in einer Multicloud-Architektur verwenden. Eine verteilte Cloud nutzt die Leistungsfähigkeit einer Multicloud, um große KI-Aufgaben in kleinere Teile aufzuteilen und auf mehreren Knoten gleichzeitig auszuführen. Es ermöglicht auch ein schnelleres Training komplexer KI-Modelle auf umfangreichen Datensätzen. Es stellt jedoch Herausforderungen bei der Verwaltung der Datenkonsistenz und der Koordination von Berechnungen über verschiedene Knoten hinweg dar.
Die folgende Architektur verwendet eine Multicloud-Lösung mit Google Cloud und OCI, bei der Google Kubernetes Engine (GKE) den gesamten Trainings- und Inferenzierungsprozess orchestriert, während der rechenintensive Teil On-Demand an OCI AI Infrastructure ausgelagert wird.
Beschreibung der Abbildung oci-google-multiregion.png
OCI-google-multiregion-oracle.zip
Die Architekturen unterstützen die folgenden Komponenten:
- Region
Eine Oracle Cloud Infrastructure-Region ist ein lokalisierter geografischer Bereich, der mindestens ein Data Center enthält, das als Availability-Domain bezeichnet wird. Regionen sind unabhängig von anderen Regionen, und große Entfernungen können sie trennen (über Länder oder sogar Kontinente).
- Availability-Domain
Availability-Domains sind eigenständige, unabhängige Data Center innerhalb einer Region. Die physischen Ressourcen in jeder Availability-Domain sind von den Ressourcen in den anderen Availability-Domains isoliert, was eine Fehlertoleranz sicherstellt. Availability-Domains haben keine gemeinsame Infrastruktur wie Stromversorgung oder Kühlung oder das interne Availability-Domainnetzwerk. Daher sollte ein Fehler in einer Availability-Domain sich nicht auf die anderen Availability-Domains in der Region auswirken.
- Virtuelles Cloud-Netzwerk (VCN) und Subnetz
Ein VCN ist ein anpassbares, softwaredefiniertes Netzwerk, das Sie in einer Oracle Cloud Infrastructure-Region einrichten können. Wie herkömmliche Data Center-Netzwerke erhalten Sie mit VCNs die Kontrolle über Ihre Netzwerkumgebung. Ein VCN kann mehrere sich nicht überschneidende CIDR-Blöcke aufweisen, die Sie nach dem Erstellen des VCN ändern können. Sie können ein VCN in Subnetze segmentieren, die sich auf eine Region oder eine Availability-Domain beschränken. Jedes Subnetz besteht aus einem Bereich zusammenhängender Adressen, die sich nicht mit anderen Subnetzen im VCN überschneiden. Sie können die Größe eines Subnetzes nach der Erstellung ändern. Ein Subnetz kann öffentlich oder privat sein.
- Faultdomain
Eine Faultdomain ist eine Gruppierung aus Hardware und Infrastruktur innerhalb einer Availability-Domain. Jede Availability-Domain umfasst drei Faultdomains mit unabhängiger Stromversorgung und Hardware. Wenn Sie Ressourcen auf mehrere Faultdomains verteilen, können Ihre Anwendungen physische Serverausfälle, Systemwartungen und Stromausfälle innerhalb einer Faultdomain tolerieren.
- Load Balancer
Oracle Cloud Infrastructure Load Balancing ermöglicht automatisierte Trafficverteilung von einem einzelnen Einstiegspunkt auf mehrere Server.
- Autonomous Database
Oracle Autonomous Database ist eine vollständig verwaltete, vorkonfigurierte Datenbankumgebung, die Sie für Transaktionsverarbeitungs- und Data Warehousing-Workloads verwenden können. Sie müssen keine Hardware konfigurieren oder verwalten oder Software installieren. Mit Oracle Cloud Infrastructure können Sie die Datenbank erstellen, sichern, patchen, aktualisieren und optimieren.
- Identity and Access Management
Oracle Cloud Infrastructure Identity and Access Management (IAM) bietet Benutzerzugriffskontrolle für Oracle Cloud Infrastructure (OCI) und Oracle Cloud Applications. Mit der IAM-API und der Benutzeroberfläche können Sie Identitätsdomains und die darin enthaltenen Ressourcen verwalten. Jede OCI-IAM-Identitätsdomain stellt eine eigenständige Identity and Access Management-Lösung oder eine andere Benutzerpopulation dar.
- Policy
Eine Oracle Cloud Infrastructure Identity and Access Management-Policy gibt an, wer auf welche Ressourcen zugreifen kann und wie. Der Zugriff wird auf Gruppen- und Compartment-Ebene erteilt. Sie können also eine Policy schreiben, die einer Gruppe einen bestimmten Zugriffstyp in einem bestimmten Compartment oder dem Mandanten erteilt.
- Audit
Der Oracle Cloud Infrastructure Audit-Service zeichnet Aufrufe von allen öffentlichen Oracle Cloud Infrastructure-API-Endpunkten automatisch als Logereignisse auf. Alle OCI-Services unterstützen das Logging durch Oracle Cloud Infrastructure Audit.
- LoggingOracle Cloud Infrastructure Logging ist ein hoch skalierbarer und vollständig verwalteter Service, der Zugriff auf die folgenden Logtypen von Ihren Ressourcen in der Cloud ermöglicht:
- Auditlogs: Logs zu Ereignissen, die von OCI Audit erstellt werden.
- Servicelogs: Logs, die von einzelnen Services wie OCI API Gateway, OCI Events, OCI Functions, OCI Load Balancing, OCI Object Storage und VCN-Flowlogs veröffentlicht werden.
- Benutzerdefinierte Logs, die Diagnoseinformationen von benutzerdefinierten Anwendungen, andere Cloud-Provider oder eine On-Premise-Umgebung enthalten.
- Objektspeicher
Mit Oracle Cloud Infrastructure Object Storage können Sie schnell auf große Mengen an strukturierten und unstrukturierten Daten eines beliebigen Inhaltstyps zugreifen, darunter Datenbankbackups, Analysedaten und umfangreiche Inhalte, wie Bilder und Videos. Sie können Daten sicher und geschützt speichern und dann direkt aus dem Internet oder aus der Cloud-Plattform abrufen. Sie können den Speicher skalieren, ohne dass die Performance oder Servicezuverlässigkeit beeinträchtigt wird. Verwenden Sie Standardspeicher für "guten" Speicher, auf den Sie schnell, sofort und häufig zugreifen müssen. Verwenden Sie Archivspeicher für "Cold Storage", den Sie über lange Zeiträume beibehalten und auf den Sie nur selten zugreifen.
- Internetgateway
Ein Internetgateway ermöglicht Traffic zwischen den öffentlichen Subnetzen in einem VCN und dem öffentlichen Internet.
- Servicegateway
Das Servicegateway bietet Zugriff von einem VCN auf andere Services, wie Oracle Cloud Infrastructure Object Storage. Der Traffic vom VCN zum Oracle-Service wird über die Oracle-Netzwerkstruktur geleitet und durchläuft nicht das Internet.
- Web Application Firewall (WAF)
Oracle Cloud Infrastructure Web Application Firewall (WAF) ist ein mit der Zahlungskartenindustrie (PCI) konformer, regionaler Edge-Enforcement-Service, der an einen Enforcement Point angehängt ist, wie einen Load Balancer oder einen Domainnamen einer Webanwendung. WAF schützt Anwendungen vor schädlichem und unerwünschtem Internettraffic. WAF kann alle internetseitigen Endpunkt schützen und bietet eine konsistente Regeldurchsetzung über alle Anwendungen eines Kunden hinweg.
- FastConnect
Oracle Cloud Infrastructure FastConnect erstellt eine dedizierte, private Verbindung zwischen Ihrem Data Center und Oracle Cloud Infrastructure. FastConnect bietet Optionen mit höherer Bandbreite und ein zuverlässigeres Netzwerk als bei internetbasierten Verbindungen.
Die folgenden Drittanbieterkomponenten:
- TEN-Rahmen
Das TEN (Transformative Extensions Network) ist ein Open-Source-Framework, mit dem Entwickler schnell multimodale Echtzeitagenten (Sprache, Video, Datenstrom, Bild und Text) erstellen können. So können Entwickler ganz einfach experimentieren, große Sprachmodelle integrieren und wiederverwendbare Erweiterungen erstellen.
- TEN-Agent
Der TEN-Agent wird auf einer virtuellen Maschine installiert. Mit TEN können Sie Agents erstellen, die Anwendungsfälle wie Sprach-Chatbots, KI-generierte Besprechungsprotokolle, Sprachlehrer, Simultanübersetzer, virtuelle Begleiter, Beratung und vieles mehr unterstützen. Entwickler können eine Vielzahl von KI-Services und -Erweiterungen nutzen und die volle Flexibilität haben, um die KI-Agents der nächsten Generation zu erstellen, zu testen und einzuführen, die wie Menschen in Echtzeit denken, zuhören, sehen und interagieren können.
- Llama 3.2
Llama 3.2 ist eine leichte Version des Llama Large Language Model (LLM) von Meta AI. Llama 3.2 ist ein multimodales, autoregressives Sprachmodell, das Sie bei Aufgaben verwenden können, die Bilderkennung und Sprachverarbeitung erfordern.
- Deepgram
STT-Komponente (Sprache-zu-Text).
- Fischaudio
Text-to-Speech (TTS)-Komponente.
Empfehlungen
- VCN
Wenn Sie ein VCN erstellen, bestimmen Sie die Anzahl der erforderlichen CIDR-Blöcke und die Größe jedes Blocks basierend auf der Anzahl der Ressourcen, die Sie an Subnetze im VCN anhängen möchten. Verwenden Sie CIDR-Blöcke, die sich innerhalb des privaten IP-Standardadressraums befinden.
Wählen Sie CIDR-Blöcke aus, die sich nicht mit einem anderen Netzwerk (in Oracle Cloud Infrastructure, Ihrem On-Premise-Data Center oder einem anderen Cloud-Provider) überschneiden, zu dem Sie private Verbindungen einrichten möchten.
Nachdem Sie ein VCN erstellt haben, können Sie die CIDR-Blöcke ändern, hinzufügen und entfernen.
Berücksichtigen Sie beim Entwerfen der Subnetze Ihren Trafficfluss und Ihre Sicherheitsanforderungen. Hängen Sie alle Ressourcen innerhalb einer bestimmten Ebene oder Rolle an dasselbe Subnetz an, das als Sicherheitsgrenze dienen kann.
- Sicherheitslisten
Mit Sicherheitslisten können Sie Ingress- und Egress-Regeln definieren, die für das gesamte Subnetz gelten.
- Netzwerksicherheitsgruppen (NSGs)
Mit NSGs können Sie eine Gruppe von Ingress- und Egress-Regeln definieren, die für bestimmte VNICs gelten. Wir empfehlen die Verwendung von NSGs und nicht von Sicherheitslisten, da NSGs es Ihnen ermöglichen, die Subnetzarchitektur des VCN von den Sicherheitsanforderungen Ihrer Anwendung zu trennen.
- Cloud Guard
Klonen und passen Sie die von Oracle bereitgestellten Standardrezepte an, um benutzerdefinierte Detektorrezepte und Responder-Rezepte zu erstellen. Mit diesen Rezepten können Sie angeben, welche Art von Sicherheitsverletzungen eine Warnung generieren und welche Aktionen für sie ausgeführt werden dürfen. Beispiel: Sie möchten Objektspeicher-Buckets ermitteln, deren Sichtbarkeit auf "Öffentlich" gesetzt ist.
Wenden Sie Cloud Guard auf Mandantenebene an, um den breitesten Geltungsbereich abzudecken und den Verwaltungsaufwand für die Verwaltung mehrerer Konfigurationen zu reduzieren.
Sie können auch das Feature "Verwaltete Liste" verwenden, um bestimmte Konfigurationen auf Detektoren anzuwenden.
- Sicherheitszonen
Für Ressourcen, die maximale Sicherheit erfordern, empfiehlt Oracle die Verwendung von Sicherheitszonen. Eine Sicherheitszone ist ein Compartment, das mit einem von Oracle definierten Rezept von Sicherheits-Policys verknüpft ist, die auf Best Practices basieren. Beispiel: Die Ressourcen in einer Sicherheitszone dürfen nicht über das öffentliche Internet zugänglich sein und müssen mit vom Kunden verwalteten Schlüsseln verschlüsselt werden. Wenn Sie Ressourcen in einer Sicherheitszone erstellen und aktualisieren, validiert Oracle Cloud Infrastructure die Vorgänge anhand der Policys im Rezept der Sicherheitszone und lehnt Vorgänge ab, die gegen eine der Policys verstoßen.
- Load-Balancer-Bandbreite
Beim Erstellen des Load Balancers können Sie entweder eine vordefinierte Ausprägung auswählen, die eine feste Bandbreite bereitstellt, oder eine benutzerdefinierte (flexible) Ausprägung angeben, in der Sie einen Bandbreitenbereich festlegen und den Service die Bandbreite automatisch basierend auf Trafficmustern skalieren lassen. Bei beiden Verfahren können Sie die Ausprägung nach dem Erstellen des Load Balancers jederzeit ändern.
Hinweise
Berücksichtigen Sie bei der Implementierung eines multimodalen TEN-Rahmens Folgendes:
- Netzwerkverbindungen
Erfordert robuste Netzwerkkonnektivität, um verteilte Computing-Ressourcen effektiv zu verwalten.
- GPUs
Die KI-Infrastruktur umfasst Hochleistungs-Computing-Cluster mit spezieller Hardware, wie GPUs, um KI-Berechnungen zu beschleunigen. Es nutzt häufig verteilte Speichersysteme, um große Datensätze effizient zu verarbeiten, und kann spezialisierte KI-Frameworks und -Bibliotheken für das Training und die Bereitstellung von KI-Modellen umfassen. Mit OCI Supercluster können Sie auf bis zu 32.768 GPUs skalieren.
- Oracle Database 23ai
Die Nutzung von Oracle Database 23ai-Technologien und KI-Unterstützung bietet die folgenden Vorteile:
- Reduzieren Sie das Risiko von Halluzinationen: Nutzen Sie die RAG- und KI-Vektorsuche, um präzisere Antworten auf Fragen in natürlicher Sprache bereitzustellen, wenn Sie LLMs mit Unternehmensdaten verwenden.
- Oracle Autonomous Database NVIDIA-GPU-Unterstützung: Greifen Sie auf NVIDIA-GPUs zu, um die Performance bestimmter KI-Datenvorgänge zu beschleunigen, ohne sich um das Provisioning oder die Verwaltung von GPU-Servern kümmern zu müssen. Sie können die Vorteile von Oracle Machine Learning Notebooks nutzen, die GPU-fähige Python-Packages für ressourcenintensive Workloads verwenden, wie das Generieren von Vektoreinbettungen mit Transformermodellen und das Erstellen von Deep Learning-Modellen.
- Breitere Unterstützung für LLMs: Hilft Unternehmen, mehr Wert von generativer KI mit integrierter Integration von Oracle Autonomous Database zu zusätzlichen LLMs zu erhalten: Google Gemini, Anthropic Claude und Hugging Face. Autonomous Database lässt sich mit 35 verschiedenen LLMs über sieben Provider hinweg integrieren, um Ihnen eine große Auswahl beim Erstellen von GenDev-Anwendungen zu bieten.
- KI-Verbesserungen von Data Studio: Bereiten Sie Daten in natürlicher Sprache vor und laden Sie sie, und verwenden Sie ein visuelles "Drag-and-Drop"-Tool, um KI-Pipelines mit Text- und Bildvektoreinbettungen zu erstellen.
- Graph Studio-Verbesserungen: Erstellen Sie Operational Property Graph-Modelle ohne Code, neu in Oracle Database 23ai, mit dem integrierten Selfservice-Tool.
- Autonomous Database für Entwickler: Greifen Sie stündlich pauschal auf die zahlreichen Features und Tools zu, die von Oracle Autonomous Database bereitgestellt werden. Dies bietet einen niedrigeren und vorhersehbareren Einstiegspunkt für Anwendungsfälle in der Entwicklung mit einem einfachen Upgradepfad zur Produktionsbereitstellung.
- Multicloud
Die Fähigkeit von OCI, in einer Multicloud-Architektur zu arbeiten, bietet die folgenden Vorteile:
- Ermöglicht die Bereitstellung von Anwendungen und Daten an verschiedenen Standorten, einschließlich On Premise, Edge-Geräten und Public Clouds.
- Bietet verbesserte Performance, Resilienz und Datenlokalität, je nachdem, wo sich der Benutzer befindet.
- OCI ist ein Hyperscaler, der in der Lage ist, mehr als 150 Cloud-Services in jeder Umgebung und überall bereitzustellen. Oder holen Sie sich Oracle Database-Services aus den Partnerregionen AWS, Microsoft Azure und Google Cloud.
Mehr erfahren
Lesen Sie diese zusätzlichen Ressourcen, um mehr über die Features dieser Referenzarchitektur zu erfahren.
- Oracle Cloud Infrastructure-Dokumentation
- Dokumentation zu OCI Generative AI
- OCI Generative AI
- Ankündigung von Select AI mit Retrieval Augmented Generation (RAG) auf Autonomous Database (Blog)
- TEN-Rahmen
Prüfen Sie die folgenden OCI-Ressourcen: