Erweiterte Generation (RAG) für generative KI-Abruf für Multicloud bereitstellen
Verwenden Sie OCI Generative AI und Oracle Integration in einer Multicloud-Lösung wie Oracle Cloud Infrastructure und Microsoft Azure, um relevante Organisationsdaten abzufragen und damit kontextualisierte Antworten bereitzustellen.
In einer RAG-Architektur kann Oracle Integration die Rolle eines Datenorchestrators übernehmen und sicherstellen, dass alle relevanten Datenquellen zum Abrufen verfügbar sind. Dann übernehmen Oracle Cloud Infrastructure Generative AI Agents die Nutzung dieser Daten, um kontextbezogene Antworten bereitzustellen.
OCI GenAI-Agents verarbeiten diese Daten, um eine kontextbezogene Antwort bereitzustellen, indem die abgerufenen Dokumente eingebettet und die generierten Antworten durch Abfragen des Large Language Model (LLM) verbessert werden.
Während also beide am Datenlebenszyklus beteiligt sind, sind ihre Rollen unterschiedlich, aber komplementär beim Aufbau einer Multi-Cloud-RAG-Architektur.
Dieser Multicloud-RAG-Ansatz bietet:
- Multicloud-Flexibilität: Die Architektur integriert mehrere Cloud-Plattformen (OCI und Azure), sodass sie an die Datenlandschaft in Unternehmen angepasst werden kann.
- Leistungsstarke Konnektivität: Oracle Interconnect for Microsoft Azure stellt eine schnelle, sichere und zuverlässige Datenübertragung zwischen Cloud-Umgebungen sicher.
- Generierung von dynamischem Inhalt: Der Agent bezieht die aktuellsten Informationen aus unterschiedlichen Quellen und stellt sicher, dass die LLM-Antworten korrekt und relevant sind.
- Eingebettete Dokumentsuche: Durch die Verwendung von Einbettungen und semantischer Suche können OCI GenAI-Agents tiefere Einblicke basierend auf Kontext bereitstellen, anstatt nur Stichwortübereinstimmungen zu verwenden.
Architektur
Diese Multicloud-Lösung bezieht Daten von Microsoft Azure und Oracle Cloud Infrastructure (OCI), sodass Oracle Cloud Infrastructure Generative AI Agents auf eine breitere Palette aktueller Informationen zugreifen können.
OCI GenAI-Agents und Oracle Integration unterstützen gemeinsam das Abrufen, Erweitern und Generieren von (RAG-)Services, um kontextualisierte Ergebnisse bereitzustellen.
OCI GenAI-Agents konzentrieren sich insbesondere auf die Verwendung generativer KI, um auf Benutzerabfragen zu reagieren, indem sie relevante Informationen aus Wissensdatenbanken oder Dokumenten abrufen, um Antworten zu generieren. Der Agent bietet angereicherte, kontextbezogene Antworten, indem er fortschrittliche KI-Techniken, Einbettungen und Dokument-Chunking nutzt, um relevante Inhalte zu verstehen und zu generieren:
- Abrufen: Extrahieren Sie relevante Daten aus den Wissensquellen, in der Regel durch erweiterte hybride Suche, die lexikalische und semantische Suche kombiniert.
- Erweiterung: Verwenden Sie die abgerufenen Daten, um Kontext für eine Abfrage bereitzustellen und sicherzustellen, dass das generative KI-Modell über die erforderlichen Informationen verfügt.
- Generieren: Verwenden Sie große Sprachmodelle (LLMs), um kontextbezogene Antworten auf Benutzerfragen zu generieren, die häufig durch die in den vorherigen Schritten abgerufenen Daten verbessert werden.
Oracle Integration hingegen stellt Integrationsservices bereit, die verschiedene Anwendungen und Systeme verbinden, sodass Datenflüsse über mehrere Umgebungen hinweg orchestriert werden können:
- Abruf: Ermöglicht den Datenabruf aus verschiedenen Quellen, indem Konnektivitäts-Agents verwendet werden, um eine private Verbindung zu verschiedenen Datenquellen oder Services (Datenbank, REST-APIs, Cloud-Speicher usw.) auf Azure oder anderen Hyperscalern herzustellen.
- Orchestrieren/Ergänzen: Orchestriert Workflows und integriert Daten aus mehreren Quellen und erweitert Prozesse, indem Daten durch vorkonfigurierte oder dynamische Transformationen angereichert werden.
- Data Flow verwalten: Im Gegensatz zum RAG-Agent konzentriert sich Oracle Integration nicht darauf, Antworten aus Daten zu generieren, sondern auf das reibungslose Verschieben und Transformieren von Daten zwischen Systemen und Anwendungen, um sicherzustellen, dass alle relevanten Daten für verschiedene Services verfügbar sind.
| Funktionsbereich | OCI-GenAI-Agents | Oracle Integration |
|---|---|---|
| Zweck | Entwickelt, um KI-gesteuerte Antworten bereitzustellen, indem Daten abgerufen, erweitert und ein LLM zur Generierung von Antworten verwendet wird. | Entwickelt für die Integration und Orchestrierung von Daten über mehrere Anwendungen hinweg und bietet nahtlose Datenkonnektivität ohne die LLM-gesteuerten Generierungsfunktionen. |
| Datenhandling | Verwendet Daten, um kontextbezogene Antworten in natürlicher Sprache zu generieren. | Verarbeitet den Datenfluss zwischen Anwendungen und fungiert als Brücke zwischen Systemen, ohne Inhalte auf die gleiche Weise wie ein LLM zu generieren. |
| Generative Funktionen | Hat generative KI-Funktionen und verwendet LLMs, um dialogorientierte Antworten oder andere Ausgaben zu generieren. | Verfügt nicht über generative KI-Funktionen und wird verwendet, um Daten über Services hinweg zu verbinden, abzurufen und zu transformieren. |
Das folgende Diagramm veranschaulicht den Datenfluss durch die Architektur:
Multicloud-genai-rag-process-oracle.zip
- Der Benutzer interagiert je nach Implementierung mit Oracle Digital Assistant oder OCI GenAI-Agents, um Benutzerabfragen und -aufforderungen zu übermitteln.
- Oracle Integration orchestriert Aufrufe zwischen verschiedenen Komponenten: Abrufen aus Datenquellen, Verarbeitung der Dokumentaufnahme und Weiterleitung von Benutzer-Prompts nachgelagert.
- Datenquellen:
- Oracle Interconnect for Microsoft Azure stellt eine Verbindung mit hoher Bandbreite zwischen OCI und Azure für Dokument-Repositorys, Oracle AI Database@Azure usw. bereit.
- Lokale Datei-Repositorys stellen On-Premise- oder lokale Dateien für die Aufnahme bereit.
- OCI-Services, wie Oracle Fusion Cloud Enterprise Resource Planning.
- Oracle AI Database@Azure in einem delegierten Subnetz für die Datenfreigabe über von Oracle verwaltete Services auf Azure hinweg.
- Der Prozess zur Aufnahme, Blockierung und Einbettung von Dokumenten kann auf verschiedene Arten implementiert werden:
- Oracle Integration (mit eingebetteten JavaScript- oder benutzerdefinierten Librarys) führt Chunking aus und ruft OCI Generative AI zum Einbetten auf.
- OCI Functions empfängt Dokumente, chunksiert sie und ruft dann OCI Generative AI für Einbettungen auf.
- Oracle Autonomous AI Database führt Chunking und Einbettung mit Vektorfunktionalität durch.
Das Standardergebnis ist eine Reihe von Chunk-Text- und Vektoreinbettungen, die vollständig im Multicloud-Kontext verwaltet werden.
- Vektoren und Chunks werden in Oracle Autonomous AI Database gespeichert:
- Der typische Ansatz besteht darin, Einbettungen im Vektorindex von Oracle Autonomous AI Database zu speichern.
- Der Chunk-Text selbst kann auch direkt in einem Datenbank-CLOB (zum schnellen Abruf) oder als Referenzen, die auf den Chunk-Text in OCI Object Storage oder in Azure Data Lake verweisen, gespeichert werden.
- OCI Object Storage kann die ursprünglichen Dokumente bei Bedarf speichern, aber Sie müssen die Einbettungen dort nicht unbedingt beibehalten, wenn Sie den Vektorspeicher in der Datenbank abfragen.
- Wenn der Benutzer eine Frage auffordert, ruft OCI GenAI Agents (oder der digitale Assistent) Oracle Autonomous AI Database auf, um eine Vektorähnlichkeitssuche mit der Einbettung des Benutzer-Prompts durchzuführen, um die am besten übereinstimmenden Chunks basierend auf Vektorähnlichkeitsscores zu identifizieren.
- OCI Generative AI generiert Einbettungen für Fragen und Dokumentabschnitte und generiert Antworten mit LLM-Modellen, die kontextbezogene Antworten bereitstellen. Chunk-Abruf und LLM-Antwort hängen auch von der Implementierung ab:
- Wenn Chunk-Text in der Datenbank gespeichert ist, kann er direkt abgerufen werden.
- Wenn nur Referenzen gespeichert werden, ruft das System den tatsächlichen Chunk-Inhalt schnell aus OCI Object Storage, Azure Data Lake oder einem anderen Repository ab.
- Die relevanten Chunks werden dann zusammen mit der ursprünglichen Eingabeaufforderung des Benutzers an den LLM in OCI Generative AI weitergeleitet, um eine kontextbezogen angereicherte Antwort zu erstellen.
- Die endgültige Antwort wird entweder vom Oracle Digital Assistant oder von der OCI GenAI Agents-Schnittstelle zurückgegeben, je nachdem, mit welchem Frontend der Benutzer verbunden ist.
Das folgende Diagramm zeigt die Architektur:
Multi-Cloud-Genai-Rag-Architektur-oracle.zip
- Microsoft Azure-Region
Eine Azure-Region ist ein geografisches Gebiet, in dem sich ein oder mehrere physische Azure-Rechenzentren, sogenannte Verfügbarkeitszonen, befinden. Regionen sind unabhängig von anderen Regionen, und große Entfernungen können sie trennen (über Länder oder sogar Kontinente).
Azure- und OCI-Regionen sind lokalisierte geografische Gebiete. Für Oracle AI Database@Azure ist eine Azure-Region mit einer OCI-Region verbunden, wobei Availability Zones (AZs) in Azure mit Availability-Domains (ADs) in OCI verbunden sind. Azure- und OCI-Regionspaare werden ausgewählt, um Entfernung und Latenz zu minimieren.
- Microsoft Azure-Verfügbarkeitszone
Eine Verfügbarkeitszone ist ein physisch getrenntes Data Center innerhalb einer Region, die hochverfügbar und fehlertolerant ist. Verfügbarkeitszonen sind nahe genug, um Verbindungen mit geringer Latenz zu anderen Verfügbarkeitszonen zu haben.
- Virtuelles Microsoft Azure-Netzwerk
Microsoft Azure Virtual Network (VNet) ist der grundlegende Baustein für ein privates Netzwerk in Azure. Mit VNet können viele Arten von Azure-Ressourcen wie virtuelle Azure-Maschinen (VM) sicher miteinander, mit dem Internet und mit On-Premises-Netzwerken kommunizieren.
- Delegiertes Microsoft Azure-Subnetz
Mit der Subnetzdelegierung können Sie einen verwalteten Service, insbesondere einen Platform-as-a-Service-(PaaS-)Service, direkt in Ihr virtuelles Netzwerk einfügen. Ein delegiertes Subnetz kann ein Home für einen extern verwalteten Service innerhalb Ihres virtuellen Netzwerks sein, sodass der externe Service als virtuelle Netzwerkressource fungiert, obwohl es sich um einen externen PaaS-Service handelt.
- Microsoft Azure Data Lake-Speicher
Data Lake Storage ist eine cloudbasierte Data Lake-Lösung für Unternehmen. Es wurde entwickelt, um riesige Datenmengen in jedem Format zu speichern und analytische Workloads für Big Data zu erleichtern. Sie verwenden es, um Daten jedes Typs und jeder Aufnahmegeschwindigkeit an einem einzigen Ort zu erfassen und mit verschiedenen Frameworks einfach darauf zuzugreifen und zu analysieren.
- Microsoft Azure Synapse Analytics
Azure Synapse Analytics kombiniert einen zentralen Service für Datenspeicherung und -verarbeitung mit einer erweiterbaren, verknüpften Servicearchitektur, mit der Sie häufig verwendete Datenspeicher, Verarbeitungsplattformen und Visualisierungstools integrieren können.
Oracle Cloud Infrastructure stellt die folgenden Komponenten bereit:
- OCI-region
Eine OCI-Region ist ein lokalisierter geografischer Bereich, der mindestens ein Data Centre enthält, das Availability-Domains hostet. Regionen sind unabhängig von anderen Regionen, und große Entfernungen können über Länder oder Kontinente voneinander getrennt werden.
- Availability-Domain
Availability-Domains sind eigenständige, unabhängige Data Center innerhalb einer Region. Die physischen Ressourcen in jeder Availability-Domain sind von den Ressourcen in den anderen Availability-Domains isoliert, was eine Fehlertoleranz sicherstellt. Availability-Domains haben keine gemeinsame Infrastruktur wie Stromversorgung oder Kühlung oder das interne Availability-Domainnetzwerk. Ein Fehler in einer Availability-Domain sollte sich also nicht auf die anderen Availability-Domains in der Region auswirken.
- Virtuelles Cloud-Netzwerk (VCN) und Subnetze
Ein virtuelles Cloud-Netzwerk (VCN) ist ein anpassbares, softwaredefiniertes Netzwerk, das Sie in einer OCI-Region einrichten. Wie herkömmliche Data Center-Netzwerke erhalten Sie über VCNs die Kontrolle über Ihre Netzwerkumgebung. Ein VCN kann mehrere nicht überschneidende CIDR-Blöcke aufweisen, die Sie nach dem Erstellen des VCN ändern können. Sie können ein VCN in Subnetze segmentieren, die sich auf eine Region oder eine Availability-Domain beschränken. Jedes Subnetz besteht aus einem Bereich zusammenhängender Adressen, die sich nicht mit anderen Subnetzen im VCN überschneiden. Sie können die Größe eines Subnetzes nach der Erstellung ändern. Ein Subnetz kann öffentlich oder privat sein.
- Routentabelle
Virtuelle Routentabellen enthalten Regeln zum Weiterleiten von Traffic von Subnetzen an Ziele außerhalb eines VCN, in der Regel über Gateways.
- Sicherheitsliste
Für jedes Subnetz können Sie Sicherheitsregeln erstellen, die Quelle, Ziel und Traffictyp angeben, die im Subnetz und außerhalb des Subnetzes zulässig sind.
- OCI Generative AI
Oracle Cloud Infrastructure Generative AI ist ein vollständig verwalteter OCI-Service, der eine Reihe modernster, anpassbarer, großer Sprachmodelle (LLMs) bereitstellt, die eine breite Palette von Anwendungsfällen für die Textgenerierung, Zusammenfassung, semantische Suche und mehr abdecken. Mit dem Playground können Sie vortrainierte Modelle sofort verwenden oder eigene optimierte benutzerdefinierte Modelle basierend auf Ihren eigenen Daten auf dedizierten KI-Clustern erstellen und hosten.
- Oracle Integration
Oracle Integration ist eine vollständig verwaltete, vorkonfigurierte Umgebung, in der Sie Cloud- und On-Premise-Anwendungen integrieren, Geschäftsprozesse automatisieren und visuelle Anwendungen entwickeln können. Es verwendet einen SFTP-konformen Dateiserver zum Speichern und Abrufen von Dateien und ermöglicht Ihnen den Austausch von Dokumenten mit Geschäftspartnern, indem Sie ein Portfolio aus Hunderten von Adaptern und Rezepten für die Verbindung mit Oracle- und Drittanbieteranwendungen verwenden.
- OCI Object Storage
OCI Object Storage bietet Zugriff auf große Mengen an strukturierten und unstrukturierten Daten eines beliebigen Inhaltstyps, darunter Datenbankbackups, Analysedaten und umfangreiche Inhalte, wie Bilder und Videos. Sie können Daten sicher und sicher direkt aus Anwendungen oder aus der Cloud-Plattform speichern. Sie können den Storage skalieren, ohne dass die Performance oder Servicezuverlässigkeit beeinträchtigt wird.
Verwenden Sie Standardspeicher für "guten" Speicher, auf den Sie schnell, sofort und häufig zugreifen müssen. Verwenden Sie Archivspeicher für "Cold Storage", den Sie über lange Zeiträume beibehalten und auf den Sie nur selten zugreifen.
- OCI Functions
Oracle Cloud Infrastructure Functions ist eine vollständig verwaltete, mehrmandantenfähige, hoch skalierbare, bedarfsgesteuerte Functions-as-a-Service-(FaaS-)Plattform. Es wird von der Open-Source-Engine Fn Project angetrieben. Mit OCI Functions können Sie Ihren Code bereitstellen und entweder direkt aufrufen oder als Reaktion auf Ereignisse auslösen. OCI Functions verwendet Docker-Container, die in Oracle Cloud Infrastructure Registry gehostet werden.
- Oracle Analytics Cloud
Oracle Analytics Cloud ist ein skalierbarer und sicherer Public Cloud-Service, der Business Analysts moderne, KI-gestützte Selfservice-Analysefunktionen für Datenvorbereitung, Visualisierung, Unternehmensberichte, erweiterte Analysen sowie Verarbeitung und Generierung natürlicher Sprache bietet. Mit Oracle Analytics Cloud erhalten Sie außerdem flexible Serviceverwaltungsfunktionen, darunter schnelles Setup, einfache Skalierung und Patches sowie automatisiertes Lebenszyklusmanagement.
- Oracle Digital Assistant
Oracle Digital Assistant ist eine Plattform, mit der Sie digitale Assistenten für Ihre Benutzer erstellen und bereitstellen können. Mit Oracle Digital Assistant können Sie KI-gesteuerte Schnittstellen (oder Chatbots) für Geschäftsanwendungen über Text-, Chat- und Sprachschnittstellen erstellen. Jeder digitale Assistent verfügt über eine Sammlung von mindestens einem spezialisierten Skill, mit dem Benutzer eine Vielzahl von Aufgaben in Unterhaltungen in natürlicher Sprache ausführen können. Beispiel: Ein einzelner digitaler Assistent verfügt über Skills, die sich auf bestimmte Aufgabentypen konzentrieren, wie das Verfolgen von Bestand, das Weiterleiten von Stundennachweisen und das Erstellen von Spesenabrechnungen.
- Oracle Autonomous Database
Oracle Autonomous Database bietet eine benutzerfreundliche, vollständig autonome (selbstverwaltete) Datenbank, die sich elastisch skalieren läßt und schnelle Abfrageperformance bietet. Als Service ist keine Datenbankadministration erforderlich. Sie müssen weder Hardware konfigurieren oder verwalten noch Software installieren. Es verarbeitet automatisch Provisioning, Backup, Patching und Upgrade sowie das Erweitern oder Verkleinern der Datenbank und ist ein elastischer Service. Entwickeln Sie skalierbare KI-gestützte Apps mit beliebigen Daten mithilfe integrierter KI-Funktionen. Nutzen Sie das große Sprachmodell (LLM) Ihrer Wahl und stellen Sie es in der Cloud oder in Ihrem Data Center bereit.
Mehr erfahren
Erfahren Sie mehr über die Features dieser Architektur und über zugehörige Architekturen.
-
Stack für generative KI der Unternehmensklasse auf Oracle Cloud Infrastructure erstellen
-
Erweiterte Abrufgenerierung mit Oracle Integration implementieren
-
Modulare Low-Code-LLM-App-Engine mit Oracle Integration und OCI Generative AI aktivieren
-
Aktivieren Sie Multicloud-Integrationen von Oracle Cloud ERP zu Microsoft Azure SQL Database
-
Erfahren Sie mehr über Oracle Maximum Availability Architecture für Oracle AI Database@Azure
-
Informationen zur Auswahl von Netzwerktopologien für Oracle AI Database@Azure
-
Gut durchdachte Framework-Architektur für Oracle Cloud Infrastructure