Erweiterte Generation (RAG) für generative KI-Abruf für Multicloud bereitstellen

Oracle Cloud Infrastructure Generative AI ist ein vollständig verwalteter Service für die nahtlose Integration großer Sprachmodelle (LLM) in eine Vielzahl von Anwendungsfällen, einschließlich Schreibunterstützung, Zusammenfassung, Analyse und Chat.

Verwenden Sie OCI Generative AI und Oracle Integration in einer Multicloud-Lösung wie Oracle Cloud Infrastructure und Microsoft Azure, um relevante Organisationsdaten abzufragen und damit kontextualisierte Antworten bereitzustellen.

In einer RAG-Architektur kann Oracle Integration die Rolle eines Datenorchestrators übernehmen und sicherstellen, dass alle relevanten Datenquellen zum Abrufen verfügbar sind. Dann übernehmen Oracle Cloud Infrastructure Generative AI Agents die Nutzung dieser Daten, um kontextbezogene Antworten bereitzustellen.

OCI GenAI-Agents verarbeiten diese Daten, um eine kontextbezogene Antwort bereitzustellen, indem die abgerufenen Dokumente eingebettet und die generierten Antworten durch Abfragen des Large Language Model (LLM) verbessert werden.

Während also beide am Datenlebenszyklus beteiligt sind, sind ihre Rollen unterschiedlich, aber komplementär beim Aufbau einer Multi-Cloud-RAG-Architektur.

Dieser Multicloud-RAG-Ansatz bietet:

• Multicloud-Flexibilität: Die Architektur integriert mehrere Cloud-Plattformen (OCI und Azure), sodass sie an die Datenlandschaft in Unternehmen angepasst werden kann.
• Leistungsstarke Konnektivität: Oracle Interconnect for Microsoft Azure stellt eine schnelle, sichere und zuverlässige Datenübertragung zwischen Cloud-Umgebungen sicher.
• Generierung von dynamischem Inhalt: Der Agent bezieht die aktuellsten Informationen aus unterschiedlichen Quellen und stellt sicher, dass die LLM-Antworten korrekt und relevant sind.
• Eingebettete Dokumentsuche: Durch die Verwendung von Einbettungen und semantischer Suche können OCI GenAI-Agents tiefere Einblicke basierend auf Kontext bereitstellen, anstatt nur Stichwortübereinstimmungen zu verwenden.

Architektur

Diese Multicloud-Lösung bezieht Daten von Microsoft Azure und Oracle Cloud Infrastructure (OCI), sodass Oracle Cloud Infrastructure Generative AI Agents auf eine breitere Palette aktueller Informationen zugreifen können.

OCI GenAI-Agents und Oracle Integration unterstützen gemeinsam das Abrufen, Erweitern und Generieren von (RAG-)Services, um kontextualisierte Ergebnisse bereitzustellen.

OCI GenAI-Agents konzentrieren sich insbesondere auf die Verwendung generativer KI, um auf Benutzerabfragen zu reagieren, indem sie relevante Informationen aus Wissensdatenbanken oder Dokumenten abrufen, um Antworten zu generieren. Der Agent bietet angereicherte, kontextbezogene Antworten, indem er fortschrittliche KI-Techniken, Einbettungen und Dokument-Chunking nutzt, um relevante Inhalte zu verstehen und zu generieren:

• Abrufen: Extrahieren Sie relevante Daten aus den Wissensquellen, in der Regel durch erweiterte hybride Suche, die lexikalische und semantische Suche kombiniert.
• Erweiterung: Verwenden Sie die abgerufenen Daten, um Kontext für eine Abfrage bereitzustellen und sicherzustellen, dass das generative KI-Modell über die erforderlichen Informationen verfügt.
• Generieren: Verwenden Sie große Sprachmodelle (LLMs), um kontextbezogene Antworten auf Benutzerfragen zu generieren, die häufig durch die in den vorherigen Schritten abgerufenen Daten verbessert werden.

Oracle Integration hingegen stellt Integrationsservices bereit, die verschiedene Anwendungen und Systeme verbinden, sodass Datenflüsse über mehrere Umgebungen hinweg orchestriert werden können:

• Abruf: Ermöglicht den Datenabruf aus verschiedenen Quellen, indem Konnektivitäts-Agents verwendet werden, um eine private Verbindung zu verschiedenen Datenquellen oder Services (Datenbank, REST-APIs, Cloud-Speicher usw.) auf Azure oder anderen Hyperscalern herzustellen.
• Orchestrieren/Ergänzen: Orchestriert Workflows und integriert Daten aus mehreren Quellen und erweitert Prozesse, indem Daten durch vorkonfigurierte oder dynamische Transformationen angereichert werden.
• Data Flow verwalten: Im Gegensatz zum RAG-Agent konzentriert sich Oracle Integration nicht darauf, Antworten aus Daten zu generieren, sondern auf das reibungslose Verschieben und Transformieren von Daten zwischen Systemen und Anwendungen, um sicherzustellen, dass alle relevanten Daten für verschiedene Services verfügbar sind.

Funktionsbereich	OCI-GenAI-Agents	Oracle Integration
Zweck	Entwickelt, um KI-gesteuerte Antworten bereitzustellen, indem Daten abgerufen, erweitert und ein LLM zur Generierung von Antworten verwendet wird.	Entwickelt für die Integration und Orchestrierung von Daten über mehrere Anwendungen hinweg und bietet nahtlose Datenkonnektivität ohne die LLM-gesteuerten Generierungsfunktionen.
Datenhandling	Verwendet Daten, um kontextbezogene Antworten in natürlicher Sprache zu generieren.	Verarbeitet den Datenfluss zwischen Anwendungen und fungiert als Brücke zwischen Systemen, ohne Inhalte auf die gleiche Weise wie ein LLM zu generieren.
Generative Funktionen	Hat generative KI-Funktionen und verwendet LLMs, um dialogorientierte Antworten oder andere Ausgaben zu generieren.	Verfügt nicht über generative KI-Funktionen und wird verwendet, um Daten über Services hinweg zu verbinden, abzurufen und zu transformieren.

Das folgende Diagramm veranschaulicht den Datenfluss durch die Architektur:

Beschreibung der Abbildung multicloud-genai-rag-process.png

Multicloud-genai-rag-process-oracle.zip

1. Der Benutzer interagiert je nach Implementierung mit Oracle Digital Assistant oder OCI GenAI-Agents, um Benutzerabfragen und -aufforderungen zu übermitteln.
2. Oracle Integration orchestriert Aufrufe zwischen verschiedenen Komponenten: Abrufen aus Datenquellen, Verarbeitung der Dokumentaufnahme und Weiterleitung von Benutzer-Prompts nachgelagert.
3. Datenquellen:
   • Oracle Interconnect for Microsoft Azure stellt eine Verbindung mit hoher Bandbreite zwischen OCI und Azure für Dokument-Repositorys, Oracle Database@Azure usw. bereit.
   • Lokale Datei-Repositorys stellen On-Premise- oder lokale Dateien für die Aufnahme bereit.
   • OCI-Services, wie Oracle Fusion Cloud Enterprise Resource Planning.
   • Oracle Database@Azure in einem delegierten Subnetz für die gemeinsame Nutzung von Daten über von Oracle verwaltete Services auf Azure hinweg.
4. Der Prozess zur Aufnahme, Blockierung und Einbettung von Dokumenten kann auf verschiedene Arten implementiert werden:
   1. Oracle Integration (mit eingebetteten JavaScript- oder benutzerdefinierten Librarys) führt Chunking aus und ruft OCI Generative AI zum Einbetten auf.
   2. OCI Functions empfängt Dokumente, chunksiert sie und ruft dann OCI Generative AI für Einbettungen auf.
   3. Oracle Autonomous Database 23ai führt Chunking und Einbettung mit Vektorfunktionalität aus.

   Das Standardergebnis ist eine Reihe von Chunk-Text- und Vektoreinbettungen, die vollständig im Multicloud-Kontext verwaltet werden.

5. Vektoren und Chunks werden in Oracle Autonomous Database 23ai gespeichert:
   • Der typische Ansatz besteht darin, Einbettungen im Vektorindex von Oracle Autonomous Database 23ai zu speichern.
   • Der Chunk-Text selbst kann auch direkt in einem Datenbank-CLOB (zum schnellen Abruf) oder als Referenzen, die auf den Chunk-Text in OCI Object Storage oder in Azure Data Lake verweisen, gespeichert werden.
   • OCI Object Storage kann die ursprünglichen Dokumente bei Bedarf speichern, aber Sie müssen die Einbettungen dort nicht unbedingt beibehalten, wenn Sie den Vektorspeicher in der Datenbank abfragen.
6. Wenn der Benutzer eine Frage auffordert, ruft OCI GenAI Agents (oder der digitale Assistent) Oracle Autonomous Database 23ai auf, um eine Vektorähnlichkeitssuche mit der Einbettung der Benutzereingabeaufforderung auszuführen, um die am besten übereinstimmenden Chunks basierend auf Vektorähnlichkeitsscores zu identifizieren.
7. OCI Generative AI generiert Einbettungen für Fragen und Dokumentabschnitte und generiert Antworten mit LLM-Modellen, die kontextbezogene Antworten bereitstellen. Chunk-Abruf und LLM-Antwort hängen auch von der Implementierung ab:
   • Wenn Chunk-Text in der Datenbank gespeichert ist, kann er direkt abgerufen werden.
   • Wenn nur Referenzen gespeichert werden, ruft das System den tatsächlichen Chunk-Inhalt schnell aus OCI Object Storage, Azure Data Lake oder einem anderen Repository ab.
   • Die relevanten Chunks werden dann zusammen mit der ursprünglichen Eingabeaufforderung des Benutzers an den LLM in OCI Generative AI weitergeleitet, um eine kontextbezogen angereicherte Antwort zu erstellen.
8. Die endgültige Antwort wird entweder vom Oracle Digital Assistant oder von der OCI GenAI Agents-Schnittstelle zurückgegeben, je nachdem, mit welchem Frontend der Benutzer verbunden ist.

Das folgende Diagramm zeigt die Architektur:

Beschreibung der Abbildung multicloud-genai-rag-architecture.png

Multi-Cloud-Genai-Rag-Architektur-oracle.zip

Microsoft Azure stellt die folgenden Komponenten bereit:

• Microsoft Azure-Region

  Eine Azure-Region ist ein geografisches Gebiet, in dem sich ein oder mehrere physische Azure-Rechenzentren, sogenannte Verfügbarkeitszonen, befinden. Regionen sind unabhängig von anderen Regionen, und große Entfernungen können sie trennen (über Länder oder sogar Kontinente).

  Azure- und OCI-Regionen sind lokalisierte geografische Bereiche. Bei Oracle Database@Azure ist eine Azure-Region mit einer OCI-Region verbunden, wobei Availability Zones (AZs) in Azure mit Availability-Domains (ADs) in OCI verbunden sind. Azure- und OCI-Regionspaare werden ausgewählt, um Entfernung und Latenz zu minimieren.

• Microsoft Azure-Verfügbarkeitszone

  Eine Verfügbarkeitszone ist ein physisch getrenntes Data Center innerhalb einer Region, die hochverfügbar und fehlertolerant ist. Verfügbarkeitszonen sind nahe genug, um Verbindungen mit geringer Latenz zu anderen Verfügbarkeitszonen zu haben.

• Virtuelles Microsoft Azure-Netzwerk

  Microsoft Azure Virtual Network (VNet) ist der grundlegende Baustein für ein privates Netzwerk in Azure. Mit VNet können viele Arten von Azure-Ressourcen wie virtuelle Azure-Maschinen (VM) sicher miteinander, mit dem Internet und mit On-Premises-Netzwerken kommunizieren.

• Delegiertes Microsoft Azure-Subnetz

  Mit der Subnetzdelegierung können Sie einen verwalteten Service, insbesondere einen Platform-as-a-Service-(PaaS-)Service, direkt in Ihr virtuelles Netzwerk einfügen. Ein delegiertes Subnetz kann ein Home für einen extern verwalteten Service innerhalb Ihres virtuellen Netzwerks sein, sodass der externe Service als virtuelle Netzwerkressource fungiert, obwohl es sich um einen externen PaaS-Service handelt.

• Microsoft Azure Data Lake-Speicher

  Data Lake Storage ist eine cloudbasierte Data Lake-Lösung für Unternehmen. Es wurde entwickelt, um riesige Datenmengen in jedem Format zu speichern und analytische Workloads für Big Data zu erleichtern. Sie verwenden es, um Daten jedes Typs und jeder Aufnahmegeschwindigkeit an einem einzigen Ort zu erfassen und mit verschiedenen Frameworks einfach darauf zuzugreifen und zu analysieren.

• Microsoft Azure Synapse Analytics

  Azure Synapse Analytics kombiniert einen zentralen Service für Datenspeicherung und -verarbeitung mit einer erweiterbaren, verknüpften Servicearchitektur, mit der Sie häufig verwendete Datenspeicher, Verarbeitungsplattformen und Visualisierungstools integrieren können.

Oracle Cloud Infrastructure stellt die folgenden Komponenten bereit:

• Region

  Eine Oracle Cloud Infrastructure-Region ist ein lokalisierter geografischer Bereich, der mindestens ein Data Center enthält, das als Availability-Domain bezeichnet wird. Regionen sind unabhängig von anderen Regionen, und große Entfernungen können sie trennen (über Länder oder sogar Kontinente).

• Availability-Domain

  Availability-Domains sind eigenständige, unabhängige Data Center innerhalb einer Region. Die physischen Ressourcen in jeder Availability-Domain sind von den Ressourcen in den anderen Availability-Domains isoliert, was eine Fehlertoleranz sicherstellt. Availability-Domains haben keine gemeinsame Infrastruktur wie Stromversorgung oder Kühlung oder das interne Availability-Domainnetzwerk. Ein Fehler in einer Availability-Domain sollte sich also nicht auf die anderen Availability-Domains in der Region auswirken.

• Virtuelles Cloud-Netzwerk (VCN) und Subnetze

  Ein VCN ist ein anpassbares, softwaredefiniertes Netzwerk, das Sie in einer Oracle Cloud Infrastructure-Region einrichten. Wie herkömmliche Data Center-Netzwerke erhalten Sie mit VCNs die Kontrolle über Ihre Netzwerkumgebung. Ein VCN kann mehrere sich nicht überschneidende CIDR-Blöcke aufweisen, die Sie nach dem Erstellen des VCN ändern können. Sie können ein VCN in Subnetze segmentieren, die sich auf eine Region oder eine Availability-Domain beschränken. Jedes Subnetz besteht aus einem Bereich zusammenhängender Adressen, die sich nicht mit anderen Subnetzen im VCN überschneiden. Sie können die Größe eines Subnetzes nach der Erstellung ändern. Ein Subnetz kann öffentlich oder privat sein.

• Routentabelle

  Virtuelle Routentabellen enthalten Regeln zum Weiterleiten von Traffic von Subnetzen an Ziele außerhalb eines VCN, in der Regel über Gateways.

• Sicherheitsliste

  Für jedes Subnetz können Sie Sicherheitsregeln erstellen, die Quelle, Ziel und Typ des Traffics angeben, der im Subnetz und aus dem Subnetz zugelassen werden muss.

• Generative KI

  Oracle Cloud Infrastructure Generative AI ist ein vollständig verwalteter OCI-Service, der eine Reihe modernster, anpassbarer, großer Sprachmodelle (LLMs) bereitstellt, die eine breite Palette von Anwendungsfällen für die Textgenerierung, Zusammenfassung, semantische Suche und mehr abdecken. Mit dem Playground können Sie vortrainierte Modelle sofort verwenden oder eigene optimierte benutzerdefinierte Modelle basierend auf Ihren eigenen Daten auf dedizierten KI-Clustern erstellen und hosten.

• Integration

  Oracle Integration ist eine vollständig verwaltete, vorkonfigurierte Umgebung, in der Sie Cloud- und On-Premise-Anwendungen integrieren, Geschäftsprozesse automatisieren und visuelle Anwendungen entwickeln können. Es verwendet einen SFTP-konformen Dateiserver zum Speichern und Abrufen von Dateien und ermöglicht Ihnen den Austausch von Dokumenten mit Geschäftspartnern, indem Sie ein Portfolio aus Hunderten von Adaptern und Rezepten für die Verbindung mit Oracle- und Drittanbieteranwendungen verwenden.

• Objektspeicher

  Mit OCI Object Storage können Sie schnell auf große Mengen an strukturierten und unstrukturierten Daten eines beliebigen Inhaltstyps zugreifen, darunter Datenbankbackups, analytische Daten und umfangreiche Inhalte, wie Bilder und Videos. Sie können Daten sicher im Internet oder in der Cloud-Plattform speichern. Sie können den Speicher skalieren, ohne dass die Performance oder Servicezuverlässigkeit beeinträchtigt wird.

  Verwenden Sie Standardspeicher für "guten" Speicher, auf den Sie schnell, sofort und häufig zugreifen müssen. Verwenden Sie Archivspeicher für "Cold Storage", den Sie über lange Zeiträume beibehalten und auf den Sie nur selten zugreifen.

• Funktionen

  Oracle Cloud Infrastructure Functions ist eine vollständig verwaltete, mehrmandantenfähige, hoch skalierbare, bedarfsgesteuerte Functions-as-a-Service-(FaaS-)Plattform. Es wird von der Open-Source-Engine Fn Project angetrieben. Mit OCI Functions können Sie Ihren Code bereitstellen und entweder direkt aufrufen oder als Reaktion auf Ereignisse auslösen. OCI Functions verwendet Docker-Container, die in Oracle Cloud Infrastructure Registry gehostet werden.

• Analyse

  Oracle Analytics Cloud ist ein skalierbarer und sicherer Public Cloud-Service, der Business Analysts moderne, KI-gestützte Selfservice-Analysefunktionen für Datenvorbereitung, Visualisierung, Unternehmensberichte, erweiterte Analysen sowie Verarbeitung und Generierung natürlicher Sprache bietet. Mit Oracle Analytics Cloud erhalten Sie außerdem flexible Serviceverwaltungsfunktionen, darunter schnelles Setup, einfache Skalierung und Patches sowie automatisiertes Lebenszyklusmanagement.

• Digital Assistant

  Oracle Digital Assistant ist eine Plattform, mit der Sie digitale Assistenten für Ihre Benutzer erstellen und bereitstellen können. Mit Oracle Digital Assistant können Sie KI-gesteuerte Schnittstellen (oder Chatbots) für Geschäftsanwendungen über Text-, Chat- und Sprachschnittstellen erstellen. Jeder digitale Assistent verfügt über eine Sammlung von mindestens einem spezialisierten Skill, mit dem Benutzer eine Vielzahl von Aufgaben in Unterhaltungen in natürlicher Sprache ausführen können. Beispiel: Ein einzelner digitaler Assistent verfügt über Skills, die sich auf bestimmte Aufgabentypen konzentrieren, wie das Verfolgen von Bestand, das Weiterleiten von Stundennachweisen und das Erstellen von Spesenabrechnungen.

• Autonomous Database

  Oracle Autonomous Database ist eine vollständig verwaltete, vorkonfigurierte Datenbankumgebung, die Sie für Transaktionsverarbeitungs- und Data Warehousing-Workloads verwenden können. Sie müssen keine Hardware konfigurieren oder verwalten oder Software installieren. Mit Oracle Cloud Infrastructure können Sie die Datenbank erstellen, sichern, patchen, aktualisieren und optimieren.

Mehr erfahren

Erfahren Sie mehr über die Features dieser Architektur und über zugehörige Architekturen.

• RAG in die Realität: KI verstärken und Kosten senken (Blog)

• Stack für generative KI der Unternehmensklasse auf Oracle Cloud Infrastructure erstellen

• Erweiterte Abrufgenerierung mit Oracle Integration implementieren

• Modulare Low-Code-LLM-App-Engine mit Oracle Integration und OCI Generative AI aktivieren

• Implementieren Sie ein nahtloses Kundenanfragenmanagement mit OCI Generative AI und Oracle Integration

• Aktivieren Sie Multicloud-Integrationen von Oracle Cloud ERP zu Microsoft Azure SQL Database

• Erfahren Sie mehr über Oracle Maximum Availability Architecture für Oracle Database@Azure

• Informationen zur Auswahl von Netzwerktopologien für Oracle Database@Azure

• Gut durchdachte Framework-Architektur für Oracle Cloud Infrastructure

• Oracle Cloud Infrastructure-Dokumentation

• Oracle Cloud Kostenrechner

Danksagungen

• Autoren: Michele Nicosia, Wei Han, Kailas Jawadekar
• Mitwirkende: Lyudmil Pelov, Juan Carlos Gonzalez Carrero, Robert Lies