Massendaten mit OCI Data Integration und Oracle Integration Cloud Services verarbeiten
Verarbeiten oder integrieren Sie Massendaten aus externen Quellen in Zielsysteme oder -anwendungen.
Berücksichtigung dieses Szenarios: Sie erhalten Daten im Massenverfahren aus einer externen Quelle (z.B. Kunden, Lieferanten, Mitarbeiter, Produkte usw.). Bevor die Endsysteme oder Anwendungen erreicht werden, müssen die Daten orchestriert, angereichert, kombiniert oder organisiert werden. Dazu müssen Sie im Rahmen des Ablaufs in zwei oder mehr Zwischenanwendungen oder -services integrieren oder komplexe Transformationen auf die Daten anwenden. Dieser Prozess kann zusätzliche Attribute zu den Daten hinzufügen, nachdem Aufrufe durchgeführt oder mit verschiedenen Drittanbieteranwendungen (basierend auf REST, SOAP usw.) orchestriert wurden. Für diese Transaktionsdaten sind möglicherweise auch komplexe Transformationen (JSON oder XML), Lookups oder Querverweise erforderlich.
Dieses Szenario kann einfach mit zwei Cloud-Services implementiert werden: OCI Data Integration (OCI DI) und Oracle Integration Cloud (OIC), wobei OCI DI alle Ihre Datenintegrations- oder ETL-(Extract, Transform, Load-)Anforderungen erfüllt und OIC die gesamte Anwendungsintegration oder Konnektivität der Unternehmensklasse berücksichtigt, unabhängig von den Anwendungen, die Sie verbinden oder wo sie sich befinden.
Architektur
Diese Referenzarchitektur stellt einen Anwendungsfall für die Verwendung von OCI DI und OIC Service zur Verarbeitung von Massendaten dar.
Diese Referenzarchitektur behandelt auch die Herausforderungen bei der Verarbeitung von Apache Parquet-, Apache Avro- und Microsoft Excel-Dateien in OIC über OCI DI. Beispiel: Zur Verarbeitung von Finanzberichtsdaten (z.B. Verbindlichkeiten, Forderungen, HBs, Cashflows, Aktiva und Passiva, Umsatz usw.) konvertiert OCI DI diese Dateiformate in CSV-Dateien, die dann von OIC verarbeitet werden.
Das folgende Diagramm veranschaulicht diese Referenzarchitektur.
OCI-Bulk-data-integration-architecture-diagram-oracle.zip
Im Folgenden werden die in der obigen Referenzarchitektur dargestellten Schritte erläutert:
- Externe Quellen (z.B. benutzerdefinierte Anwendungen, Nicht-Oracle-Anwendungen, Oracle-Datenbanken, die in Clouds von Drittanbietern, Cloud-Services von Drittanbietern, On-Premise-Datenbanken und -Anwendungen ausgeführt werden) laden die Bulk-Datenladedatei in einen OCI Object Storage-Bucket hoch oder löschen sie.
- OCI Observability and Management Service - OCI Events Service sucht nach einem Objekt oder einer Datei, die in den OCI Object Storage-Bucket hochgeladen wurde.
- OCI Events Service löst eine Aktion aus, um OCI Functions mit einem Bucket und einem Dateinamen aufzurufen.
- OCI Functions empfängt das Ereignis und ruft die OCI DI-Pipeline mit Eingabeparametern auf: Bucket-Name und Dateiname.
- Die OCI-DI-Pipeline liest die Bulk-Dataload-Datei aus dem OCI Object Storage-Bucket und teilt die einzelne große Datendatei in zahlreiche kleinere Dateien auf. Anschließend werden die aufgeteilten Dateien in den OCI Object Storage-Bucket hochgeladen.
- Eine andere Instanz eines OCI Events-Service sucht nach Aufteilungsdateien, die in den OCI Object Storage-Bucket hochgeladen wurden.
- OCI Events Service löst eine Aktion aus, um OCI Functions mit einem Bucket-Namen und für jeden Dateinamen aufzurufen.
- OCI Functions empfängt das Ereignis und ruft den OIC-Integrationsfluss mit den Eingabeparametern des Bucket-Namens und jedes Dateinamens auf.
- Die OIC-Integration liest jede Datei aus dem OCI Object Storage-Bucket.
- OIC-Integration orchestriert und bereichert die Daten basierend auf den Anforderungen, indem Aufrufe zu einer oder mehreren Zwischenanwendungen oder -systemen durchgeführt werden. Anschließend werden komplexe Transformationen, Lookups, Querverweise usw. durchgeführt und die Daten schließlich in nachgelagerte Systeme oder Anwendungen verarbeitet.
Die Architektur umfasst die folgenden Komponenten:
- Region
Eine Oracle Cloud Infrastructure-Region ist ein lokalisierter geografischer Bereich, der mindestens ein Data Center enthält, das als Availability-Domains bezeichnet wird. Regionen sind unabhängig von anderen Regionen, und große Entfernungen können sie voneinander trennen (über Länder oder sogar Kontinente).
- Data Integration
OCI Data Integration ist ein vollständig verwalteter mehrmandantenfähiger Service, mit dem Data Engineers und ETL-Entwickler (Extrahieren, Transformieren und Laden) mit gängigen ETL-Aufgaben wie dem Erfassen von Daten aus einer Vielzahl von Datenassets, dem Bereinigen, Transformieren und Umformen dieser Daten sowie dem effizienten Laden in Zieldatenassets unterstützt werden.
- Oracle Integration Cloud
Mit Oracle Integration Cloud können Sie Ihre Cloud- und On-Premise-Anwendungen integrieren, Geschäftsprozesse automatisieren, Einblicke in Ihre Geschäftsprozesse gewinnen, visuelle Anwendungen entwickeln, SFTP-konforme Dateiserver verwenden, um Dateien zu speichern und abzurufen und Geschäftsdokumente mit einem B2B-Geschäftspartner auszutauschen.
- Ereignisse
OCI Events Service verfolgt Ressourcenänderungen mit Ereignissen, die dem Cloud Native Computing Foundation-(CNCF-)Standard CloudEvents entsprechen. Entwickler können in Echtzeit auf Änderungen reagieren, indem sie Code mit Functions auslösen, in Streaming schreiben oder Alerts mit Notifications senden.
- Funktionen
OCI Functions ist eine serverlose Plattform, mit der Entwickler Anwendungen erstellen, ausführen und skalieren können, ohne Infrastruktur verwalten zu müssen. Functions lässt sich in OCI-, Plattformservices- und SaaS-Anwendungen integrieren. Da Functions auf dem Open Source-Fn-Projekt basiert, können Entwickler Anwendungen erstellen, die einfach in andere Cloud- und On-Premise-Umgebungen portiert werden können. Code basierend auf Funktionen wird in der Regel für kurze Dauer ausgeführt, und Kunden zahlen nur für die von ihnen verwendeten Ressourcen.
- Virtuelles Cloud-Netzwerk (VCN) und Subnetze
Ein VCN ist ein anpassbares, softwaredefiniertes Netzwerk, das Sie in einer Oracle Cloud Infrastructure-Region einrichten. Wie herkömmliche Data-Center-Netzwerke erhalten Sie von VCNs vollständige Kontrolle über Ihre Netzwerkumgebung. Ein VCN kann mehrere sich nicht überschneidende CIDR-Blöcke aufweisen, die Sie nach dem Erstellen des VCN ändern können. Sie können ein VCN in Subnetze segmentieren, die für eine Region oder eine Availability-Domain gelten können. Jedes Subnetz besteht aus einem zusammenhängenden Adressbereich, der sich nicht mit den anderen Subnetzen im VCN überschneidet. Sie können die Größe eines Subnetzes nach der Erstellung ändern. Ein Subnetz kann öffentlich oder privat sein.
- Sicherheitsliste
Für jedes Subnetz können Sie Sicherheitsregeln erstellen, die Quelle, Ziel und Typ des Traffics angeben, der in das und aus dem Subnetz zugelassen werden muss.
- Routentabelle
Virtuelle Routentabellen enthalten Regeln, mit denen Traffic von Subnetzen zu Zielen außerhalb eines VCN, normalerweise über Gateways, weitergeleitet wird.