Implementieren Sie eine regionsübergreifende Multicloud-Datenanalysearchitektur in Echtzeit

Unternehmen möchten häufig vorhandene Analyseplattformen für alle ihre Datenanalyseanforderungen in Bezug auf die Cloud nutzen.

Diese Multi-Cloud-Lösung beschreibt eine vom Kunden inspirierte Datenanalysearchitektur mit der Oracle E-Business Suite-Anwendung auf Oracle Cloud Infrastructure (OCI) in den USA, während die Oracle E-Business Suite-Daten nahezu in Echtzeit auf Microsoft Azure in Europa für Azure Synapse-Analysen repliziert werden.

Die Analysetools und Datenquellen werden über ein dediziertes privates Netzwerk verbunden, um eine geringe Latenz und hohe Bandbreite für die Datenreplikation bereitzustellen. Oracle Cloud Infrastructure GoldenGate (OCI GoldenGate) wird für die Datenreplikation verwendet. Die Kundenanforderungen wurden mit einer Multicloud-Datenanalyselösung erfüllt durch:

  • Die Migration der On-Premise-Oracle Database zu Oracle Base Database Service bietet die Vorteile maximaler Datenbankbetriebszeit, Performance, Skalierbarkeit, Sicherheit und Produktivität.
  • Durch die Beibehaltung des Analytics-Stacks in Microsoft Azure müssen daher keine wesentlichen Änderungen an Konfigurationen/Integrationen für nachgelagerte Verbraucher vorgenommen werden.
  • Mit OCI GoldenGate können Sie Änderungsdaten aus Oracle Database in Azure Data Lake Gen2 und Azure Synapse in Echtzeit replizieren.

Architektur

Diese Referenzarchitektur zeigt, wie Sie private Verbindungen mit geringer Latenz zwischen den Datenanalysetools in einer Microsoft Azure-Region und der Datenressource in einer Remote-OCI-Region aktivieren können.

Ein FastConnect-Partner verbindet Azure ExpressRoute und Oracle Cloud Infrastructure FastConnect, um den beiden Remote-Cloud-Netzwerken beizutreten. Das virtuelle Netzwerk (VNet) auf Microsoft Azure-Traffic durchläuft die private Verbindung zum virtuellen Cloud-Netzwerk (VCN) auf OCI.

Die Oracle E-Business Suite-Produktionsdatenbank wird beispielsweise in Oracle Base Database Service bereitgestellt. Die Lösung gilt für Oracle Autonomous Database und Exadata Database Service als Backend-Datenbank.

Da die Quelle Oracle Database ist und das Ziel Azure Synapse/Azure Data Lake Storage Gen 2 ist, wird die OCI GoldenGate-Replikation in einem separaten Subnetz mit den beiden folgenden Deployments bereitgestellt:
  1. Oracle-Deployment zum Erfassen von Daten aus der Oracle E-Business Suite-Datenbank.
  2. Big Data-Deployment zur Anwendung der aus der Oracle E-Business Suite-Datenbank erfassten Daten auf die Azure-Synapse.
OCI GoldenGate erfasst Daten aus Oracle Database und repliziert diese Daten nahezu in Echtzeit über FastConnect in Azure Data Lake Gen2 und Azure Synapse. Die OCI-GoldenGate-Replikation für die Synchronisierung verwendet die Phase und den Datenfluss. Die Änderungsdaten werden an einem temporären Speicherort bereitgestellt, d.h. Azure Data Lake Storage Gen 2 in Microbatches und schließlich in der Synchronisierungszieltabelle zusammengeführt.

Das folgende Diagramm veranschaulicht diese Referenzarchitektur.



OCI-multicloud-db-analytics-azure-arch-oracle.zip

Die Architektur umfasst die folgenden Komponenten:

Oracle Cloud Infrastructure-Komponenten

  • Autonomous Transaction Processing

    Oracle Autonomous Transaction Processing ist ein für Transaktionsverarbeitungs-Workloads optimierter, selbstsichernder und selbstreparierender Datenbankservice. Sie müssen keine Hardware konfigurieren oder verwalten und keine Software installieren. Oracle Cloud Infrastructure verwaltet das Erstellen der Datenbank sowie Backup, Patching, Upgrade und Optimierung der Datenbank.

  • FastConnect

    Mit Oracle Cloud Infrastructure FastConnect können Sie ganz einfach eine dedizierte, private Verbindung zwischen Ihrem Data Center und Oracle Cloud Infrastructure erstellen. FastConnect bietet Optionen mit höherer Bandbreite und eine zuverlässigere Netzwerkerfahrung im Vergleich zu internetbasierten Verbindungen.

  • Availability-Domain

    Availability-Domains sind eigenständige, unabhängige Data Center innerhalb einer Region. Die physischen Ressourcen in jeder Availability-Domain sind von den Ressourcen in den anderen Availability-Domains isoliert, was eine Fehlertoleranz sicherstellt. Availability-Domains haben keine gemeinsame Infrastruktur wie Stromversorgung oder Kühlung oder das interne Availability-Domainnetzwerk. Aus diesem Grund ist es wahrscheinlich, dass ein Fehler in einer Availability-Domain sich auf die anderen Availability-Domains in der Region auswirkt.

  • Virtuelles Cloud-Netzwerk (VCN) und Subnetz

    Ein VCN ist ein anpassbares, Software-definiertes Netzwerk, das Sie in einer Oracle Cloud Infrastructure-Region einrichten können. Wie herkömmliche Data Center-Netzwerke erhalten Sie mit VCNs vollständige Kontrolle über Ihre Netzwerkumgebung. Ein VCN kann mehrere sich nicht überschneidende CIDR-Blöcke aufweisen, die Sie nach dem Erstellen des VCN ändern können. Sie können ein VCN in Subnetze segmentieren, die sich auf eine Region oder eine Availability-Domain beschränken. Jedes Subnetz besteht aus einem Bereich zusammenhängender Adressen, die sich nicht mit anderen Subnetzen im VCN überschneiden. Sie können die Größe eines Subnetzes nach der Erstellung ändern. Ein Subnetz kann öffentlich oder privat sein.

  • Sicherheitsliste

    Für jedes Subnetz können Sie Sicherheitsregeln erstellen, die Quelle, Ziel und Typ des Traffics angeben, der in das und aus dem Subnetz zugelassen werden muss.

  • Route-Tabelle

    Virtuelle Routentabellen enthalten Regeln, mit denen Traffic von Subnetzen zu Zielen außerhalb eines VCN, normalerweise über Gateways, weitergeleitet wird.

  • Dynamisches Routinggateway (DRG)

    Das DRG ist ein virtueller Router, der einen Pfad für privaten Netzwerktraffic zwischen VCNs in derselben Region zwischen einem VCN und einem Netzwerk außerhalb der Region bereitstellt, wie einem VCN in einer anderen Oracle Cloud Infrastructure-Region, einem On-Premise-Netzwerk oder einem Netzwerk in einem anderen Cloud-Provider.

  • Oracle Cloud Infrastructure GoldenGate

    Oracle Cloud Infrastructure GoldenGate ist ein vollständig verwalteter Service, mit dem Daten aus On-Premise- oder Cloud-Quellen aufgenommen werden können. Dabei wird die GoldenGate CDC-Technologie für eine nicht aufdringliche und effiziente Erfassung von Daten und Übermittlung an Oracle Autonomous Data Warehouse in Echtzeit und je nach Bedarf genutzt, um Verbrauchern relevante Informationen so schnell wie möglich zur Verfügung zu stellen.

Microsoft Azure-Komponenten
  • Virtuelles Netzwerk (VNet) und Subnetz

    Ein VNet ist ein virtuelles Netzwerk, das Sie in Azure definieren. Eine VNet kann mehrere sich nicht überschneidende CIDR-Blocksubnetze aufweisen, die Sie nach dem Erstellen von VNet hinzufügen können. Sie können eine VNet in Subnetze segmentieren, die für eine Region oder eine Verfügbarkeitszone gelten. Jedes Subnetz besteht aus einem fortlaufenden Adressbereich, der sich mit den anderen Subnetzen in der VNet nicht überschneidet. Verwenden Sie VNet, um Ihre Microsoft Azure-Ressourcen logisch auf Netzwerkebene zu isolieren.

  • ExpressRoute

    Mit Azure ExpressRoute können Sie eine private Verbindung zwischen einem VNet und einem anderen Netzwerk einrichten, wie Ihrem On-Premise-Netzwerk oder einem Netzwerk in einem anderen Cloud-Provider. ExpressRoute ist eine zuverlässigere und schnellere Alternative zu typischen Internetverbindungen, da der Traffic über ExpressRoute nicht das öffentliche Internet durchläuft.

  • Virtuelles Netzwerkgateway

    Ein virtuelles Netzwerkgateway ermöglicht Traffic zwischen einem Azure VNet und einem Netzwerk außerhalb von Azure, entweder über das öffentliche Internet oder mit ExpressRoute, je nach angegebenem Gatewaytyp.

  • Route-Tabelle

    Routentabellen leiten den Traffic zwischen Azure-Subnetzen, VNets und Netzwerken außerhalb von Azure weiter.

  • Netzwerksicherheitsgruppe

    Eine Netzwerksicherheitsgruppe enthält Regeln zur Steuerung des Netzwerktraffics zwischen den Azure-Ressourcen in einer VNet. Jede Regel gibt die Quelle oder das Ziel, den Port, das Protokoll und die Richtung des Netzwerkverkehrs an, der zugelassen oder abgelehnt wird.

  • Azure Synapse Analytics

    Azure Synapse Analytics ist ein Analyseservice, der Datenintegration, Enterprise Data Warehousing und Big Data-Analysen zusammenführt. Sie ermöglicht die skalierbare Abfrage von Daten zu Ihren Begriffen mit serverlosen oder dedizierten Optionen. Azure Synapse vereint diese Konzepte mit einer einheitlichen Erfahrung, um Daten für sofortige BI- und ML-Anforderungen aufzunehmen, zu erkunden, vorzubereiten, zu transformieren, zu verwalten und zu bedienen.

  • Azure Data Lake Storage Gen2

    Azure Data Lake Storage Gen2 ist eine Reihe von Funktionen für Big Data-Analysen, die auf Azure Blob Storage basieren. Data Lake Storage Gen2 konvergiert die Funktionen von Azure Data Lake Storage Gen1 mit Azure Blob Storage. Beispiel: Data Lake Storage Gen2 bietet Dateisystemsemantik, Sicherheit auf Dateiebene und Skalierung. Da diese Funktionen auf Blob-Speicher basieren, erhalten Sie außerdem kostengünstigen Tiered Storage mit High Availability- und Disaster-Recovery-Funktionen.

Empfehlungen

Verwenden Sie die folgenden Empfehlungen als Ausgangspunkt. Ihre Anforderungen können von der hier beschriebenen Architektur abweichen.
  • Provisioning

    Wählen Sie die richtige Größe der Virtual Circuits von Oracle Cloud Infrastructure FastConnect und Azure ExpressRoute aus, um die erforderliche Bandbreite für die Workload zu unterstützen.

    Stellen Sie Oracle Database mit dem virtuellen OCI-Cloud-Netzwerk (VCN)/Subnetz bereit, das mit dem OCI Dynamic Routing Gateway (DRG) und OCI FastConnect verbunden ist.

    Konfigurieren Sie Routing und Sicherheit/Netzwerksicherheitsgruppe (NSG) auf OCI, um Azure Synapse Analytics-Netzwerkverkehr zu Oracle Database zu ermöglichen.

    Geben Sie für die Oracle Cloud-Datenbank in einem privaten Endpunkt die VCN-Konfiguration an, um Traffic nur vom angegebenen VCN zuzulassen. Dadurch wird der Zugriff auf die Datenbank von allen öffentlichen IPs oder VCNs blockiert.

Hinweise

Beachten Sie beim Deployment dieser Referenzarchitektur die folgenden Punkte.

  • Kostenfaktor

    Oracle Cloud Infrastructure FastConnect: Die Kosten für FastConnect sind in allen Oracle Cloud Infrastructure-Regionen identisch. Es fallen keine separaten Ingress- oder Egress-Datengebühren an.

    Azure ExpressRoute: Die Kosten für Azure ExpressRoute variieren von einer Region zur anderen. Azure verfügt über mehr als eine SKU für eine Expressroute. Oracle empfiehlt die Verwendung der lokalen Einstellung, da keine separaten Ingress- oder Egress-Gebühren vorhanden sind und sie bei der minimalen Bandbreite von 1 Gbit/s beginnt. Die Standard- und Premium-Konfigurationen bieten eine geringere Bandbreite, verursachen aber separate Egress-Gebühren in einem nutzungsabhängig abgerechneten Setup.

    Die automatische Skalierung von Oracle CPU (OCPU) in Oracle Autonomous Transaction Processing ermöglicht bei Bedarf die Verarbeitung von Spitzen-Workloads und reduziert dadurch auch die Lizenzkosten in hohem Maße.

  • Performance

    Für den Kundenanwendungsfall in dieser Referenzarchitektur war die Anforderung nahezu Echtzeit-Datenreplikation von der Primärdatenbank auf OCI zu Azure-Endpunkten. Mit Hilfe von OCI GoldenGate waren die heterogenen und Multi-Cloud-Big Data-Speicher des Kunden immer auf dem neuesten Stand, mit Echtzeitdaten aus ihren betrieblichen und analytischen Produktionssystemen, die Echtzeitanalysen ermöglichen.

  • Networking

    Oracle Interconnect für Microsoft Azure kann auch als alternative Netzwerklösung verwendet werden. Oracle Interconnect für Microsoft Azure ist nur in bestimmten Regionen mit Azure-OCI-Kopien verfügbar. Weitere Informationen finden Sie unter Erfahren Sie, was Azure- und OCI-Regionen OracleDB für Azure unterstützen im Abschnitt Weitere Informationen.

    Wenn OCI- und Azure-Regionen Oracle Interconnect für Microsoft Azure nicht unterstützen, können Sie den Traffic mit dem Backbone jedes Cloud-Providers (OCI und Azure) übertragen. Wenn Sie das OCI-Backbone verwenden, müssen Sie eine Zwischenregion erstellen, die die verfügbare Oracle Interconnect für Microsoft Azure-Region in OCI und Remote Peering Connection (RPC) für die Region enthält, die Oracle Interconnect für Microsoft Azure nicht unterstützt.

    Hinweis:

    Wenn Sie das OCI-Backbone mit RPC in einem Design verwenden, müssen Sie das benutzerdefinierte Routing auf der Ebene des dynamischen Routinggateways (DRG) verwenden, um den Traffic von der Zwischenregion zur anderen Region weiterzuleiten, die nicht die für Interconnect geeignete Region enthält. Um das Azure-Backbone zu verwenden, sollten Sie die ExpressRoute SKUs lokal, Standard und Premium berücksichtigen, um sicherzustellen, dass Sie über die richtigen SKUs verfügen, um die beiden Regionen innerhalb von Azure zu verbinden. Sie können auch den FastConnect-Provider mit Layer-Drei-Services wie Megaport-Cloud-Router verwenden.

Bestätigungen

  • Author: Shrinidhi Kulkarni
  • Contributors: Wei Han, Atefeh Yousefi Attaei