Datenplattform - Departmental Data Warehouse für Geschäftsbereich (LOB)

Mit Oracle Autonomous Data Warehouse und Oracle Analytics Cloud können Sie Daten aus Oracle E-Business Suite, Tabellen, Drittanbieter und anderen Quellen in ein zentralisiertes Data Warehouse laden und optimieren, damit Abteilungen die Daten analysieren und umsetzbare Erkenntnisse gewinnen können.

Diese Referenzarchitektur positioniert die Technologielösung im gesamten Geschäftskontext:



Geschäftsbereiche haben in der Regel keinen rechtzeitigen oder effizienten Zugriff auf Daten und Informationen. Analysten sammeln die Daten manuell, arbeiten mit ihnen auf individueller Basis und teilen dann Kopien von Dateien über E-Mail- oder Dateiserver. Die Daten sind nicht zentralisiert, so dass die Genauigkeit und Sicherheit der Daten schwierig ist. Die Analyse kann lange dauern und die Ergebnisse sind nicht einfach wiederholbar.

Ein abteilungsspezifisches Data Warehouse ist eine einfache Form eines Data Warehouse, das sich auf einen einzelnen Themen- oder Funktionsbereich wie Vertrieb, Marketing oder Finanzen konzentriert und häufig von einer einzelnen Abteilung innerhalb eines Unternehmens erstellt und kontrolliert wird. Aufgrund ihres Einzel-Subjekt-Fokus beziehen abteilungsspezifische Data Warehouses in der Regel Daten aus nur wenigen Quellen. Die Quellen können interne Systeme, ein zentrales Data Warehouse oder externe Daten umfassen.

Verwaltete Data Warehouses für Unternehmen und Abteilungen können Business-Anwendern aussagekräftige Informationen liefern und die wichtigsten Performanceindikatoren des Unternehmens effektiver bereitstellen, ohne sich stark auf IT-Ressourcen und Verfügbarkeit verlassen zu müssen.

Architektur

Diese Architektur verwendet Oracle Autonomous Data Warehouse, um Daten aus mehreren Finanzsystemen, Tabellen und anderen Datenquellen in ein zentralisiertes Data Warehouse zu laden und zu optimieren. Anschließend verwendet Oracle Analytics Cloud, um die Daten zu analysieren, um umsetzbare Einblicke zu erhalten.

Diese Architektur unterstützt mehrere Anwendungsfälle. Der direkteste Pfad bietet eine einfache Methode zum Erfassen, Transformieren und Laden von Daten in das Data Warehouse mit Tools, die in Oracle Autonomous Data Warehouse (ADW) eingebettet sind. Andere Pfade unterstützen Szenarios, die einen Data Lake oder Szenarios mit komplexeren ETL-Anforderungen (Extrahieren, Transformieren und Laden) verwenden.


Beschreibung von data-platform-ebs.png folgt
Beschreibung der Abbildung data-platform-ebs.png

data-platform-ebs-oracle.zip

Die Architektur konzentriert sich auf die folgenden logischen Bereiche:

  • Aufnahme, Transformation, Verbinden

    Erfasst und verfeinert die Daten für jede der Datenschichten in der Architektur.

  • Beibehalten, Kurieren, Erstellen

    Erleichtert den Zugriff auf und die Navigation der Daten, um die aktuelle Geschäftsansicht anzuzeigen. Bei relationalen Technologien können Daten logisch oder physisch in einfachen relationalen, longitudinalen, dimensionalen oder OLAP-Formularen strukturiert sein. Bei nicht relationalen Daten enthält dieser Layer einen oder mehrere Datenpools, entweder aus einem Analyseprozess oder aus Daten, die für eine bestimmte analytische Aufgabe optimiert sind.

  • Analysieren, Lernen, vorhersagen

    Abstracts die logische Geschäftsansicht der Daten für die Consumer. Diese Abstraktion erleichtert agile Entwicklungsansätze, Migration in die Zielarchitektur und die Bereitstellung einer einzigen Berichtsebene aus mehreren föderierten Quellen.

Das folgende Diagramm zeigt eine Zuordnung der Architektur zu Services, die auf Oracle Cloud Infrastructure mit grundlegender Sicherheit bereitgestellt werden.



OCI-adb-oac-arch-public-oracle.zip

Die Architektur umfasst die folgenden Komponenten:

  • Autonomous Data Warehouse

    Oracle Autonomous Data Warehouse ist ein selbstfahrender, selbstsichernder, selbstreparierender Datenbankservice, der für Data Warehouse-Workloads optimiert ist. Sie müssen keine Hardware konfigurieren oder verwalten oder Software installieren. Oracle Cloud Infrastructure verarbeitet das Erstellen der Datenbank sowie das Sichern, Patchen, Upgraden und Optimieren der Datenbank.

  • Analytics

    Oracle Analytics Cloud ist ein skalierbarer und sicherer Public Cloud-Service, der eine vollständige Reihe von Funktionen bietet, um kollaborative Analysen für Sie, Ihre Arbeitsgruppe und Ihr Unternehmen zu erkunden und durchzuführen.

    Mit Oracle Analytics Cloud erhalten Sie auch flexible Serviceverwaltungsfunktionen, einschließlich schnellem Setup, einfacher Skalierung und Patching sowie automatisierter Lebenszyklusverwaltung.

  • Datenintegration

    Oracle Autonomous Data Warehouse enthält Tools zum Erfassen, Laden und Transformieren von Daten für viele Abteilungsszenarios.

    Bei erweiterten Anwendungsfällen können Sie Oracle Cloud Infrastructure Data Integration verwenden, einen vollständig verwalteten, serverlosen nativen Cloud-Service, der Ihnen bei gemeinsamen Extrahierungs-, Lade- und Transformationsaufgaben(ETL-)Aufgaben wie dem Erfassen von Daten aus verschiedenen Quellen, der Bereinigung, Transformation und Neugestaltung dieser Daten sowie dem effizienten Laden in Zieldatenquellen auf Oracle Cloud Infrastructure hilft.

Die Architektur umfasst auch die folgenden Komponenten:
  • Region

    Eine Oracle Cloud Infrastructure-Region ist ein lokalisierter geografischer Bereich, der mindestens ein Data Center enthält, das als Availability-Domains bezeichnet wird. Regionen sind unabhängig von anderen Regionen, und große Entfernungen können sie voneinander trennen (innerhalb von Ländern oder sogar Kontinenten).

  • Compartment

    Compartments sind regionsübergreifende logische Partitionen in einem Oracle Cloud Infrastructure-Mandanten. In Compartments können Sie Ihre Ressourcen in Oracle Cloud organisieren, den Zugriff auf die Ressourcen kontrollieren und Nutzungs-Quotas festlegen. Um den Zugriff auf die Ressourcen in einem bestimmten Compartment zu kontrollieren, definieren Sie Policys, mit denen angegeben wird, wer auf die Ressourcen zugreifen kann und welche Aktionen sie ausführen können.

  • Identity and Access Management (IAM)

    Oracle Cloud Infrastructure Identity and Access Management (IAM) ist die Zugriffskontrollebene für Oracle Cloud Infrastructure-(OCI-) und Oracle Cloud-Anwendungen. Mit der IAM-API und der Benutzeroberfläche können Sie Identitätsdomains und die Ressourcen innerhalb der Identitätsdomain verwalten. Jede OCI-IAM-Identitätsdomain stellt eine eigenständige Identity and Access Management-Lösung oder eine andere Benutzerpopulation dar.

  • Policy

    Eine Oracle Cloud Infrastructure Identity and Access Management-Policy gibt an, wer auf welche Ressourcen und wie zugreifen kann. Der Zugriff wird auf Gruppen- und Compartment-Ebene erteilt, d.h. Sie können eine Policy schreiben, die einer Gruppe einen bestimmten Zugriffstyp innerhalb eines bestimmten Compartments oder auf den Mandanten gibt.

  • Availability-Domain

    Availability-Domains sind eigenständige, unabhängige Data Center innerhalb einer Region. Die physischen Ressourcen in jeder Availability-Domain sind von den Ressourcen in den anderen Availability-Domains isoliert, was Fehlertoleranz bietet. Availability-Domains haben keine gemeinsame Infrastruktur wie Stromversorgung oder Kühlung oder das interne Availability-Domainnetzwerk. Aus diesem Grund ist es wahrscheinlich, dass ein Fehler in einer Availability-Domain sich auf die anderen Availability-Domains in der Region auswirkt.

  • Virtuelles Cloud-Netzwerk (VCN) und Subnetz

    Ein VCN ist ein anpassbares, Software-definiertes Netzwerk, das Sie in einer Oracle Cloud Infrastructure-Region einrichten können. Wie herkömmliche Data Center-Netzwerke erhalten Sie mit VCNs vollständige Kontrolle über Ihre Netzwerkumgebung. Ein VCN kann mehrere sich nicht überschneidende CIDR-Blöcke aufweisen, die Sie nach dem Erstellen des VCN ändern können. Sie können ein VCN in Subnetze segmentieren, die sich auf eine Region oder eine Availability-Domain beschränken. Jedes Subnetz besteht aus einem fortlaufenden Adressbereich, der sich nicht mit den anderen Subnetzen im VCN überschneidet. Sie können die Größe eines Subnetzes nach der Erstellung ändern. Ein Subnetz ist öffentlich oder privat.

  • Sicherheitsliste

    Für jedes Subnetz können Sie Sicherheitsregeln erstellen, die Quelle, Ziel und Typ des Traffics angeben, der in das und aus dem Subnetz zugelassen werden muss.

  • Routentabelle

    Virtuelle Routentabellen enthalten Regeln, mit denen Traffic von Subnetzen zu Zielen außerhalb eines VCN, normalerweise über Gateways, weitergeleitet wird.

  • Internetgateway

    Das Internetgateway lässt Traffic zwischen den öffentlichen Subnetzen in einem VCN und dem öffentlichen Internet zu.

  • Site-to-Site-VPN

    Site-to-Site-VPN stellt IPSec-VPN-Konnektivität zwischen Ihrem On-Premise-Netzwerk und VCNs in Oracle Cloud Infrastructure bereit. Die IPSec-Protokollsuite verschlüsselt den IP-Traffic, bevor die Pakete von der Quelle zum Ziel übertragen werden, und entschlüsselt den Traffic beim Empfang.

  • Dynamisches Routinggateway (DRG)

    Das DRG ist ein virtueller Router, der einen Pfad für privaten Netzwerktraffic zwischen VCNs in derselben Region zwischen einem VCN und einem Netzwerk außerhalb der Region bereitstellt, wie einem VCN in einer anderen Oracle Cloud Infrastructure-Region, einem On-Premise-Netzwerk oder einem Netzwerk in einem anderen Cloud-Provider.

  • Network Address Translation-(NAT-)Gateway

    Mit einem NAT-Gateway können private Ressourcen in einem VCN auf Hosts im Internet zugreifen, ohne diese Ressourcen für eingehende Internetverbindungen anzugeben.

  • Servicegateway

    Das Servicegateway ermöglicht den Zugriff von einem VCN auf andere Services wie Oracle Cloud Infrastructure Object Storage. Der Datenverkehr vom VCN zum Oracle-Service durchläuft die Oracle-Netzwerkfabric und nie das Internet.

  • Netzwerksicherheitsgruppe (NSG)

    Netzwerksicherheitsgruppe (NSG) fungiert als virtuelle Firewall für Ihre Cloud-Ressourcen. Mit dem Zero-Trust-Sicherheitsmodell von Oracle Cloud Infrastructure wird jeder Traffic abgelehnt, und Sie können den Netzverkehr innerhalb eines VCN kontrollieren. Eine NSG besteht aus einer Gruppe von Ingress- und Egress-Sicherheitsregeln, die nur für eine bestimmte Gruppe von VNICs in einem einzelnen VCN gelten.

  • Objektspeicher

    Mit Object Storage erhalten Sie schnellen Zugriff auf große Mengen an strukturierten und unstrukturierten Daten eines beliebigen Inhaltstyps, darunter Datenbankbackups, Analysendaten und umfangreiche Inhalte, wie Bilder und Videos. Sie können Daten sicher und geschützt speichern und dann direkt aus dem Internet oder aus der Cloud-Plattform abrufen. Sie können den Speicher nahtlos skalieren, ohne dass die Performance oder Servicezuverlässigkeit beeinträchtigt wird. Verwenden Sie Standardspeicher für "Hot Storage", auf den Sie schnell, sofort und häufig zugreifen müssen. Verwenden Sie Archivspeicher für "Cold Storage", den Sie über lange Zeiträume beibehalten möchten und auf den Sie nur selten zugreifen.

Empfehlungen

Verwenden Sie die folgenden Empfehlungen als Ausgangspunkt, um Daten aus mehreren Flat-File-Quellen in einen zentralen Data Warehouse-Speicherort zur Analyse zu laden und zu optimieren.

Ihre Anforderungen können sich von der hier beschriebenen Architektur unterscheiden.

  • Data Refinery

    Autonomous Database-Tools sind in Oracle Autonomous Data Warehouse eingebettet und bieten die Möglichkeit, Geschäftsmodelle einfach zu laden, zu transformieren, zu katalogisieren, Erkenntnisse zu gewinnen und sogar zu entwickeln. Diese Tools finden Sie im Menü "Datenbankaktionen".

  • Oracle Analytics Cloud

    Bevor Sie Oracle Analytics Cloud mit Oracle Autonomous Data Warehouse verbinden, muss ein Datenbankadministrator die IP-Adresse (oder den Adressbereich) für Ihre Oracle Analytics Cloud-Instanz zur Liste der zulässigen Adressen hinzufügen. Der Datenbankadministrator muss eine Sicherheitsregel hinzufügen, die TCP/IP-Traffic von Oracle Analytics Cloud zur Datenbank zulässt.

Wichtige Aspekte

Wenn Sie Daten aus mehreren Flat-File-Quellen zur Analyse in einen zentralen Data Warehouse-Speicherort laden und optimieren, prüfen Sie diese Implementierungsoptionen.

Anleitung Data Refinery Datenpersistenzplattform Zugriff und Interpretation
Empfohlen Oracle Autonomous Database-Tools (Database Actions) Oracle Autonomous Data Warehouse Oracle Analytics Cloud
Andere Optionen Integration von Oracle Cloud Infrastructure-Daten Oracle Exadata Database Service  
Begründung Oracle Autonomous Data Warehouse ist eine benutzerfreundliche, vollständig autonome Datenbank, die direkten Zugriff auf und Aufnahme einer Vielzahl von Datenquellen wie CSV-Dateien und relationalen Datenquellen bietet. Oracle Autonomous Data Warehouse ist eine benutzerfreundliche, vollständig autonome Datenbank, die elastisch skaliert, schnelle Abfrageperformance bereitstellt und keine Datenbankadministration erfordert. Es bietet auch direkten Zugriff auf die Daten aus der Objektspeicherung über externe Tabellen. Oracle Analytics Cloud ist eine vollständig verwaltete und eng in die kuratierte Datenschicht (Oracle Autonomous Data Warehouse) integrierte Lösung.

Bereitstellen

Der Terraform-Code für diese Referenzarchitektur ist in GitHub verfügbar. Sie können den Code mit einem einzigen Klick in Oracle Cloud Infrastructure Resource Manager ziehen, den Stack erstellen und bereitstellen. Alternativ können Sie den Code von GitHub auf Ihren Computer herunterladen, den Code anpassen und die Architektur mit der Terraform-Befehlszeilenschnittstelle (CLI) bereitstellen.

  • Mit Oracle Cloud Infrastructure Resource Manager bereitstellen:
    1. Klicken Sie auf In Oracle Cloud bereitstellen

      Wenn Sie sich noch nicht angemeldet haben, geben Sie die Mandanten- und Benutzerzugangsdaten ein.

    2. Lesen Sie die allgemeinen Geschäftsbedingungen, und akzeptieren Sie sie.
    3. Wählen Sie den Bereich, in dem der Stack bereitgestellt werden soll.
    4. Befolgen Sie die Prompts und Anweisungen auf dem Bildschirm, um den Stack zu erstellen.
    5. Klicken Sie nach dem Erstellen des Stacks auf Terraform-Aktionen, und wählen Sie Plan.
    6. Warten Sie auf den Abschluss des Jobs, und prüfen Sie den Plan.

      Um Änderungen vorzunehmen, kehren Sie zur Seite "Stackdetails" zurück, klicken auf "Stack bearbeiten" und nehmen die erforderlichen Änderungen vor. Führen Sie dann die Aktion Plan erneut aus.

    7. Wenn keine weiteren Änderungen erforderlich sind, kehren Sie zur Seite "Stackdetails" zurück, klicken auf Terraform-Aktionen, und wählen Sie Anwenden.
  • Deployment mit dem Terraform-Code in GitHub:
    1. Gehen Sie zu GitHub.
    2. Klonen oder laden Sie das Repository auf Ihren lokalen Computer herunter.
    3. Befolgen Sie die Anweisungen im Dokument README.

Änderungslog

In diesem Log werden nur die wesentlichen Änderungen aufgeführt: