Informationen zum automatisierten Laden eines Data Mart für Business Analytics

Durch die Erstellung eines Data Marts für das Haus und die Verarbeitung von Flat-File-Datenextrakten aus isolierten Anwendungen oder Systemen wird es einfacher für Unternehmenslinien, auf Echtzeitdaten und erweiterte Analysen zuzugreifen und diese zu verwenden, um die Generierung umsetzbarer Erkenntnisse zu beschleunigen.

Mit Oracle Functions und Oracle Cloud Infrastructure Events können Sie das Laden des Oracle Autonomous JSON Database-Datenmarts automatisieren und den Prozess effizient und wiederholbar machen.

Architektur zum automatisierten Laden eines Data Mart für Business Analytics

Mit einem relativ einfachen Architekturmuster können Sie Daten aus mehreren Flat-File-Quellen in einen zentralen Datenbankstandort laden und optimieren, sodass Unternehmensteams Planungs- und Budgetanalysen für bestimmte Datensätze unabhängig von anderen Teams durchführen können.

Daten, die aus einer Datenbank oder Anwendung exportiert werden, werden in Flatfiles als durch Komma getrennte Werte (CSV) gespeichert und in einen Bucket im Objektspeicher hochgeladen. Ereignisautomatisierung erkennt das neue Objekt und leitet eine zugehörige Funktion zur Verarbeitung der Datei ein, lädt die Daten mit REST-Services in Oracle Autonomous JSON Database, und verschiebt die Datei dann zu Tracking-Zwecken in einen anderen Bucket. Der Logging-Service bietet einen Einblick in die Workflowausführung und die Datenbank stellt die Daten zur Analyse zur Verfügung.

Die Architektur umfasst die folgenden allgemeinen Komponenten:

Oracle Cloud Infrastructure: Daten werden transformiert und mit Services gespeichert, die in Oracle Cloud Infrastructure bereitgestellt werden.
Oracle Functions:Oracle Functions ist eine vollständig verwaltete, hoch skalierbare On-Demand-, Functions-as-a-Service-(FaaS-) Plattform, die auf Oracle Cloud Infrastructure der Enterprise-Klasse basiert und von der Open-Source-Engine Fn Project betrieben wird.

Mit Oracle Functions können Sie Ihren Code bereitstellen, ihn direkt aufrufen oder als Antwort auf Ereignisse auslösen und nur für die während der Ausführung verbrauchten Ressourcen fakturieren.

Oracle Functions ist container-nativ. Jede Funktion ist ein vollständig eigenständiges Docker-Image, das in Ihrer OCIR-Docker-Registry gespeichert und beim Aufruf Ihrer Funktion abgerufen, bereitgestellt und aufgerufen wird.
Oracle Event Services: Oracle Cloud Infrastructure Events ist ein vollständig verwalteter Service, der die Komplexität der manuellen Verfolgung von Änderungen über Ihre Cloud-Ressourcen hinweg eliminiert und in Echtzeit mit Funktionen, Benachrichtigungen und Streaming darauf reagiert.
Oracle Autonomous JSON Database: Oracle Autonomous JSON Database ist ein Cloud-Dokumentdatenbankservice, der die Entwicklung JSON-zentrierter Anwendungen vereinfacht.
Oracle Analytics Desktop: Diese frei verfügbare Analysesoftware stellt Data Storytelling mit Visualisierung, What-if-Analyse und Zusammenarbeit auf Ihrem Desktop bereit.

Beschreibung von automate-loading-data-mart.png folgt

Beschreibung der Abbildung automate-loading-data-mart.png

Bevor Sie beginnen

Beachten Sie vor dem Start die folgenden Sicherheits- und Konnektivitätsoptionen.

Datensicherheit

Um sicherzustellen, dass Daten sicher sind, wenn sie sich zwischen Systemen bewegen, verwendet die Architektur die folgenden Strategien.

Datentransfer von einem Customer Data Center in Oracle Cloud verwendet ein VPN oder Oracle Cloud Infrastructure FastConnect.
SQL-Zugriff verwendet Benutzernamen und Kennwort für die Authentifizierung.
Oracle Autonomous JSON Database kann den Zugriff über eine Network Access Control-Liste (ACL) steuern. Mit einer Access Control-Liste akzeptiert eine bestimmte Datenbank nur Verbindungen von Adressen, die in der Access Control-Liste angegeben sind, und lehnt alle anderen Clientverbindungen ab. Wenn keine Netzwerkzugriffskontrolllisten angegeben sind, ist die Datenbank standardmäßig von einer beliebigen IP-Adresse aus zugänglich.

Datenbankverbindung

Es gibt drei verschiedene Möglichkeiten, eine Verbindung zu Oracle Autonomous JSON Database herzustellen.

Die meisten Organisationen schützen Netzwerke und Geräte in einem Netzwerk mit einer Firewall. Eine Firewall steuert eingehenden und ausgehenden Netzwerkverkehr mit Regeln, die es ermöglichen, bestimmte Ports und Zugriff auf bestimmte Computer (oder, genauer gesagt, IP-Adressen oder Hostnamen) zu verwenden. Eine Firewall trennt interne Netzwerke und das öffentliche Internet.

Oracle Autonomous JSON Database kann über das öffentliche Internet aufgerufen werden. Um von hinter einer Firewall auf Oracle Autonomous JSON Database zuzugreifen, muss die Firewall die Verwendung des in der Datenbankverbindung angegebenen Ports zulassen, wenn Sie sich bei den Servern in der Verbindung anmelden. Die Standardportnummer für Oracle Autonomous JSON Database ist 1522.
Oracle Cloud Infrastructure FastConnect bietet Ihnen eine einfache Möglichkeit, Ihr On-Premise-Netzwerk mit FastConnect Public Peering mit Oracle Autonomous JSON Database zu verbinden. Oracle Cloud Infrastructure FastConnect bietet Optionen mit höherer Bandbreite und eine verlässlichere und konsistentere Netzwerkerfahrung als internetbasierte Verbindungen. Ohne Oracle Cloud Infrastructure FastConnect wird der Datenverkehr, der für öffentliche IP-Adressen bestimmt ist, über das Internet weitergeleitet.
Oracle Autonomous JSON Database unterstützt den privaten Zugriff von Oracle Cloud Infrastructure-Ressourcen in einem virtuellen Cloud-Netzwerk (VCN) mit einer von zwei Methoden:
- Privater Endpunkt
- Servicegateway
Bei beiden privaten Zugriffsoptionen bleibt der Traffic im Oracle Cloud Infrastructure-Netzwerk und durchläuft das Internet nicht. Wenn Sie jedoch ein Servicegateway verwenden, verwenden Anforderungen an den Service einen öffentlichen Endpunkt für den Service.

Wenn Sie keinen öffentlichen Endpunkt verwenden möchten, können Sie einen privaten Endpunkt in Ihrem VCN verwenden. Ein privater Endpunkt wird als private IP-Adresse innerhalb eines Subnetzes in Ihrem VCN dargestellt. Private Endpunkte sind nur mit Oracle Autonomous JSON Database auf Shared Exadata-Infrastruktur verfügbar.

Sowohl das Servicegateway als auch der private Endpunkt ermöglichen die Verbindung zu Oracle Autonomous JSON Database von privaten IP-Adressen in privaten Subnetzen, ohne dass ein Internetgateway in Ihrem VCN erforderlich ist. Nachdem Sie ein Servicegateway oder einen privaten Endpunkt konfiguriert haben, sind keine speziellen Schritte für die Anmeldung bei Oracle Autonomous JSON Database erforderlich.

Informationen zu erforderlichen Services für das automatisierte Laden eines Data Mart für Business Analytics

Sie sollten mit dem Provisioning und der Verwendung der empfohlenen Services und Technologien vertraut sein. Um das Laden eines Data Marts für Line-of-Business-Analysen zu automatisieren, müssen Sie die folgenden Services auf Oracle Cloud Infrastructure ausführen:

Oracle Autonomous JSON-Datenbank
Oracle Cloud Infrastructure Object Storage
Oracle-Funktionen
Oracle Cloud Infrastructure-Ereignisse

Weitere Informationen finden Sie unter Oracle Cloud-Services für Oracle-Lösungen abrufen, um die erforderlichen Cloud-Services zu erhalten.

Darüber hinaus werden die folgenden Technologien verwendet:

Oracle Functions: Die Funktion selbst wird in Python geschrieben.

Um Funktionen lokal oder auf einer Compute-Instanz in Oracle Cloud Infrastructure zu entwickeln, müssen Sie auch die Fn Project-Entwicklungsplattform von GitHub installieren.
Docker: Funktionen werden als Docker-Container auf Oracle Cloud Infrastructure ausgeführt. Dieses Dokument geht davon aus, dass Sie Funktionen auf einem lokalen Linux-System entwickeln, auf dem Docker-Version 17.10.0 oder höher installiert ist. Weitere Informationen über die Installation von Docker auf Linux finden Sie im Oracle Container Runtime for Docker User's Guide.
Oracle SQL Developer Web: Oracle SQL Developer Web ist eine browserbasierte Schnittstelle von Oracle SQL Developer und bietet eine Teilmenge der Funktionen, die in der Desktopversion verfügbar sind. Oracle SQL Developer Web bietet eine Entwicklungsumgebung und eine Datenbankadministrationsoberfläche für Oracle Database in Oracle Public Cloud.

Sie können den vollständigen Oracle SQL Developer-Client auch vom folgenden Speicherort herunterladen und installieren, indem Sie den Lizenzvertrag akzeptieren und auf den Link "Herunterladen" klicken, der mit Ihrem Betriebssystem verknüpft ist:

Oracle SQL Developer-Downloads
Oracle Analytics Desktop: Bietet leistungsstarke persönliche Datenexploration und Visualisierung in einem einfachen Desktop-Download. Oracle Analytics Desktop ist das perfekte Tool zum schnellen Erforschen von Beispieldaten aus mehreren Quellen oder zur schnellen Analyse und Untersuchung eigener lokaler Datasets.

Laden Sie Oracle Analytics Desktop herunter, und installieren Sie ihn, indem Sie im folgenden Verzeichnis auf den Link Herunterladen klicken:

Oracle Analytics Desktop herunterladen

Rollen und Berechtigungen

Um die Services zu integrieren, die zum Laden und Analysieren von Daten erforderlich sind, benötigen Sie bestimmte Benutzerrollen und Berechtigungen. Die Schritte zum Erstellen der Rollen und Berechtigungen werden in späteren Abschnitten bereitgestellt.