ETL-Plattform für Oracle Utilities-Daten auf Oracle Cloud und Azure bereitstellen

Nachdem Gas South Oracle Utilities Customer Cloud Service-Anwendungen zur Automatisierung von Kundenbetreuungs-, Abrechnungs- und Zahlungsvorgängen ausgeführt hatte, stellte er eine ETL-Plattform (Data Extraction, Transformation, and Loading) auf Oracle Cloud Infrastructure (OCI) bereit.

Gas South mit Sitz in Atlanta wurde 2006 gegründet und bietet mehr als 425.000 Privat-, Geschäfts- und Regierungskunden in 14 Bundesstaaten, darunter Florida, New Jersey, Ohio, Texas und Tennessee, Erdgas an. Neben der Modernisierung der Kundenbetreuung und der Abrechnungsvorgänge in einer Multicloud-Bereitstellung auf Oracle Cloud und Microsoft Azure hat Gas South kürzlich seine Mission, ein Treibstoff für Gutes zu sein, neu belebt, indem es 5% seiner jährlichen Gewinne zurückgibt, um bedürftigen Kindern zu helfen und den Grundbedarf, die Bildung und die Gesundheit zu priorisieren. Das Unternehmen hat seit 2006 mehr als 12 Millionen US-Dollar an Wohltätigkeitsorganisationen gespendet, darunter 3,2 Millionen US-Dollar im Jahr 2022, dem größten Jahr, das es je für Unternehmen gab.

Bei der Bereitstellung auf OCI werden die Kundenbetreuungs- und Abrechnungsdaten von Gas South aus den SaaS-Anwendungen des Utilitys erfasst, die in einem Oracle Cloud Infrastructure Object Storage-Bucket gespeichert, in JSON-Dateien geparst, durch Oracle SOA Cloud Service verschoben und in einer generalisierten Datenextraktionsdatenbank (GDE) gespeichert werden. Die Dienstprogrammanwendungsdaten werden dann für weitere Analysen und Berichte strukturiert, bevor sie manuell ausgelöst werden, um einen Secure Shell-(SSH-)Tunnel an eine Attunity Qlik-Integrations-Engine zu übergeben, die eine Verbindung zu einer Microsoft Power BI-Anwendung herstellt, die auf einem SQL Server auf Azure ausgeführt wird.

Zu den Highlights dieser Bereitstellung gehören:

  • Benutzer werden mit einem SSH-Tunnel, Bastionhost und Public/Private Keys authentifiziert, bevor sie eine Verbindung zur GDE-(Generalized Data Extraction-)Datenbank in einem privaten virtuellen Cloud-Netzwerk (VCN) herstellen.
  • Der GDE-Service wird derzeit verwendet, um Kundenbetreuungsdaten aus der Oracle Utilities Customer Cloud Service SaaS-Anwendung zu übernehmen und an eine Attunity Qlik-Integrations-Engine weiterzuleiten, die eine Verbindung zu einer Azure BI-Anwendung für Analyse und Reporting herstellt.
  • Archive-Logs werden in der Oracle-Datenbank auf OCI aktiviert, um Dateiaktualisierungen zu erfassen, die von Attunity Qlik erkannt und dann in Microsoft BI auf Azure integriert werden.

Architektur

Gas South hat Oracle SOA Cloud Service (SOACS) auf Oracle Cloud Infrastructure (OCI) entwickelt und bereitgestellt, sodass das Versorgungsunternehmen seinen Oracle Utilities Customer Cloud Service (CCS) in sein Self-Service-Portal, ein interaktives Voice Response-(IVR-)System und mobile Anwendungen integrieren kann, die auf die Zahlungs- und Finanzsysteme von Gas South zugreifen müssen.

Um die von CCS generierten Daten zu analysieren, hat Gas South ein GDE-System (Generalized Data Export) bereitgestellt, um Daten aus CCS zu extrahieren und in Microsoft Business Intelligence zu importieren, das in Microsoft Azure gehostet wird.

Das folgende Diagramm zeigt den Datenfluss für das SOA-Integrationssystem.


Beschreibung von gas-south-data-flow.png folgt
Beschreibung der Abbildung gas-south-data-flow.png

Gas-Süd-Datenstrom-oracle.zip

Im Folgenden wird der Datenfluss der SOA-Integration beschrieben:

  1. Ein Benutzer greift auf das Portal von Gas South zu.
  2. Abrechnungsdaten aus Oracle Utilities CCS (CCS) werden generiert und an Oracle SOA Suite (SOA) gesendet.
  3. SOA sendet Abrechnungsdaten an das Finanzsystem.
  4. SOA sendet die Abrechnung zur Benutzerprüfung an das Self-Service-Portal.
  5. Der Benutzer zahlt die Rechnung.
  6. Die Zahlung wird verarbeitet.
  7. SOA wird mit der Zahlung aktualisiert, um zu zeigen, dass die Rechnung bezahlt wurde.
  8. SOA aktualisiert CCS, um zu zeigen, dass die Rechnung bezahlt wurde.

Das folgende Diagramm zeigt den Datenfluss für das Datenexportsystem.


Beschreibung von gas-south-data-flow-ccs.png folgt
Beschreibung der Abbildung gas-south-data-flow-ccs.png

gas-south-data-flow-ccs-oracle.zip

Im Folgenden wird der CCS-Datenfluss für den Datenexport und -import beschrieben:

  1. CCS initiiert alle zwei Stunden einen generalisierten Datenexport (GDE), um Daten in den Objektspeicher zu exportieren.
  2. Ein CLI-Skript (Command Line Interface) auf der Oracle Base Database Service-VM wird initiiert, um die Dateien zu kopieren, aufzuteilen und in die Datenbank zu laden.
  3. Attunity Qlik ist so konfiguriert, dass Oracle Database für Logänderungen gelesen wird.
  4. Wenn Änderungen vorgenommen wurden, ruft Attunity Qlik die Änderungen aus der Oracle Database ab
  5. Die Daten werden an Azure SQL übertragen.
  6. Die Daten werden von Microsoft Business Intelligence abgerufen.

Das folgende Diagramm veranschaulicht das Referenzarchitekturdiagramm für Gas South.


Beschreibung von gas-south-architecture.png folgt
Beschreibung der Abbildung gas-south-architecture.png

Gas-Südarchitektur-oracle.zip

Das Gas South Portal, IVR und die mobile App werden auf Microsoft Azure gehostet. Microsoft Azure und die Gas South-Finanzsysteme verbinden sich über ein Internetgateway mit dem virtuellen OCI-Cloud-Netzwerk (VCN). SOA-Services stellen die Middleware bereit, und CCS, Gas South Systems und Finanzsysteme von Drittanbietern dienen als Quell- und Zielsysteme.

Ein Admin-Server, zwei Managed Server und ein Managed File Transfer-(MFT-)Server werden als Teil von SOA bereitgestellt. Beide Managed Server werden von einem Oracle Load Balancer ausgeglichen. Die Datenbank wird mit Oracle Base Database Service bereitgestellt.

Für den Datenexport wird der Objektspeicher zum Speichern der aus CCS exportierten Dateien verwendet. Ein Skript in Oracle Base Database Service (Staging-Datenbank) wird initiiert, um die Dateien zu kopieren, aufzuteilen und in die Datenbank zu laden. Mit Microsoft Attunity werden Daten aus der Staging-Datenbank gelesen und abgerufen, auf die Microsoft Business Intelligence dann über einen SSH-Tunnel zugreift. Oracle Cloud Infrastructure Vault wird zur Verwaltung von Schlüsseln verwendet.

Oracle hat Gas South die folgenden zukünftigen Empfehlungen vorgelegt:

  • Entdecken Sie das Upgrade auf SOACS Marketplace. Ein Upgrade auf den SOACS Marketplace wird Gas South bei der Senkung der IT-Wartungs- und Verwaltungskosten unterstützen.
  • Entdecken Sie Cloud-native und Platform-as-a-Service-(PaaS-)Optionen für den Transformations- und Ladeprozess der Daten von CCS in Azure SQL, und nutzen Sie Oracle Cloud Infrastructure Functions, Oracle Cloud Infrastructure Events, Oracle Cloud Infrastructure Data Integration und Oracle Integration.

Das folgende Diagramm veranschaulicht diese zukünftige Referenzarchitektur.


Beschreibung von gas-south-architecture-future.png folgt
Beschreibung der Abbildung gas-south-architecture-future.png

Gas-Süd-Architektur-Zukunft-oracle.zip

Ein neues Datenflussmuster ergibt sich aus den Architekturänderungen:


Beschreibung von gas-south-data-flow-future.png folgt
Beschreibung der Abbildung gas-south-data-flow-future.png

gas-south-data-flow-future-oracle.zip

Im Folgenden wird der CCS-Datenfluss für den Datenexport und -import beschrieben:

  1. CCS initiiert alle zwei Stunden einen generalisierten Datenexport (GDE), um Daten in den Objektspeicher zu exportieren.
  2. Ein Ereignis in Oracle Cloud Infrastructure Events erkennt, dass exportierte Datendateien im Objektspeicher hinzugefügt wurden.
  3. Das Ereignis ruft eine Funktion auf.
  4. Eine Funktion in Oracle Cloud Infrastructure Functions ruft OCI Data Integration auf.
  5. OCI Data Integration speichert die verarbeiteten Dateien im Objektspeicher.
  6. OCI Data Integration teilt die verarbeiteten Dateien auf und speichert sie im Objektspeicher.
  7. Ein Ereignis in Oracle Cloud Infrastructure Events erkennt, dass geteilte Datendateien im Objektspeicher hinzugefügt wurden.
  8. Das Ereignis ruft eine Funktion auf.
  9. Eine Funktion liest die geteilten Dateien aus dem Objektspeicher.
  10. Eine Funktion ruft Oracle Integration auf.
  11. Die Daten werden an Azure SQL übertragen und von Microsoft Business Intelligence abgerufen.

Die Architektur umfasst folgende Komponenten:

  • Tenancy

    Ein Mandant ist eine sichere und isolierte Partition, die Oracle bei der Registrierung für OCI in Oracle Cloud einrichtet. Sie können Ihre Ressourcen auf OCI innerhalb Ihres Mandanten erstellen, organisieren und verwalten. Ein Mandant ist ein Synonym für ein Unternehmen oder eine Organisation. Normalerweise hat ein Unternehmen einen einzelnen Mandanten und spiegelt seine Organisationsstruktur innerhalb dieses Mandanten wider. Ein einzelner Mandant ist in der Regel mit einem einzelnen Abonnement verknüpft, und ein einzelnes Abonnement hat in der Regel nur einen Mandanten.

  • OCI-region

    Eine OCI-Region ist ein lokalisierter geografischer Bereich, der mindestens ein Data Centre enthält, das Availability-Domains hostet. Regionen sind unabhängig von anderen Regionen, und große Entfernungen können über Länder oder Kontinente voneinander getrennt werden.

  • Availability-Domain

    Availability-Domains sind eigenständige, unabhängige Data Center innerhalb einer Region. Die physischen Ressourcen in jeder Availability-Domain sind von den Ressourcen in den anderen Availability-Domains isoliert, was eine Fehlertoleranz sicherstellt. Availability-Domains haben keine gemeinsame Infrastruktur wie Stromversorgung oder Kühlung oder das interne Availability-Domainnetzwerk. Ein Fehler in einer Availability-Domain sollte sich also nicht auf die anderen Availability-Domains in der Region auswirken.

  • Virtuelles Cloud-Netzwerk (VCN) und Subnetze

    Ein virtuelles Cloud-Netzwerk (VCN) ist ein anpassbares, softwaredefiniertes Netzwerk, das Sie in einer OCI-Region einrichten. Wie herkömmliche Data Center-Netzwerke erhalten Sie über VCNs die Kontrolle über Ihre Netzwerkumgebung. Ein VCN kann mehrere nicht überschneidende CIDR-Blöcke aufweisen, die Sie nach dem Erstellen des VCN ändern können. Sie können ein VCN in Subnetze segmentieren, die sich auf eine Region oder eine Availability-Domain beschränken. Jedes Subnetz besteht aus einem Bereich zusammenhängender Adressen, die sich nicht mit anderen Subnetzen im VCN überschneiden. Sie können die Größe eines Subnetzes nach der Erstellung ändern. Ein Subnetz kann öffentlich oder privat sein.

  • Routentabelle

    Virtuelle Routentabellen enthalten Regeln zum Weiterleiten von Traffic von Subnetzen zu Zielen außerhalb eines VCN, in der Regel über Gateways.

  • Sicherheitsliste

    Sie können für jedes Subnetz Sicherheitsregeln erstellen, die Quelle, Ziel und Typ des Traffics angeben, der im Subnetz und außerhalb des Subnetzes zulässig ist.

  • Internetgateway

    Ein Internetgateway ermöglicht Traffic zwischen den öffentlichen Subnetzen in einem VCN und dem öffentlichen Internet.

  • Servicegateway

    Ein Servicegateway ermöglicht den Zugriff von einem VCN auf andere Services, wie Oracle Cloud Infrastructure Object Storage. Der Datenverkehr vom VCN zum Oracle-Service wird über die Oracle-Netzwerkstruktur geleitet und durchläuft nicht das Internet.

  • Load Balancer

    Oracle Cloud Infrastructure Load Balancer bietet eine automatisierte Trafficverteilung von einem einzigen Einstiegspunkt auf mehrere Server.

  • OCI-Compute

    Mit Oracle Cloud Infrastructure Compute können Sie Compute-Hosts in der Cloud bereitstellen und verwalten. Sie können Compute-Instanzen mit Ausprägungen starten, die Ihren Ressourcenanforderungen für CPU, Arbeitsspeicher, Netzwerkbandbreite und Speicher entsprechen. Nachdem Sie eine Compute-Instanz erstellt haben, können Sie sicher darauf zugreifen, sie neu starten, Volumes anhängen und trennen und beenden, wenn Sie sie nicht mehr benötigen.

  • OCI Object Storage

    Mit OCI Object Storage können Sie auf große Mengen an strukturierten und unstrukturierten Daten eines beliebigen Inhaltstyps zugreifen, darunter Datenbankbackups, Analysedaten und umfangreiche Inhalte, wie Bilder und Videos. Sie können Daten sicher und sicher direkt aus Anwendungen oder aus der Cloud-Plattform speichern. Sie können den Storage skalieren, ohne dass die Performance oder Servicezuverlässigkeit beeinträchtigt wird.

    Verwenden Sie den Standardspeicher für "Hot Storage", auf die Sie schnell, sofort und häufig zugreifen müssen. Verwenden Sie Archivspeicherung für "Cold Storage", die Sie über lange Zeiträume beibehalten und nur selten darauf zugreifen.

  • OCI Vault

    Mit Oracle Cloud Infrastructure Vault können Sie die Verschlüsselungsschlüssel zum Schutz Ihrer Daten und die Secret-Zugangsdaten erstellen und zentral verwalten, mit denen Sie den Zugriff auf Ihre Ressourcen in der Cloud sichern. Die Standardschlüsselverwaltung sind von Oracle verwaltete Schlüssel. Sie können auch vom Kunden verwaltete Schlüssel verwenden, die OCI Vault verwenden. OCI Vault bietet ein umfangreiches Set von REST-APIs zur Verwaltung von Vaults und Schlüsseln.

  • OCI-Monitoring

    Oracle Cloud Infrastructure Monitoring überwacht aktiv und passiv Ihre Cloud-Ressourcen und benachrichtigt Sie mit Alarmen, wenn Metriken bestimmte Trigger erfüllen.

  • Oracle Base Database Service

    Oracle Base Database Service ist ein Oracle Cloud Infrastructure-(OCI-)Datenbankservice, mit dem Sie Oracle-Datenbanken mit vollem Funktionsumfang auf virtuellen Maschinen erstellen, skalieren und verwalten können. Ein VM-Datenbanksystem verwendet OCI Block Volumes-Speicher anstelle von lokalem Speicher und kann Oracle Real Application Clusters (Oracle RAC) ausführen, um die Verfügbarkeit zu verbessern.

Mehr erfahren

Erfahren Sie mehr über die Features dieser Architektur und verwandte Architekturen.

Bestätigungen

  • Authors: Robert Huie, Sasha Banks-Louie
  • Contributors: Oracle Team: Brad Goodwin, Cory Quinn, Santosh Dixit, Pradyumna Kodgi, Joseph Dominski, Mckenzie Holiday, Robert Lies

    Gas South Team: John Stiles, Jose Figueroa, Smitha Viswambharan, Marshall Sutherland, Nadeem Fatmi, Michael Sallustio