Distribuire una piattaforma ETL per i dati di Oracle Utilities su Oracle Cloud e Azure
Dopo aver eseguito le applicazioni Oracle Utilities Customer Cloud Service per automatizzare le operazioni di customer care, fatturazione e pagamento, Gas South ha implementato una piattaforma di estrazione, trasformazione e caricamento dei dati (ETL) su Oracle Cloud Infrastructure (OCI).
Fondata nel 2006, Gas South, con sede ad Atlanta, fornisce gas naturale a oltre 425.000 clienti residenziali, commerciali e governativi in 14 stati, tra cui Florida, New Jersey, Ohio, Texas e Tennessee. Oltre a modernizzare le operazioni di customer care e fatturazione in una distribuzione multicloud su Oracle Cloud e Microsoft Azure, Gas South ha recentemente rivitalizzato la sua missione di Be A Fuel For Good restituendo il 5% dei suoi profitti annuali per aiutare i bambini bisognosi, dando la priorità alle esigenze di base, all'istruzione e alla salute. La società ha donato più di 12 milioni di dollari a enti di beneficenza dal 2006, tra cui 3,2 milioni di dollari nel 2022, il suo anno più grande di sempre per le donazioni aziendali.
Nella sua distribuzione su OCI, i dati di customer care e fatturazione di Gas South vengono acquisiti dalle applicazioni SaaS della utility, tenute in un bucket Oracle Cloud Infrastructure Object Storage, analizzati in file JSON, spostati tramite Oracle SOA Cloud Service e memorizzati in un database GDE (Generalized Data Extract). I dati dell'applicazione utility vengono quindi strutturati per ulteriori analisi e report prima che vengano attivati manualmente per passare attraverso un tunnel SSH (Secure Shell) a un motore di integrazione di Attunity Qlik che si connette a un'applicazione Microsoft Power BI in esecuzione su un SQL Server su Azure.
I punti salienti di questa distribuzione includono:
- Gli utenti vengono autenticati utilizzando un tunnel SSH, un host bastion e chiavi pubbliche/private prima di connettersi al database GDE (Generalized Data Extract) in una rete cloud virtuale privata (VCN).
- Il servizio GDE viene attualmente utilizzato per raccogliere i dati dell'assistenza clienti dall'applicazione SaaS di Oracle Utilities Customer Cloud Service e passarli a un motore di integrazione di Attunity Qlik, che si connette a un'applicazione BI di Azure per l'analisi e la generazione di report.
- I log di archivio sono abilitati nel database Oracle su OCI per acquisire gli aggiornamenti dei file rilevati da Attunity Qlik e quindi integrati in Microsoft BI su Azure.
Architettura
Gas South ha creato e implementato Oracle SOA Cloud Service (SOACS) su Oracle Cloud Infrastructure (OCI), consentendo alla società di servizi di integrare il proprio Oracle Utilities Customer Cloud Service (CCS) con il suo portale self-service, il sistema di risposta vocale interattiva (IVR) e le applicazioni mobile che devono accedere ai sistemi di pagamento e finanziari di Gas South.
Per analizzare i dati generati da CCS, Gas South ha implementato un sistema di esportazione dei dati generalizzata (GDE) per estrarre i dati da CCS e importarli in Microsoft Business Intelligence, che è ospitato in Microsoft Azure.
Il diagramma riportato di seguito mostra il flusso di dati per il sistema di integrazione SOA.
gas-flusso-dati-sud-oracle.zip
Di seguito viene descritto il flusso di dati dell'integrazione SOA.
- Un utente accede al portale di Gas South.
- I dati di fatturazione provenienti da Oracle Utilities CCS (CCS) vengono generati e inviati a Oracle SOA Suite (SOA).
- SOA invia i dati di fatturazione al sistema finanziario.
- SOA invia la fatturazione al portale self-service per la revisione degli utenti.
- L'utente paga il bill.
- Il pagamento è elaborato.
- SOA viene aggiornato con il pagamento per indicare che la fattura è stata pagata.
- SOA aggiorna CCS per indicare che la fattura è pagata.
Il diagramma riportato di seguito mostra il flusso di dati per il sistema di esportazione dati.
gas-sud-dati-flusso-ccs-oracle.zip
Di seguito viene descritto il flusso di dati CCS per l'esportazione e l'importazione dei dati.
- CCS avvia un'esportazione dei dati generalizzata (GDE) ogni due ore per esportare i dati nello storage degli oggetti.
- Viene avviato uno script dell'interfaccia a riga di comando (CLI, Command Line Interface) sulla VM Oracle Base Database Service per copiare, dividere e caricare i file nel database.
- Attunity Qlik è configurato per leggere Oracle Database per le modifiche ai log.
- In caso di modifiche, Attunity Qlik estrae le modifiche da Oracle Database
- I dati vengono inviati a Azure SQL.
- I dati sono accessibili da Microsoft Business Intelligence.
Il diagramma seguente illustra il diagramma dell'architettura di riferimento per Gas South.
gas-architettura sud-sud-oracle.zip
L'app Gas South Portal, IVR e mobile sono ospitate su Microsoft Azure. I sistemi finanziari Microsoft Azure e Gas South si connettono alla rete cloud virtuale (VCN) OCI utilizzando un gateway Internet. I servizi SOA forniscono middleware e CCS, Gas South Systems e sistemi finanziari di terze parti fungono da sistemi di origine e di destinazione.
Un server di amministrazione, due server gestiti e un server di trasferimento file gestito (MFT) vengono distribuiti come parte di SOA. Entrambi i server gestiti vengono bilanciati dal carico di un load balancer Oracle. Il database viene distribuito utilizzando Oracle Base Database Service.
Per l'esportazione dei dati, lo storage degli oggetti viene utilizzato per memorizzare i file esportati da CCS. Viene avviato uno script in Oracle Base Database Service (database temporaneo) per copiare, dividere e caricare i file nel database. Microsoft Attunity viene utilizzato per leggere e estrarre i dati dal database di staging a cui Microsoft Business Intelligence accede utilizzando un tunnel SSH. Oracle Cloud Infrastructure Vault viene utilizzato per gestire le chiavi.
Oracle ha fornito le seguenti raccomandazioni di stato future a Gas South:
- Esplora l'aggiornamento a SOACS Marketplace. L'aggiornamento a SOACS Marketplace aiuterà Gas South a ridurre i costi di manutenzione e amministrazione IT.
- Esplora le opzioni cloud native e Platform as a Service (PaaS) per il processo di trasformazione e caricamento dei dati da CCS a Azure SQL, sfruttando Oracle Cloud Infrastructure Functions, Oracle Cloud Infrastructure Events, Oracle Cloud Infrastructure Data Integration e Oracle Integration.
Il seguente diagramma illustra questa architettura di riferimento futura.
gas-sud-architettura-futuro-oracle.zip
Un nuovo modello di flusso di dati deriverà dalle modifiche architettoniche:
gas-sud-dati-futuro-oracle.zip
Di seguito viene descritto il flusso di dati CCS per l'esportazione e l'importazione dei dati.
- CCS avvia un'esportazione dei dati generalizzata (GDE) ogni due ore per esportare i dati nello storage degli oggetti.
- Un evento in Oracle Cloud Infrastructure Events rileva l'aggiunta di file di dati esportati nello storage degli oggetti.
- L'evento richiama una funzione.
- Una funzione in Oracle Cloud Infrastructure Functions richiama OCI Data Integration.
- OCI Data Integration memorizza i file elaborati nello storage degli oggetti.
- OCI Data Integration divide e memorizza i file elaborati nello storage degli oggetti.
- Un evento in Oracle Cloud Infrastructure Events rileva l'aggiunta di file di dati suddivisi nello storage degli oggetti.
- L'evento richiama una funzione.
- Una funzione legge i file divisi dallo storage degli oggetti.
- Una funzione richiama Oracle Integration.
- I dati vengono inviati a Azure SQL e vi si accede da Microsoft Business Intelligence.
L'architettura ha i seguenti componenti:
- Tenancy
Una tenancy è una partizione sicura e isolata impostata da Oracle all'interno di Oracle Cloud al momento dell'iscrizione a OCI. È possibile creare, organizzare e amministrare le risorse su OCI all'interno della tenancy. Una tenancy è sinonimo di azienda o organizzazione. In genere, un'azienda disporrà di una singola tenancy, all'interno della quali rifletterà la propria struttura organizzativa. Una singola tenancy viene in genere associata a una singola sottoscrizione e una singola sottoscrizione di solito ha una sola tenancy.
- Area OCI
Un'area geografica OCI è un'area geografica localizzata che contiene uno o più data center, che ospitano domini di disponibilità. Le regioni sono indipendenti da altre regioni e vaste distanze possono separarle (tra paesi o addirittura continenti).
- Dominio di disponibilità
I domini di disponibilità sono data center autonomi e indipendenti all'interno di un'area. Le risorse fisiche in ogni dominio di disponibilità sono isolate dalle risorse negli altri domini di disponibilità, il che fornisce tolleranza agli errori. I domini di disponibilità non condividono l'infrastruttura, ad esempio alimentazione o raffreddamento, o la rete interna del dominio di disponibilità. Pertanto, un errore in un dominio di disponibilità non dovrebbe influire sugli altri domini di disponibilità nell'area.
- Rete e subnet cloud virtuale (VCN)
Una rete cloud virtuale (VCN, virtual cloud network) è una rete personalizzabile e definita dal software impostata in un'area OCI. Come le reti di data center tradizionali, le reti VCN ti danno il controllo sul tuo ambiente di rete. Una VCN può avere più blocchi CIDR (Classless Inter-Domain Routing) non sovrapposti che è possibile modificare dopo aver creato la VCN. È possibile segmentare una VCN in subnet, che possono essere definite in un'area o in un dominio di disponibilità. Ogni subnet è costituita da un intervallo contiguo di indirizzi che non si sovrappongono alle altre subnet nella VCN. È possibile modificare le dimensioni di una sottorete dopo la creazione. Una subnet può essere pubblica o privata.
- Tabella di instradamento
Le tabelle di instradamento virtuale contengono regole per instradare il traffico dalle subnet alle destinazioni esterne a una VCN, in genere tramite gateway.
- Lista di sicurezza
Per ogni subnet, puoi creare regole di sicurezza che specificano l'origine, la destinazione e il tipo di traffico consentito all'interno e all'esterno della subnet.
- Gateway Internet
Un gateway Internet consente il traffico tra le subnet pubbliche di una VCN e la rete Internet pubblica.
- Gateway del servizio
Un gateway di servizi fornisce l'accesso da una VCN ad altri servizi, ad esempio Oracle Cloud Infrastructure Object Storage. Il traffico dalla VCN al servizio Oracle viaggia sul fabric di rete Oracle e non attraversa Internet.
- Load balancer
Oracle Cloud Infrastructure Load Balancer fornisce una distribuzione automatica del traffico da un singolo punto di accesso a più server.
- Computazione OCI
Con Oracle Cloud Infrastructure Compute, puoi eseguire il provisioning e gestire gli host di computazione nel cloud. Puoi avviare istanze di computazione con forme che soddisfano i requisiti delle risorse per CPU, memoria, larghezza di banda della rete e storage. Dopo aver creato un'istanza di computazione, puoi accedervi in modo sicuro, riavviarla, collegare e scollegare i volumi e interromperla quando non ne hai più bisogno.
- Memorizzazione degli oggetti OCI
Lo storage degli oggetti OCI fornisce l'accesso a grandi quantità di dati strutturati e non strutturati di qualsiasi tipo di contenuto, inclusi backup del database, dati analitici e contenuti avanzati come immagini e video. Puoi memorizzare in tutta sicurezza i dati direttamente dalle applicazioni o dall'interno della piattaforma cloud. È possibile ridimensionare lo storage senza subire alcun deterioramento a livello di prestazioni o affidabilità del servizio.
Utilizza lo storage standard per lo storage "caldo" a cui devi accedere in modo rapido, immediato e frequente. Utilizzare lo storage di archivio per lo storage "a freddo" che si conserva per lunghi periodi di tempo e a cui si accede raramente o raramente.
- OCI Vault
Oracle Cloud Infrastructure Vault ti consente di creare e gestire centralmente le chiavi di cifratura che proteggono i tuoi dati e le credenziali segrete che utilizzi per proteggere l'accesso alle tue risorse nel cloud. La gestione delle chiavi predefinita è costituita da chiavi gestite da Oracle. È inoltre possibile utilizzare chiavi gestite dal cliente che utilizzano OCI Vault. OCI Vault offre un ricco set di API REST per la gestione di vault e chiavi.
- Monitoraggio OCI
Oracle Cloud Infrastructure Monitoring monitora in modo attivo e passivo le tue risorse cloud e utilizza gli allarmi per avvisarti quando le metriche soddisfano i trigger specificati.
- Oracle Base Database Service
Oracle Base Database Service è un servizio di database Oracle Cloud Infrastructure (OCI) che ti consente di creare, ridimensionare e gestire database Oracle completi di tutte le funzionalità su virtual machine. Un sistema di database VM utilizza lo storage OCI Block Volumes anziché lo storage locale e può eseguire Oracle Real Application Clusters (Oracle RAC) per migliorare la disponibilità.
Scopri di più
Scopri di più sulle caratteristiche di questa architettura e sulle architetture correlate.