Oracle Cloud 和 Azure 上部署 Oracle Utilities 資料的 ETL 平台

Gas South 在執行 Oracle Utilities Customer Cloud Service 應用系統以自動化客戶服務、計費及付款作業之後,在 Oracle Cloud Infrastructure (OCI) 上部署了資料擷取、轉換及載入 (ETL) 平台。

亞特蘭大天然氣南部創立於 2006 年,為 14 個州的住宅、商業及政府客戶提供天然氣,包括佛羅里達州、新 Jersey、俄亥俄州、德克薩斯州和田納西州。除了在 Oracle Cloud 和 Microsoft Azure 的多雲端部署中現代化客戶關懷和計費作業之外,Gas South 最近重新活化了作為「善用燃料」的使命,回饋了 5% 的年度利潤,幫助有需要兒童,優先考慮基本需求、教育和健康。該公司自 2006 年起向慈善機構捐贈了超過 120 萬美元,其中包括 2022 年的 320 萬美元,這是有史以來最大的企業捐款。

Gas South 在 OCI 上部署時,會從 Oracle Cloud Infrastructure Object Storage 儲存桶中持有、剖析為 JSON 檔案、透過 Oracle SOA Cloud Service 移動並儲存在一般化資料擷取 (GDE) 資料庫中的公用程式 SaaS 應用程式擷取客戶關懷與帳單資料。接著,將公用程式應用程式資料結構化,以便在手動觸發時,將安全 Shell (SSH) 通道傳遞至 Attunity Qlik 整合引擎,該引擎會連線至在 Azure 的 SQL Server 上執行的 Microsoft Power BI 應用程式。

此部署的重點包括:

  • 在連線至專用虛擬雲端網路 (VCN) 中的一般化資料擷取 (GDE) 資料庫之前,使用者必須先使用 SSH 通道、堡壘主機以及公用 / 私密金鑰進行認證。
  • GDE 服務目前用來從 Oracle Utilities Customer Cloud Service SaaS 應用程式取得客戶服務資料,並將其傳遞至 Attunity Qlik 整合引擎,此引擎連線至 Azure BI 應用程式進行分析和報告。
  • OCI 上的 Oracle 資料庫啟用存檔日誌以擷取由 Attunity Qlik 偵測到的檔案更新,然後整合至 Azure 上的 Microsoft BI。

架構

Gas South 已經在 Oracle Cloud Infrastructure (OCI) 上建置並部署了 Oracle SOA Cloud Service (SOACS),讓公用事業公司將其 Oracle Utilities Customer Cloud Service (CCS) 與其自助服務入口網站、互動式語音回應 (IVR) 系統,以及需要存取 Gas South 付款和財務系統的行動應用程式整合。

為了分析 CCS 產生的資料,Gas South 部署了一般化資料匯出 (GDE) 系統,從 CCS 擷取資料,並將其匯入 Microsoft Business Intelligence (由 Microsoft Azure 代管)。

下圖顯示 SOA 整合系統的資料流程。



氣體南資料流 -oracle.zip

以下說明 SOA 整合的資料流程:

  1. 使用者存取 Gas South 入口網站。
  2. Oracle Utilities CCS (CCS) 的計費資料會產生並傳送至 Oracle SOA Suite (SOA)。
  3. SOA 會將結帳資料傳送到財務系統。
  4. SOA 會將結帳傳送到自助服務入口網站,以供使用者複查。
  5. 使用者支付帳單。
  6. 已處理付款。
  7. SOA 會以付款更新,以顯示已支付帳單。
  8. SOA 會更新 CCS 以顯示已支付帳單。

下列圖表顯示資料匯出系統的資料流程。



氣體南資料流 ccs-oracle.zip

以下說明資料匯出與匯入的 CCS 資料流程:

  1. CCS 每兩小時會起始一般化資料匯出 (GDE),將資料匯出至物件儲存。
  2. Oracle Base Database Service VM 上的命令行介面 (CLI) 命令檔已起始,可複製、分割及載入檔案至資料庫。
  3. Attunity Qlik 已設定為讀取 Oracle Database 以查看日誌變更。
  4. 如果發生了變更,Attunity Qlik 就會從 Oracle Database 提取這些變更
  5. 資料會推送至 Azure SQL。
  6. 資料由 Microsoft Business Intelligence 存取。

下圖說明 Gas South 的參考架構圖。



氣體南架構 -oracle.zip

Gas South Portal、IVR 和行動應用程式由 Microsoft Azure 代管。Microsoft Azure 和 Gas South 財務系統使用網際網路閘道連線至 OCI 虛擬雲端網路 (VCN)。SOA 服務提供中介軟體與 CCS、Gas South Systems 以及第三方財務系統,作為來源與目標系統。

管理伺服器、兩部受管理伺服器和受管理的檔案傳輸 (MFT) 伺服器會部署為 SOA 的一部分。這兩部受管理伺服器都由 Oracle 負載平衡器進行負載平衡。資料庫是使用 Oracle Base Database Service 部署的。

對於資料匯出,物件儲存用於儲存從 CCS 匯出的檔案。啟動 Oracle Base Database Service (暫存資料庫) 上的命令檔,將檔案複製、分割以及載入資料庫。使用 Microsoft Attunity 從暫存資料庫讀取和提取資料,然後由 Microsoft Business Intelligence 使用 SSH 通道存取。Oracle Cloud Infrastructure Vault 可用來管理金鑰。

Oracle 向 Gas South 提供了下列未來狀態建議:

  • 探索升級至 SOACS 市集。升級至 SOACS 市集將協助 Gas South 降低 IT 維護和管理成本。
  • 探索雲端原生和平台即服務 (PaaS) 選項,以運用 Oracle Cloud Infrastructure FunctionsOracle Cloud Infrastructure EventsOracle Cloud Infrastructure Data IntegrationOracle Integration Cloud Service 將資料從 CCS 轉換和載入至 Azure SQL。

下圖說明未來的參照架構。



燃氣 - 南架構 - 未來 -oracle.zip

新的資料流程模式將因架構變更而產生:



燃氣 - 資料 - 未來 -oracle.zip

以下說明資料匯出與匯入的 CCS 資料流程:

  1. CCS 每兩小時會起始一般化資料匯出 (GDE),將資料匯出至物件儲存。
  2. Oracle Cloud Infrastructure Events 中的事件會偵測物件儲存中新增匯出的資料檔案。
  3. 事件會呼叫函數。
  4. Oracle Cloud Infrastructure Functions 中的函數會呼叫 Oracle Cloud Infrastructure Data Integration
  5. Oracle Cloud Infrastructure Data Integration 會將處理過的檔案儲存在物件儲存中。
  6. Oracle Cloud Infrastructure Data Integration 可將處理的檔案分割並儲存在物件儲存中。
  7. Oracle Cloud Infrastructure Events 中的事件會偵測出在物件儲存中新增分割資料檔。
  8. 事件會呼叫函數。
  9. 函數會從物件儲存體讀取分割檔案。
  10. 函數會呼叫 Oracle Integration Cloud Service
  11. 資料會推送至 Azure SQL,並由 Microsoft Business Intelligence 存取。

架構具有下列元件:

  • 租用戶

    租用戶是指註冊 Oracle Cloud Infrastructure 時,Oracle 在 Oracle Cloud 內設定的安全獨立分割區。您可以在租用戶的 Oracle Cloud 中建立、組織及管理您的資源。租用戶與公司或組織同義。通常,公司會有單一租用戶,並反映其在該租用戶內的組織結構。單一租用戶通常與單一訂閱關聯,而單一訂閱通常只有一個租用戶。

  • 地區

    Oracle Cloud Infrastructure 區域是一個本地化的地理區域,包含一或多個資料中心 (稱為可用性網域)。區域與其他區域無關,因此廣大的距離可加以區隔 (跨國家或甚至洲)。

  • 可用性網域

    可用性網域是區域內的獨立資料中心。每個可用性網域中的實體資源會與其他可用性網域中的資源隔離,以提供容錯能力。可用性網域並不共用基礎設施,例如電力或冷卻系統或內部可用性網域網路。因此,一個可用性網域發生失敗並不會影響區域中的其他可用性網域。

  • 虛擬雲端網路 (VCN) 和子網路

    VCN 是您在 Oracle Cloud Infrastructure 區域中設定的可自訂軟體定義網路。就像傳統的資料中心網路,VCN 可讓您完全控制網路環境。VCN 可以有多個非重疊 CIDR 區塊,而您可以在建立 VCN 之後進行變更。您可以將 VCN 區隔成子網路,然後對區域或可用性網域進行調整。每個子網路都是由不與 VCN 中其他子網路重疊的連續位址範圍所組成。您可以在建立子網路後變更其大小。子網路可以是公用網路或專用子網路。

  • 路由表

    虛擬路由表包含規則,可將流量從子網路遞送至 VCN 外部的目的地,通常透過閘道。

  • 安全清單

    您可以為每個子網路建立安全規則,以指定必須允許進出子網路的來源、目的地和流量類型。

  • 網際網路閘道

    網際網路閘道可允許 VCN 中的公用子網路與公用網際網路之間的流量。

  • 服務閘道

    服務閘道可讓您從 VCN 存取其他服務,例如 Oracle Cloud Infrastructure Object Storage 。VCN 到 Oracle 服務的流量會透過 Oracle 網路光纖通道,而一律不會周遊網際網路。

  • 負載平衡器

    Oracle Cloud Infrastructure Load Balancing 服務提供從單一進入點到後端多部伺服器的自動化流量分配。

  • 運算

    Oracle Cloud Infrastructure Compute 服務可讓您在雲端中佈建與管理運算主機。您可以使用資源配置來啟動運算執行處理,以滿足 CPU、記憶體、網路頻寬及儲存的資源需求。建立運算執行處理之後,您可以安全地存取、重新啟動、連附和卸離磁碟區,以及在不再需要時將它終止。

  • 物件儲存

    物件儲存可快速存取任何內容類型的大量結構化與非結構化資料,包括資料庫備份、分析資料,以及豐富內容 (例如影像和影片)。您可以安全地儲存,然後直接從網際網路或雲端平台內擷取資料。您可以無縫擴充儲存,而不會發生任何效能或服務可靠性的降低。針對快速、立即和經常存取的「熱」儲存,使用標準儲存。將封存儲存用於長時間且鮮少存取的「冷」儲存。

  • 保存庫

    Oracle Cloud Infrastructure Vault 可讓您集中管理加密金鑰,保護您的資料和用於保護雲端資源安全存取的機密證明資料。您可以使用保存庫服務建立及管理保存庫、金鑰及加密密碼。

  • 監督

    Oracle Cloud Infrastructure Monitoring 服務會使用度量主動和被動監控您的雲端資源,以監控資源和警訊,這些度量符合警訊指定的觸發程式時通知您。

  • Oracle Base Database Service

    Oracle Base Database Service 是一項 Oracle Cloud Infrastructure (OCI) 資料庫服務,可讓您在虛擬機器上建立、擴充及管理功能完整的 Oracle 資料庫。VM 資料庫系統使用 OCI Block Volumes 儲存,而非本機儲存,並可執行 Oracle Real Application Clusters (Oracle RAC) 提升可用性。

內建與部署功能

想要展示您在 Oracle Cloud Infrastructure 上建置的內容嗎?謹慎與我們的雲端架構師全球社群分享您的經驗、最佳實務和參考架構嗎?讓我們幫助您開始。

  1. 下載範本 (PPTX)

    將圖示拖放至範例線框,以圖解自己的參考架構。

  2. 觀看架構教學

    取得如何建立參照架構的逐步指示。

  3. 提交圖表

    請發送電子郵件至您的圖表。我們的雲端架構師將複習圖表,並協助您討論架構。

確認書

  • Authors: Robert Huie, Sasha Banks-Louie
  • Contributors: Brad Goodwin, Cory Quinn, Santosh Dixit, Pradyumna Kodgi, Joseph Dominski, Mckenzie Holiday, Robert Lies

    Gas South Team: John Stiles, Jose Figueroa, Smitha Viswambharan, Marshall Sutherland, Arun Valliappan, Nadeem Fatmi, Michael Sallustio