使用 Microsoft Azure Synapse 和 Oracle Autonomous Database 部署多雲端分析管道

雲端部署反映了企業異質 IT 環境。企業想要將成本效能最佳化,並在移轉至雲端時使用業界頂尖的服務。多重雲分割堆疊資料分析管線可直接透過互連將 Azure Synapse Analytics 連線至 Oracle Autonomous Database on Shared Exadata Infrastructure ,滿足企業的需求,獲得即時的業務洞察力。

此架構使用 Azure 整合程式實際執行 (IR),為 Azure Synapse Analytics 建立專用端點。同步流量會透過專用 Azure 的 Oracle Interconnect 遞送至 OCI 上 Oracle Autonomous Database on Shared Exadata Infrastructure 的專用端點。

下列是一些好處:
  • 多雲資料分析管道提供即時的業務洞察力
  • Oracle Autonomous Database 以低總持有成本提供機器學習驅動的託管服務
  • Azure 的 Oracle Interconnect 提供專用專屬高頻寬、低延遲網路連線
  • Azure Synapse Analytics 結合了資料整合、企業資料倉儲和大數據分析

架構

此架構顯示 Oracle Cloud Infrastructure (OCI) 上的 Oracle E-Business Suite 典型多重雲端部署,以及 Microsoft Azure 上的 Azure Synapse Analytics

Oracle E-Business Suite 完整堆疊已部署在 OCI 上。生產環境 Oracle E-Business Suite 資料會使用 Oracle Cloud Infrastructure GoldenGate 即時複寫至 Oracle Autonomous Data WarehouseAzure Synapse Analytics 透過 Oracle Interconnect for Azure 直接存取資料倉儲。Oracle Interconnect for Azure 提供 Azure 和 OCI 之間的專用、高頻寬和低延遲連線。

下圖說明此參照架構。

以下是 multicloud-data-analytics-pipeline-azure.png 的描述
multicloud-data-analytics-pipeline-azure.png 圖解描述

多雲端資料分析 - 管線 - 區域 -oracle.zip

企業內部部署應用系統和使用者會透過 VPN 或專用連線 (例如 Oracle Cloud Infrastructure FastConnect 或 Azure ExpressRoute),連線至兩個雲端系統。

OCI 與 Azure 之間的專用相互連線會使用專用 IP 或端點來遞送流量。使用專用端點的 Autonomous Database 會部署在與 Azure 的相互連線的 OCI 區域中。Azure Synapse Analytics 是一個平台即服務 (PaaS),優惠方案沒有 Oracle 資料庫的專用端點。不過,Azure 提供自行代管的整合程式實際執行 (IR),您可以在虛擬機器 (VM) 上部署,並在 Oracle Autonomous Database 與 Azure Synapse 之間進行橋接。因為 Synapse 工作區的 Azure 管理虛擬網路 (VNet) 無法直接附加到 Oracle Database for Azure VNet。需要自行管理的 VNet,才能部署 IR。

自行代管的整合程式實際執行主機限制了網路頻寬,這可能不足以將大量資料從自治式資料庫傳輸至所需視窗內的 Azure Synapse Analytics 。建議您部署多個 IR 以提供高可用性。

此架構在 OCI 上具有下列元件:

  • 區域

    Oracle Cloud Infrastructure 區域是一個本地化的地理區域,包含一或多個資料中心 (稱為可用性網域)。區域與其他區域無關,因此廣大的距離可加以區隔 (跨國家或甚至洲)。

  • 可用性網域

    可用性網域是區域內的獨立資料中心。每個可用性網域中的實體資源會與其他可用性網域中的資源隔離,以提供容錯能力。可用性網域並不共用基礎設施,例如電力或冷卻系統或內部可用性網域網路。因此,一個可用性網域發生失敗並不會影響區域中的其他可用性網域。

  • 虛擬雲端網路 (VCN) 和子網路

    VCN 是您在 Oracle Cloud Infrastructure 區域中設定的可自訂軟體定義網路。就像傳統的資料中心網路,VCN 可讓您完全控制網路環境。VCN 可以有多個非重疊 CIDR 區塊,而您可以在建立 VCN 之後進行變更。您可以將 VCN 區隔成子網路,然後對區域或可用性網域進行調整。每個子網路都是由不與 VCN 中其他子網路重疊的連續位址範圍所組成。您可以在建立子網路後變更其大小。子網路可以是公用網路或專用子網路。

  • 堡壘主機服務

    Oracle Cloud Infrastructure 堡壘主機可針對不具備公用端點且需要嚴格資源存取控制 (例如裸機和虛擬機器、Oracle MySQL Database ServiceAutonomous Transaction Processing (ATP)、Oracle Container Engine for Kubernetes (OKE) 及任何其他允許安全 Shell 協定 (SSH) 存取的資源,提供限制且限時的安全存取。有了 Oracle Cloud Infrastructure 堡壘主機服務,您不需部署和維護跳躍主機,即可啟用對專用主機的存取。此外,您還可以利用身分識別權限以及集中式、稽核及時間導向 SSH 階段作業來改善安全狀態。Oracle Cloud Infrastructure 堡壘主機不再需要公用 IP 才能存取堡壘主機,可在提供遠端存取時免除麻煩和潛在攻擊面。

  • 負載平衡程式

    Oracle Cloud Infrastructure Load Balancing 服務提供從單一進入點到後端多部伺服器的自動化流量分配。

  • Oracle E-Business Suite

    Oracle E-Business Suite 是一套整合式業務應用系統,可讓組織做出更好的決策、降低成本及提升效能。產品為客戶關係管理、服務管理、財務管理、人力資本管理、專案組合管理、進階採購、供應鏈管理、價值鏈規劃和價值鏈執行提供了解決方案。

  • Oracle E-Business Suite 雲端管理員

    Oracle E-Business Suite Cloud Manager 是一個 Web 型應用程式,可驅動 Oracle Cloud Infrastructure 上 Oracle E-Business Suite 的所有主要自動化流程,包括佈建新環境、在這些環境執行生命週期管理活動,以及從企業內部部署回復環境。

    Oracle E-Business Suite Cloud Manager 的設計可簡化 Oracle E-Business Suite 資料庫管理員 (DBA) 每天執行的各種不同工作,目標是減少執行工作所需的人力。

  • Oracle Cloud Infrastructure GoldenGate

    Oracle Cloud Infrastructure GoldenGate 是一個完全託管的服務,可運用 GoldenGate CDC 技術即時且大規模地擷取資料及傳遞至 Oracle Autonomous Data Warehouse ,讓消費者儘快取得相關資訊,從部署於企業內部或任何雲端的來源擷取資料。

  • Autonomous Database

    Oracle Autonomous Database 是一個完全受管理且預先設定的資料庫環境,可用來處理交易和資料倉儲工作負載。您不需要設定或管理任何硬體,或是安裝任何軟體。Oracle Cloud Infrastructure 可處理建立資料庫,以及備份、打補丁、升級及調整資料庫。

  • 資料安全

    Oracle Data Safe 是一項完全整合的區域雲端服務,專注於保護 Oracle 資料庫中機密和受規範資料的完整功能。Data Safe 也支援內部部署資料庫、Oracle Exadata Database Service on Cloud@Customer 和多雲端部署。所有 Oracle Database 客戶都可以使用 Oracle Data Safe 來評估組態和使用者風險、監控和稽核使用者活動,以及探索、分類和遮罩機密資料,以降低資料外洩的風險並簡化合規性。

  • 物件儲存

    物件儲存可快速存取任何內容類型的大量結構化與非結構化資料,包括資料庫備份、分析資料,以及豐富內容 (例如影像和影片)。您可以安全地儲存,然後直接從網際網路或雲端平台內擷取資料。您可以無縫擴充儲存,而不會發生任何效能或服務可靠性的降低。針對快速、立即和經常存取的「熱」儲存,使用標準儲存。將封存儲存用於長時間且鮮少存取的「冷」儲存。

  • 稽核

    Oracle Cloud Infrastructure Audit 服務會自動將所有支援 Oracle Cloud Infrastructure 公用應用系統程式設計介面 (API) 端點的呼叫記錄為日誌事件。目前,所有服務都支援由 Oracle Cloud Infrastructure Audit 記錄。

  • 記錄日誌
    日誌記錄是一種可高度擴展且完全受管理的服務,可讓您從雲端資源存取下列類型的日誌:
    • 稽核日誌:與稽核服務發出之事件相關的日誌。
    • 服務日誌:由個別服務 (例如 API 閘道、事件、函數、負載平衡、物件儲存以及 VCN 流量日誌) 發出的日誌。
    • 自訂日誌:包含自訂應用程式、其他雲端提供者或內部部署環境之診斷資訊的日誌。
  • 原則

    Oracle Cloud Infrastructure Identity and Access Management 原則可指定誰可以存取哪些資源,以及存取方式。您會在群組和區間層次授予存取權,這表示您可以撰寫一個原則,讓群組在特定區間或租用戶內具有特定類型的存取權。

  • 身分識別與存取管理 (IAM)

    Oracle Cloud Infrastructure Identity and Access Management (IAM) 是 Oracle Cloud Infrastructure (OCI) 和 Oracle Cloud Applications 的存取控制層。IAM API 和使用者介面可讓您管理識別網域和識別網域內的資源。每個 OCI IAM 識別網域代表獨立身分識別與存取管理解決方案或其他使用者群體。

  • 動態路由閘道 (DRG)

    DRG 是一個虛擬路由器,可為 VCN 與區域外部網路之間的 VCN (例如另一個 Oracle Cloud Infrastructure 區域中的 VCN、企業內部部署網路或其他雲端提供者中的網路) 之間的專用網路流量提供路徑。

  • 網際網路閘道

    網際網路閘道可允許 VCN 中的公用子網路與公用網際網路之間的流量。

  • 服務閘道

    服務閘道可讓您從 VCN 存取其他服務,例如 Oracle Cloud Infrastructure Object Storage 。VCN 到 Oracle 服務的流量會透過 Oracle 網路光纖通道,而一律不會周遊網際網路。

  • Web 應用程式防火牆 (WAF)

    Oracle Cloud Infrastructure Web Application Firewall (WAF) 是與強制點 (例如負載平衡器或 Web 應用程式網域名稱) 連附的付款卡產業 (PCI) 相容、以區域為基礎和邊緣強制實行服務。WAF 可保護應用系統免於惡意和非必要網際網路流量的危害。WAF 可以保護所有連結網際網路的端點,對客戶的應用程式實施一致的規則。

  • 路由表

    虛擬路由表包含規則,可將流量從子網路遞送至 VCN 外部的目的地,通常透過閘道。

  • 網路安全群組 (NSG)

    網路安全群組 (NSG) 會成為您雲端資源的虛擬防火牆。有了 Oracle Cloud Infrastructure 的零信任安全模型,系統便會拒絕所有流量,而您可以控制 VCN 內的網路流量。NSG 由一組傳入和傳出安全規則組成,僅適用於單一 VCN 中一組指定的 VNIC。

  • 安全清單

    您可以為每個子網路建立安全規則,以指定必須允許進出子網路的來源、目的地和流量類型。

架構在 Azure 上具有下列元件:

  • Azure ExpressRoute

    Microsoft Azure ExpressRoute 可讓您設定 VNet 和其他網路之間的專用連線,例如您的內部部署網路或另一個雲端提供者中的網路。ExpressRoute 是較可靠且更快速的替代一般網際網路連線,因為透過 ExpressRoute 的流量不會經由公用網際網路。

  • Microsoft Azure VNet

    Microsoft Azure 虛擬網路 (VNet) 是 Azure 中專用網路的基本建構區塊。VNet 可讓許多類型的 Azure 資源 (例如 Azure 虛擬機器 (VM),安全地相互通訊、網際網路和內部部署網路。

  • 整合執行階段

    整合程式實際執行透過公用可存取的端點,提供不同網路的資料整合功能。

    Microsoft Azure 服務 (例如 Azure Synapse Analytics) 使用整合程式實際執行進行資料整合。

  • Azure Synapse Analytics

    Azure Synapse Analytics 是 Microsoft 服務,為資料倉儲和大數據系統提供分析。

  • Azure Active Directory

    Azure Active Directory 是一項 Microsoft 服務,可儲存網路上的物件相關資訊,讓管理員和使用者更容易尋找和使用這些資訊 (例如帳戶、權限、安全原則、DNS)。Azure Active Directory 使用結構化資料存放區作為目錄資訊邏輯階層組織的基礎。

建議

請使用下列建議作為起點。 您的需求可能與此處所述的架構不同。
  • 啟動設定
    • 在 Azure 上佈建具有較高網路頻寬的大型虛擬機器 (VM),以代管整合程式實際執行 (IR),並啟用平行執行緒以在 Oracle Autonomous Data WarehouseAzure Synapse Analytics 之間進行資料傳輸。
    • Microsoft Azure 上佈建多個 VM 以避免單一失敗點,而 IR 主機的合併頻寬則提供 Oracle Autonomous Data WarehouseAzure Synapse Analytics 之間資料傳輸所需的傳輸量。
    • 在不同的 Azure 可用性區域中佈建並部署 Azure IR,以實現最大可用性。
    • 選擇正確的 Oracle Cloud Infrastructure FastConnectAzure ExpressRoute 虛擬迴路大小,以支援工作負載的頻寬需求。
    • 使用連線到 OCI 動態路由閘道 (DRG) 和 OCI FastConnect 的 Oracle Cloud Infrastructure (OCI) 虛擬雲端網路 (VCN) / 子網路,佈建 Oracle Autonomous Data Warehouse
    • 在 OCI 上設定路由和安全 / 網路安全群組 (NSG),以允許將 Azure Synapse Analytics 網路流量傳送至 Oracle Autonomous Data Warehouse
    • 若為 共用 Exadata InfrastructureOracle Autonomous Database on Shared Exadata Infrastructure 上的 Oracle Autonomous Database 專用端點,請指定 VCN 組態,只允許來自指定 VCN 的流量。這會禁止從所有公用 IP 或 VCN 存取資料庫。
    • VCN

      建立 VCN 時,請根據您計畫連附至 VCN 中子網路的資源數目,判斷所需的 CIDR 區塊數目和每個區塊的大小。使用標準專用 IP 位址空間內的 CIDR 區塊。

      選取未與欲設定專用連線之任何其他網路 (在 Oracle Cloud Infrastructure 、您的內部部署資料中心或其他雲端提供者) 重疊的 CIDR 區塊。

      您可以在建立 VCN 之後,變更、新增及移除其 CIDR 區塊。

      設計子網路時,請考慮您的流量與安全需求。將特定層或角色內的所有資源連附至相同的子網路,以作為安全界限。

注意事項

部署此架構時,請考慮下列事項:

  • 套裝應用程式

    此架構使用 Oracle E-Business Suite 作為範例。它適用於其他套裝程式應用程式,例如 PeopleSoft、JD Edwards EnterpriseOne 、Siebel 或任何以 Oracle Database 建置的第三方應用程式。

  • Oracle Autonomous Data Warehouse
    • Autonomous Data Warehouse 資料庫適當地調整為最適合工作負載的必要運算和儲存。
    • Autonomous Data Warehouse 資料庫啟用自動擴展功能,以支援任何其他工作負載。
    • 啟用自動備份並選取支援您業務的適當保留期間。
    • 啟用 Oracle Autonomous Data Guard 以啟用待命 (對等) 資料庫,為您的業務需求提供資料保護災害復原。
  • 資料複寫
    • 如果 Oracle E-Business Suite 具有災害復原 (DR) 執行處理,您可以將資料從 DR 執行處理複寫至 Autonomous Data Warehouse ,以卸載生產環境 Oracle E-Business Suite 資料庫的工作負載。
    • 您也可以使用 Oracle GoldenGate 的替代方案,以使用 Oracle Cloud Infrastructure Data IntegrationOracle E-Business Suite 資料庫的資料複寫至 Autonomous Data Warehouse

確認書

  • Authors: Wei Han, Niranjan Mohapatra, Ejaz Akram