跨區域導入即時多雲端資料分析架構

組織通常會希望使用現有的分析平台,在雲端上滿足所有資料分析需求。

這個多雲解決方案描述了一個客戶對美國 Oracle Cloud Infrastructure (OCI) 上的 Oracle E-Business Suite 應用程式的資料分析架構,而 Oracle E-Business Suite 資料則以近乎即時的方式複製到歐洲的 Microsoft Azure for Azure Synapse 分析。

分析工具和資料來源是透過專用的專用網路連接,以低延遲和高頻寬進行資料複製。Oracle Cloud Infrastructure GoldenGate (OCI GoldenGate) 可用於資料複寫。多雲端資料分析解決方案能滿足客戶需求,方法如下:

  • 將內部部署 Oracle Database 移轉至 Oracle Base Database Service ,以提供最長的資料庫正常運作時間、效能、擴展性、安全性及生產力。
  • 將分析堆疊保留在 Microsoft Azure 中,因此不需要對下游消費者進行組態 / 整合的任何重大變更。
  • 使用 OCI GoldenGate 將變更資料從 Oracle Database 複寫至 Azure 資料湖 Gen2,並即時 Azure Synapse。

架構

此參考架構顯示如何在 Microsoft Azure 區域的資料分析工具與遠端 OCI 區域中的資料資源之間啟用專用低延遲連線。

FastConnect 合作夥伴會連線 Azure ExpressRoute 和 Oracle Cloud Infrastructure FastConnect ,以加入兩個遠端雲端網路。Microsoft Azure 流量上的虛擬網路 (VNet) 會將專用相互連線周遊至 OCI 上的虛擬雲端網路 (VCN)。

Oracle E-Business Suite 生產環境資料庫部署在 Oracle Base Database Service 上作為範例。此解決方案適用於 Oracle Autonomous Database 和 Exadata Database Service 作為後端資料庫。

來源為 Oracle Database 且目標為 Azure Synapse/Azure Data Lake Storage Gen 2,因此 OCI GoldenGate 複寫部署於獨立的子網路中,並部署下列兩項:
  1. Oracle E-Business Suite 資料庫擷取資料的 Oracle 部署。
  2. 大數據部署可將從 Oracle E-Business Suite 資料庫擷取的資料套用至 Azure Synapse。
OCI GoldenGate 會從 Oracle Database 擷取資料,並將該資料複製到 Azure Data Lake Gen2 和 Azure Synapse,幾乎即時到 FastConnect。OCI GoldenGate 複製到「同步」使用階段並合併資料流程。變更資料會暫存至暫存位置,即微批次中的 Azure Data Lake Storage Gen 2,最後合併至同步目標表格。

下圖說明此參照架構。



oci-multicloud-db-analytics-azure-arch-oracle.zip

架構具有下列元件:

Oracle Cloud Infrastructure 元件

  • Autonomous Transaction Processing

    Oracle Autonomous Transaction Processing 是一種自我驅動、自我保護、自我修復的資料庫服務,已針對交易處理工作負載最佳化。您不需要設定或管理任何硬體,或是安裝任何軟體。Oracle Cloud Infrastructure 可處理建立資料庫,以及備份、打補丁、升級及調整資料庫。

  • FastConnect

    Oracle Cloud Infrastructure FastConnect 提供一個簡單的方式,在您的資料中心與 Oracle Cloud Infrastructure 之間建立專屬的專用連線。FastConnect 提供與網際網路型連線比較的高頻寬選項,以及更可靠的網路體驗。

  • 可用性網域

    可用性網域是區域內的獨立資料中心。每個可用性網域中的實體資源會與其他可用性網域中的資源隔離,以提供容錯能力。可用性網域並不共用基礎設施,例如電力或冷卻系統或內部可用性網域網路。因此,一個可用性網域發生失敗並不會影響區域中的其他可用性網域。

  • 虛擬雲端網路 (VCN) 和子網路

    VCN 是您在 Oracle Cloud Infrastructure 區域中設定的可自訂軟體定義網路。就像傳統的資料中心網路,VCN 可讓您完全控制網路環境。VCN 可以有多個非重疊 CIDR 區塊,而您可以在建立 VCN 之後進行變更。您可以將 VCN 區隔成子網路,然後對區域或可用性網域進行調整。每個子網路都是由不與 VCN 中其他子網路重疊的連續位址範圍所組成。您可以在建立子網路後變更其大小。子網路可以是公用網路或專用子網路。

  • 安全清單

    您可以為每個子網路建立安全規則,以指定必須允許進出子網路的來源、目的地和流量類型。

  • 路由表

    虛擬路由表包含規則,可將流量從子網路遞送至 VCN 外部的目的地,通常透過閘道。

  • 動態路由閘道 (DRG)

    DRG 是一個虛擬路由器,可為 VCN 與區域外部網路之間的 VCN (例如另一個 Oracle Cloud Infrastructure 區域中的 VCN、企業內部部署網路或其他雲端提供者中的網路) 之間的專用網路流量提供路徑。

  • Oracle Cloud Infrastructure GoldenGate

    Oracle Cloud Infrastructure GoldenGate 是一個完全託管的服務,可運用 GoldenGate CDC 技術即時且大規模地擷取資料及傳遞至 Oracle Autonomous Data Warehouse ,讓消費者儘快取得相關資訊,從部署於企業內部或任何雲端的來源擷取資料。

Microsoft Azure 元件
  • 虛擬網路 (VNet) 和子網路

    VNet 是您在 Azure 中定義的虛擬網路。一個 VNet 可以有多個非重疊的 CIDR 區塊子網路,您可以在建立 VNet 之後新增這些子網路。您可以將 VNet 區隔成子網路,此子網路可設定區域或可用性區域範圍。每個子網路都是由不與 VNet 中其他子網路重疊的連續位址範圍所組成。使用 VNet 以邏輯方式隔離網路層次的 Microsoft Azure 資源。

  • ExpressRoute

    Azure ExpressRoute 可讓您設定 VNet 與其他網路之間的專用連線,例如您的內部部署網路或另一個雲端提供者中的網路。ExpressRoute 是較可靠且更快速的替代一般網際網路連線,因為透過 ExpressRoute 的流量不會經由公用網際網路。

  • 虛擬網路閘道

    虛擬網路閘道可允許 Azure VNet 與 Azure 外部網路 (透過公用網際網路或使用 ExpressRoute) 之間的流量 (視您指定的閘道類型而定)。

  • 路由表

    在 Azure 外部的 Azure 子網路、VNets 和網路之間遞送表格直接流量。

  • 網路安全群組

    網路安全群組包含控制 VNet 內 Azure 資源間網路流量的規則。每個規則都會指定允許或拒絕之網路流量的來源或目的地、連接埠、協定及方向。

  • Azure Synapse Analytics

    Azure Synapse Analytics 是一種分析服務,整合資料整合、企業資料倉儲和大數據分析。它可讓您大規模使用無伺服器或專用選項來查詢詞彙上的資料。Azure Synapse 為立即的 BI 和機器學習需求提供資料擷取、探索、準備、轉換、管理和提供統一體驗。

  • Azure 資料湖儲存體 Gen2

    Azure Data Lake Storage Gen2 是一組專用於大數據分析的功能,此功能以 Azure Blob 儲存體為基礎。Data Lake Storage Gen2 將 Azure Data Lake Storage Gen1 的功能與 Azure Blob 儲存體相結合。例如,資料湖儲存體 Gen2 提供檔案系統語意、檔案層次的安全性及規模。由於這些功能是以 Blob 儲存為基礎,因此您還具備高可用性和災害復原功能的低成本分層儲存。

建議

使用下列建議作為起點。您的需求可能與此處所述的架構不同。
  • 啟動設定

    選擇正確的 Oracle Cloud Infrastructure FastConnect 和 Azure ExpressRoute 虛擬迴路大小,以支援工作負載的頻寬需求。

    使用已連線至 OCI 動態路由閘道 (DRG) 和 OCI FastConnect 的 OCI 虛擬雲端網路 (VCN) / 子網路佈建 Oracle Database。

    在 OCI 上設定路由和安全 / 網路安全群組 (NSG),以允許 Azure Synapse Analytics 網路流量傳送至 Oracle Database。

    若為專用端點中的 Oracle Cloud 資料庫,請指定 VCN 組態以只允許來自指定 VCN 的流量。這會禁止從所有公用 IP 或 VCN 存取資料庫。

注意事項

部署此參照架構時,請考量以下各點。

  • 成本

    Oracle Cloud Infrastructure FastConnect:所有 Oracle Cloud Infrastructure 區域的 FastConnect 成本相同。輸入或輸出資料完全免費。

    Azure ExpressRoute:Azure ExpressRoute 成本因不同區域而異。Azure 有多個 SKU 可用於快速路由;Oracle 建議使用「本機」設定,因為它沒有個別的傳入或傳出費用,而且最小的頻寬為 1 Gbps。標準版和進階版組態提供較低的頻寬,但在計量付費的設定中會產生個別的輸出費用。

    Oracle Autonomous Transaction Processing 中的 Oracle CPU (OCPU) 自動調整功能可在需要時處理尖峰工作負載,同時大幅降低授權成本。

  • 效能

    對於此參考架構中的客戶使用案例,該需求幾乎是將 OCI 上主要資料庫的即時資料複寫到 Azure 端點。在 OCI GoldenGate 的協助下,客戶的異質和多重雲端大數據庫始終跟上營運和分析生產系統中的即時資料,實現即時分析。

  • 網路

    也可以使用 Oracle Interconnect for Microsoft Azure 作為替代網路解決方案。Oracle Interconnect for Microsoft Azure 僅適用於特定 Azure-OCI 配對區域。如需詳細資訊,請參閱瀏覽更多區段中瞭解哪些 Azure 和 OCI 區域支援 OracleDB for Azure

    如果 OCI 和 Azure 區域不支援 Oracle Interconnect for Microsoft Azure,您可以使用每個雲端提供者 (OCI 和 Azure) 的骨幹來攜帶流量。如果您使用 OCI 骨幹,必須建立一個中介區域,其中包含 OCI 和遠端對等互連連線 (RPC) 內可用的 Oracle Interconnect for Microsoft Azure 區域與不支援 Oracle Interconnect for Microsoft Azure 的區域。

    注意:

    如果您在設計中使用 OCI 骨幹和 RPC,就必須在動態路由閘道 (DRG) 層次使用自訂路由,將流量從中介區域遞送至其他區域,但未包含相互連線適用區域。若要使用 Azure 骨幹,請考量 ExpressRoute SKU 本機、標準和進階,以確保您擁有正確的 SKU 可連接 Azure 內的兩個區域。您也可以考慮使用提供第 3 層服務的 FastConnect 提供者,例如 Megaport 雲端路由器。

確認書

  • Author: Shrinidhi Kulkarni
  • Contributors: Wei Han, Atefeh Yousefi Attaei