使用 OCI 資料整合和 Oracle Integration Cloud Services 處理大量資料
處理或整合從外部來源到目標系統或應用程式的大量資料。
考慮此案例：您從外部來源 (例如客戶、供應商、員工、產品等) 大量接收資料。資料到達您的終端系統或應用程式之前，必須進行協調、強化、結合或組織。作為流程的一部分，您必須與兩個以上的中繼應用程式或服務整合，或將複雜的轉換套用至資料。進行呼叫或與各種第三方應用程式 (以 REST、SOAP 等為基礎) 協調後，此處理作業可能會對資料新增其他屬性。此交易資料也可能需要複雜的轉換 (JSON 或 XML)、查尋或交叉參照。
此案例可以透過以下兩種雲端服務輕鬆導入：OCI 資料整合 (OCI DI) 和 Oracle Integration Cloud (OIC)，OCI DI 可處理您的所有資料整合，或「擷取、轉換、載入」(ETL) 需求，而 OIC 可處理您的所有應用程式整合或企業級連線，無論您連線的應用程式或位於何處。
架構
此參照架構代表使用 OCI DI 與 OIC 服務處理大量資料的使用案例。
此參考架構也可透過 OCI DI 處理 OIC 中的 Apache Parquet、Apache Avro 及 Microsoft Excel 檔案所面臨的挑戰。例如，若要處理財務報表資料 (例如應付帳款、應收帳款、總帳、現金流量、資產與負債、收入等)。OCI DI 會將這些檔案格式轉換為逗號分隔值 (CSV) 檔案，然後由 OIC 處理。
下圖說明此參照架構。
oci-bulk-data-integration-architecture-diagram-oracle.zip
以下為上述參考架構所示步驟的說明：
- 外部來源 (例如，自訂應用系統、非 Oracle 應用系統、在第三方雲端執行的 Oracle 資料庫、第三方雲端服務、企業內部部署資料庫及應用系統) 會將大量資料載入檔案上傳或刪除至 OCI 物件儲存的儲存桶。
- OCI 可觀測性與管理服務 - OCI 事件服務會尋找上傳到 OCI 物件儲存之儲存桶中的物件或檔案。
- OCI 事件服務會觸發使用儲存桶和檔案名稱呼叫 OCI 函數的動作。
- OCI 函數會接收事件，並使用輸入參數呼叫 OCI DI 管線：儲存桶名稱和檔案名稱。
- OCI DI 管線會從 OCI 物件儲存的儲存桶讀取大量資料載入檔案，然後將單一、大型的資料檔分割成數個較小的檔案。然後將分割的檔案上傳至 OCI Object Storage 儲存桶。
- 另一個 OCI 事件服務的執行處理會尋找上傳到 OCI 物件儲存的儲存桶中的分割檔案。
- OCI 事件服務會觸發動作，使用儲存桶名稱和每個檔案名稱呼叫 OCI 函數。
- OCI 函數會接收事件，並使用儲存桶名稱的輸入參數和每個檔案名稱呼叫 OIC 整合流程。
- OIC 整合會從 OCI 物件儲存的儲存桶讀取每個檔案。
- 根據需求的 OIC 整合，透過呼叫一或多個中繼應用程式或系統來協調和強化資料。接著執行複雜的轉換、查詢、交互參照等，最後再將資料處理到下游系統或應用程式。
架構具有下列元件：
- 區域
Oracle Cloud Infrastructure 區域是一個本地化的地理區域，包含一或多個資料中心 (稱為可用性網域)。區域與其他區域無關，因此廣大的距離可加以區隔 (跨國家或甚至洲)。
- 資料整合
OCI Data Integration 是一項完全受管理的多租用戶服務，可協助資料工程師和具有一般 ETL 作業的「擷取、轉換及載入」(ETL) 開發人員，例如從各種資料資產擷取資料；清除、轉換及重新塑造該資料；以及有效率地將其載入目標資料資產。
- Oracle Integration Cloud
Oracle Integration Cloud 讓您能夠整合雲端和企業內部部署應用系統、將業務流程自動化、深入瞭解業務流程、開發視覺化應用系統、使用符合 SFTP 的檔案伺服器來儲存及擷取檔案，以及與 B2B 交易夥伴交換業務文件。
- 事件
OCI 事件服務使用符合 Cloud Native Computing Foundation (CNCF) CloudEvents 標準的事件追蹤資源變更。開發者可以使用 Functions 觸發程式碼、寫入串流或使用 Notifications 傳送警示，即時回應變更。
- 函數
OCI Functions 是一款無伺服器平台，可讓開發人員建立、執行與擴展應用程式，而無需管理任何基礎架構。Functions 整合 OCI、平台服務和 SaaS 應用程式。由於 Functions 是以開放原始碼 Fn 專案為基礎，因此開發人員可以建立可輕鬆連線至其他雲端和內部部署環境的應用程式。以函數為基礎的程式碼通常會在短時間內執行，客戶只需支付所使用的資源。
- 虛擬雲端網路 (VCN) 和子網路
VCN 是您在 Oracle Cloud Infrastructure 區域中設定的可自訂軟體定義網路。與傳統資料中心網路一樣，VCN 可讓您完全控制網路環境。VCN 可以有多個非重疊 CIDR 區塊，而您可以在建立 VCN 之後進行變更。您可以將 VCN 區隔成子網路，然後對區域或可用性網域進行調整。每個子網路都是由不與 VCN 中其他子網路重疊的連續位址範圍所組成。您可以在建立子網路後變更其大小。子網路可以是公用網路或專用子網路。
- 安全清單
您可以為每個子網路建立安全規則，以指定必須允許進出子網路的來源、目的地和流量類型。
- 路由表
虛擬路由表包含規則，可將流量從子網路遞送至 VCN 外部的目的地，通常透過閘道。