規劃資料湖畔

針對具有數十億個資料記錄的銀行、經紀及金融服務,在規劃資料湖站時,請考慮下列相關使用案例:

  1. 建立由資料倉儲組成的企業級資料中心,並針對結構化資料建立半結構化和非結構化資料湖。此資料湖畔會成為資料的單一事實來源。
  2. 使用大數據處理技術,將關聯式資料來源與其他非結構化資料集整合。
  3. 使用語意模型製作和功能強大的視覺化工具,即可簡化資料分析。

瞭解業務使用案例

以下是使用舊有會計系統將評估資料分批提供給資料市集的資金評估系統高階檢視。

資料市集也會從其他參考資料來源取得批次參考資料。資料市集會將批次中的資金估價資料推播至工作流程中的下游系統。

由於訂價是以靜態方式完成,因此通常在一天結束時,舊有系統甚至是在所有系統都正常運作的情況下,它就像使用者需要一樣沒有回應。

例如,在 2022 年第 2 季,當市場上有極大的波動時,所有用戶組都處於高警報狀態,而每個人都希望瞭解最新的價格和市值,以便能夠識別整天的持倉。抓取最新價格及即時取得市值是對傳統基金估值系統的大要求。



若要即時擷取最新的價格並取得市值,舊有會計系統必須擷取最新的價格、將資料推送至資料市集,以及每天重複批次工作流程,這不是回應足夠或可持續的。

瞭解解決方案

此解決方案不必對舊有系統進行任何變更,會一直持續發布批次計價資料。

即時訂價與匯率會從其各自的串流擷取,並套用至訂價以尋找不同幣別的市值。



無伺服器 Oracle Cloud Infrastructure 架構提供批次和即時資料的支援。批次資料包含組合參考資料的快照流程、增量差異,以及變更評估資料的資料擷取 (CDC) 流程。即時資料包含價格與匯率串流。此架構包含合併批次與即時資料的程序,以取得即時價格、以基準幣別表示的市值,以及外幣的市值。

範例架構

下圖顯示 Oracle Cloud Infrastructure (OCI) 上客戶導入的現代化資料平台架構。

此架構可用於金融使用案例,例如用於取得即時資金洞察分析、偵測異常交易,以及一般財務資料清理、聚總及視覺化。



oci-fund-lakehouse-arch-oracle.zip

此架構的其中一個中央功能是其多層資料湖站。它是由 Oracle Autonomous Data Warehouse (ADW) for 結構化倉儲方面三種不同的資料處理層次所組成,適用於描述資料與治理的 Oracle Cloud Infrastructure 資料目錄,以及使用 Spark 工作進行大數據處理與轉換的資料流程

銅牌資料湖是資料的第一個目的地,其格式通常是原始,或接近。這包括位於 OCI 的資料,以及來自第三方平台的資料。Oracle Data Integration (ODI) 是用於此整合的其中一個工具。

資料流程應用程式可處理大部份的銅鑼灣資料轉換與清理。Oracle Cloud Infrastructure Vision 會使用光學字元辨識 (OCR) 技術從傳真影像擷取文字。Vision 輸出資料 (文字) 會透過 Oracle Functions 的說明從銅湖傳送至銀湖。

資料流程可執行從銀湖層到黃金資料湖的其他資料轉換,將資料載入 ADW,進而提供 Oracle Analytics Cloud 和第三方分析和視覺化工具。

架構包含下列額外功能:

  • 使用 OCI 串流與 OCI 通知 (透過 OCI 服務連線器中心進行整合),提供異常交易通知。
  • 使用 Kafka Connect 將 OCI 串流處理資料傳送至 OCI 搜尋服務 OpenSearch,即可取得即時資金洞察力串流處理分析。OpenSearch 儀表板是 OCI 搜尋服務的整合元件,可提供 OpenSearch 資料的直接視覺化。
  • 資料科學家可以使用 OCI 資料科學 (一個完全託管且無伺服器平台) 探索資料湖中心,它可用來查詢 ADW、物件儲存、第三方雲端,以及適當的企業內部部署系統連線。