此架構展示資料湖 Oracle Cloud Infrastructure (OCI) 如何建立現代化資料平台,以擷取、處理、儲存、服務及視覺化來自結構化和非結構化來源的資料。
架構元件分為 4 個階段,以功能資料流程呈現:
- 資料產生器:串流資料產生器包括 Kafka 產生器,提供價格和匯率資料,以及交易資料的事件產生器。非結構化資料會直接推播至物件儲存 (「銅級」資料湖)。排定或事件觸發的資料產生器包含來自檔案儲存與資料庫系統參考資料的批次資料。
- 擷取 / 載入:永久串流資料會傳送至 "bronze" 物件儲存。串流資料也被處理為異常貿易資料和即時資金洞察力。「資料整合」會處理排定或事件觸發的資料,並傳送到「凍結」物件儲存。
- 保留 / 轉換 / 運算:
- 串流處理資料是由 Kafka Connect 處理,以產生即時資金洞察力及串流分析。服務連線器中心會協調異常貿易資料,並提供 Oracle Cloud Infrastructure Notifications 以提供使用者洞察分析。
- Oracle Cloud Infrastructure Events、Oracle Functions 和 OCI Vision 為銅級物件儲存中的傳真影像提供 OCR 和文字擷取,然後將產生的資料傳送至「銀色」物件儲存。
- 在資料湖畔,Oracle Cloud Infrastructure Data Flow 會清除銅物件儲存中的資料,並將資料傳遞到銀河物件儲存上。資料流程也會處理來自銀色物件儲存的資料,並將資料傳送至 "gold" 物件儲存。Oracle Autonomous Data Warehouse (ADW) 和 Oracle Cloud Infrastructure Data Catalog 為一般使用者和分析提供「黃金」資料。
- 服務 / 視覺化:一般使用者存取串流異常資料,或使用 OpenSearch 進行即時分析與洞察力。使用者可以使用 Oracle Analytics Cloud 或第三方分析,從資料湖中心運用資料。資料分析師也可以使用 Oracle Cloud Infrastructure Data Science 運用資料湖位置的資料。