即時將資料串流至 Autonomous Database

用來預期資料到達批次的業務,可在事實之後進行分析。但現在,人員使用會即時產生可用資料的數位裝置,而許多機器和裝置則會產生自己的磁碟資料。即時接收的資料稱為串流資料,因為它會在建立時流入資料。回應即時資料串流的企業具有競爭優勢,現在預期客戶需要,而非開發關於他們的洞察力,以便稍後使用

架構

此架構顯示如何使用 Oracle Cloud Infrastructure Service Connector Hub 管理的服務實行即時串流資料。

以下是一些即時資料串流的使用案例:

  • 分析:對於使用各種工具 (例如 Data Dog 和 Splunk) 的組織,現在可支援第三方工具的額外資料處理和執行分析整合。
  • 存檔資料:許多組織都需要儲存日誌、測量結果以及串流訊息以供規範和未來使用。Oracle Cloud Infrastructure Service Connector Hub 可協助以不明確的方式長期儲存這類資料。
  • 日誌通知:對於網站和資料庫可靠性,您可以設定特定錯誤的警示和通知,例如 500 個錯誤。這些警示可以與監督服務整合。
  • 處理資料:設定 Oracle Functions 的觸發程式,以便在與「服務連線器中心」整合時預先處理資料。這可讓資料工程師更輕鬆地直接處理已處理的資料以進行資料分析。
  • 雲端資源變更通知:服務連線器中心可以整合成透過電子郵件、PagerDuty、Slack、自訂 Webhook 傳送通知。
  • 資料移動的完整可見性:「服務連線器中心」提供一個目的地,供管理員管理及監督資料。

下圖說明此參考架構。

stream-data-adb-real-time.png 描述如下
stream-data-adb-real-time.png 圖解描述

架構包含下列元件:

  • 區域

    Oracle Cloud Infrastructure 區域是包含一或多個資料中心 (稱為可用性網域) 的本地化地理區域。區域與其他區域無關,而且大型距離可以區隔 (跨國家或甚至洲)。

  • 可用性網域

    可用性網域是區域內獨立的獨立資料中心。每個可用性網域中的實體資源都會與其他可用性網域中的資源隔離,以提供容錯。可用性網域不會共用基礎設施 (例如電力或散熱冷卻系統) 或內部可用性網域網路。因此,一個可用網域發生故障並不會影響該區域中的其他可用網域。

  • 動態路由閘道 (DRG)

    DRG 是一個虛擬路由器,可提供 VCN 與區域外部網路 (例如另一個 Oracle Cloud Infrastructure 區域中的 VCN、內部部署網路或另一個雲端提供者中的網路) 之間的專用網路流量路徑。

  • 服務閘道

    服務閘道可讓您從 VCN 存取其他服務 (例如 Oracle Cloud Infrastructure Object Storage )。從 VCN 到 Oracle 服務的流量會透過 Oracle 網路結構傳送,而一律不會周遊網際網路。

  • 虛擬雲端網路 (VCN) 和子網路

    VCN 是您在 Oracle Cloud Infrastructure 區域中設定的可自訂軟體定義網路。VCN 就像傳統資料中心網路一樣,可讓您完整控制網路環境。VCN 可以有多個非重疊的 CIDR 區塊,供您在建立 VCN 之後變更。您可以將 VCN 區隔為子網路,子網路範圍可為區域或可用性網域。每個子網路均包含一個未與 VCN 中其他子網路重疊的連續位址範圍。您可以在建立子網路之後變更子網路的大小。子網路可以是公用或專用。

  • 服務連線器

    Oracle Cloud Infrastructure Service Connector Hub 是一個雲端訊息匯流排平台,可協調 OCI 中服務之間的資料移動。您可以使用它在 Oracle Cloud Infrastructure 中的服務之間移動資料。使用服務連接器移動資料。服務連接器會指定包含要移動之資料的來源服務、要在資料上執行的任務,以及指定任務完成時必須傳遞資料的目標服務。

    您可以使用 Oracle Cloud Infrastructure Service Connector Hub 快速建立 SIEM 系統的記錄日誌聚總架構。選擇性工作可以是可處理來源資料的函數工作,或是用來篩選來源日誌資料的日誌篩選工作。

  • 串流處理

    Oracle Cloud Infrastructure Streaming 提供完全託管、可擴展且持久的儲存解決方案,可擷取連續的大量資料串流,讓您即時使用及處理這些資料。您可以使用「串流處理」來擷取大量資料 (例如應用系統日誌、作業遙測、Web 點擊串流資料),或用於在發布/訂閱訊息傳遞模型中持續且循序產生及處理資料的其他使用案例。

  • 函數

    Oracle Functions 是一個完全受管理的多租用戶、高度可擴展、隨選、函數即服務 (FaaS) 平台。它是由 Fn 專案開源引擎提供。您可以使用函數來建置程式碼,並直接呼叫或觸發函數來回應事件。Oracle Functions 使用 Oracle Cloud Infrastructure Registry 中代管的 Docker 容器。

  • 自治式資料庫

    Oracle Cloud Infrastructure 自治式資料庫是完全管理且預先設定的資料庫環境,可用於交易處理和資料倉儲工作負載。您不需要設定或管理任何硬體,或是安裝任何軟體。Oracle Cloud Infrastructure 會處理建立資料庫,以及備份、修正、升級和調整資料庫。

  • 身分識別與存取管理 (IAM)

    Oracle Cloud Infrastructure Identity and Access Management (IAM) 可讓您控制能夠存取 Oracle Cloud Infrastructure 中您資源的人員,以及可對這些資源執行的作業。

  • 稽核服務
    • 稽核日誌:稽核服務所發出事件的相關日誌。
    • 服務日誌:個別服務 (例如 API 閘道、事件、函數、負載平衡、物件儲存以及 VCN 流量日誌) 所發出的日誌。
    • 自訂日誌:包含自訂應用程式、其他雲端提供者或內部部署環境之診斷資訊的日誌。

建議

使用下列建議作為起點。 您的需求可能會與此處描述的架構不同。
  • VCN

    建立 VCN 時,請根據計畫連附至 VCN 中子網路的資源數目,判斷所需的 CIDR 區塊數目和各個區塊的大小。使用標準專用 IP 位址空間內的 CIDR 區塊。

    選取未與想要設定專用連線之任何其他網路 (在 Oracle Cloud Infrastructure 中、您的內部部署資料中心或其他雲端提供者) 重疊的 CIDR 區塊。

    建立 VCN 之後,您可以變更、新增及移除其 CIDR 區塊。

    設計子網路時,請考量您的流量和安全需求。將特定層或角色內的所有資源連附至可作為安全界限的相同子網路。

  • 雲端保全

    複製並自訂 Oracle 提供的預設方法,以建立自訂偵測器和回應器方法。這些處方可讓您指定哪些類型的安全違規會產生警告,以及允許對它們執行哪些動作。例如,您可能想要偵測可見性設為公用的物件儲存的儲存桶。

    在租用戶層次套用雲端保全、以涵蓋最廣泛的範圍、並減少維護多個組態的管理間接成本。

    您也可以使用「受管理清單」功能,將特定組態套用至偵測器。

  • 安全區域

    對於需要最高安全性的資源,Oracle 建議您使用安全區域。安全區域是與以最佳做法為基礎之 Oracle 定義的安全原則方法關聯的區間。例如,安全區域中的資源不得從公用網際網路存取,且必須使用客戶管理的金鑰加密。當您在安全區域中建立及更新資源時,Oracle Cloud Infrastructure 會根據 security-zone 處方中的原則驗證作業,並拒絕違反任何原則的作業。

  • CIS OCI 登陸區域快速啟動範本

    此樣板會在 Oracle Cloud Infrastructure (OCI) 租用戶中部署標準化環境,以協助組織遵守 CIS OCI 基準 v1.1。

探索更多

深入瞭解 Oracle Cloud Infrastructure,請參閱 Oracle Cloud Infrastructure 的最佳做法架構。