瞭解如何將即時資料串流連線至 Oracle Autonomous Database

將即時資料串流至資料倉儲平台，以處理及產生洞察力報表是一項具有挑戰性的任務。

使用 JSON 串流資料格式時，資料轉換可能會是一大挑戰。在本解決方案中，您將瞭解如何使用 Oracle Cloud Infrastructure 資源 (例如 Oracle GoldenGate Stream Analytics)，將 Kafka 資料串流至 Oracle Autonomous Database 。

開始之前

開始之前，請先從 Oracle Live Labs 完成下列安裝：

• 安裝針對資料倉儲工作負載最佳化的 Autonomous Database 執行處理

架構

此架構展示 OCI 區域中的內部部署 Kafka Streams、Oracle Stream Analytics 和 Oracle Autonomous Database 。

使用此架構將資料從內部部署 Kafka 串流擷取至 Oracle GoldenGate Stream Analytics (GGSA)。

kafka-stream-adb-goldengate-arch.png 圖解描述

kafka-stream-adb-goldengate-arch.zip

1. 包含 GGSA 的 OCI 區域會從內部部署 Kafka 串流擷取資料。
2. GGSA 會串流並將 JSON 資料轉換為關聯式資料。
3. GGSA 會將資料儲存在 Autonomous Database 的關聯式表格中。

此架構支援下列元件：

• Kafka 串流

  Kafka 串流是用於建置應用程式和微服務的從屬端程式庫，其中輸入和輸出資料會儲存在 Kafka 叢集中。它結合了客戶端書寫和部署標準 Java 和 Scala 應用程式的簡單性，以及 Kafka 伺服器端叢集技術的優點。

  Kafka 串流會從主題大幅簡化串流處理。它建立在 Kafka 從屬端程式庫之上，可提供資料平行機制、分散式協調、容錯能力及擴展性。Kafka 串流使用分割區和作業的概念作為強烈連結至主題分割區的邏輯單位。此外，它還會使用繫線在應用程式執行處理內平行處理。另一個支援的重要功能是狀態存放區，Kafka 串流用來儲存及查詢來自主題的資料。

  Kafka 處理程式串流的 Oracle GoldenGate 會將擷取資料的擷取資料從 Oracle GoldenGate 歷程檔變更為 Kafka 主題。

• Oracle GoldenGate

  Oracle Cloud Infrastructure GoldenGate 是一項完全託管的服務，可允許從位於內部部署或任何雲端的來源進行資料擷取，並運用 GoldenGate CDC 技術來即時且大規模地擷取資料並傳遞至 Oracle Autonomous Data Warehouse ，以盡可能快速地為消費者提供相關資訊。

• Autonomous Database

  Oracle Cloud Infrastructure Autonomous Database 是完全託管且預先設定的資料庫環境，可用於交易處理和資料倉儲工作負載。無需配置或管理任何硬體，也無須安裝任何軟體。Oracle Cloud Infrastructure 處理資料庫的建立，以及備份、修正、升級和調整資料庫。

關於必要的服務與角色

此解決方案需要下列服務與角色：

• Oracle Autonomous Data Warehouse

• Oracle GoldenGate 串流分析 (GGSA)

• Oracle Cloud Infrastructure

這些是每個服務所需的角色。

服務名稱：角色	需要 ...
Oracle Autonomous Data Warehouse ：管理員	建立證明資料。
Oracle GoldenGate Stream Analytics:admin	存取 GGSA 主控台。
Oracle Cloud Infrastructure ：管理	從市集中安裝 GGSA。 設定 Kafka 產生器擷取資料。 將 Kafka 的 GGSA 連線至 Autonomous Database 。

請參閱 瞭解如何取得 Oracle 解決方案適用的 Oracle Cloud 服務 ，取得您需要的雲端服務。