資料串流
Oracle GoldenGate Data Streams 提供 WebSocket 端點,會從 Oracle GoldenGate 歷程檔持續發布已確認的變更記錄。用戶端會建立或使用具名的資料串流資源、連線至產生的端點、接收 JSON 記錄、處理每筆記錄,以及儲存上次成功處理的復原位置。
「資料串流」使用 AsyncAPI 3.0 文件來描述端點、通道、查詢參數、訊息資源配置以及記錄綱要。針對特定串流產生的 AsyncAPI YAML 是該串流的授權合約。使用它來取代從其他部署複製一般主機名稱、通道路徑或有效負載定義。
對開發人員和資料科學家的優勢
-
增強型資料擷取:由 AsyncAPI 提供的發布或訂閱模型可讓應用程式有效率地接收即時資料更新。
-
彈性資料格式:您可以選取偏好的格式,以便與現有工具緊密整合。
-
簡化整合:AsyncAPI 可促進開發人員和資料科學家經常使用的各種應用程式和工具的順暢互動。
-
保證的資料完整性:繼承 Oracle GoldenGate 的核心優勢,Data Streams 透過複製來源資料庫中承諾的變更,確保資料持久性。
注意:資料串流功能使用 Oracle GoldenGate for Distributed Applications and Analytics 或 Oracle GoldenGate for Big Data Targets 授權。如需詳細資訊,請參閱 Oracle GoldenGate Licensing Guide 中的 Oracle GoldenGate for Distributed Applications and Analytics 。
程式實際執行順序
-
擷取會擷取確認的來源變更,並將其寫入本機或遠端 Oracle GoldenGate 歷程檔。
-
管理員建立可識別來源歷程檔和選擇性篩選以及 JSON 輸出設定值的資料串流資源。
-
此服務會為資料流產生 AsyncAPI YAML 文件。
-
用戶端會建立 WebSocket 連線並提供
begin=now、begin=earliest、ISO 8601 時間戳記或儲存的pos值。 -
此服務會持續推送 JSON 訊息。此協定不會等待從屬端的每個記錄認可。
-
從屬端會處理記錄,並從上次順利處理的 DML 或 DDL 記錄中永久儲存
pos。
服務傳送的內容
-
描述串流中記錄的 JSON 綱要記錄。
-
可識別產生器、來源資料庫、主機以及來源歷程檔資訊的串流描述資料記錄。
-
描述表格資料欄、JSON 原始類型、空值以及索引鍵成員身分的物件描述資料記錄。
-
INSERT、UPDATE和DELETE的 DML 記錄。 -
識別受影響物件並包含 DDL 敘述句的 DDL 記錄。
-
data成員包含 GoldenGate 記錄的選擇性 CloudEvents JSON 信封。