捕获数据更改(预览)

您可以使用为在刷新过程中捕获数据更改而设计的表更改格式,了解在刷新期间与 Fusion Data Intelligence 实例关联的自治数据仓库中更改了哪些数据。

您可以在下游集成中使用更改信息。此功能使用数据共享功能,并将更改的数据信息推送到数据湖,例如 Oracle Cloud Infrastructure 对象存储服务。使用类型为 FDI_TABLE_CHANGE_FORMAT 的 Oracle Object Storage Service Targets 连接器, Fusion Data Intelligence 可以将集成数据格式的数据集发布到 Oracle Cloud Infrastructure 对象存储桶中。将更改数据发布到 Oracle 对象存储服务后,您可以使用任何标准工具读取对象存储文件并根据需要执行下游操作。

对象存储服务将 Parquet 文件中的更改存储在以下项的分层结构中:
  • 每个源
  • 选择用于捕获更改的每个表
  • 每项更改(由“系统更改编号”)
  • 每个刷新类型
    • 完全
    • 增量
    • Transient_refresh(用于 FDR V2)
  • 这些操作
    • 插入
    • 更新
    • 删除
此机制还捕获以下项的其他元数据:
  • 刷新完毕
  • 方案
  • 最新更改和上次完整刷新的标记

对象存储服务中存储的已更改数据示例

此示例列出了与可用于特定数据集的系统更改号 (system change number,SCN) 对应的更改集。
对象存储服务中存储的已更改数据的示例