关于管道

使用 OCI GoldenGate 管道加速数据复制解决方案。

借助 OCI GoldenGate 管道,您可以配置实时数据复制流,以支持关键任务用例,例如分析、运营报告和混合云集成。您可以创建一个管道,直接将数据从运营数据库流式传输到分析环境,而无需传统的提取、转换、加载 (ETL) 流程。例如,您可以设置管道,以最少的配置直接将数据从 Autonomous AI Transaction Processing 复制到 Autonomous AI Lakehouse

注意:

由于管道由 GoldenGate 部署提供支持,因此在进行部署升级时,您可能会遇到停机时间。

关于 ZeroETL 管道

ZeroETL 是提取、转换和加载 (Extract,Transform,and Load,ETL) 设计模式,用于连续的元数据驱动数据移动。ZeroETL 镜像管道通过事务感知流式传输数据库更改,并将其直接应用到目标数据库。

使用 ZeroETL 镜像管道的好处包括:

  • 更少的管道来构建和维护:使用 OCI GoldenGate 支持的托管管道替换手动编码的 ETL 流程并简化计划。
  • 更快地交付分析和应用:近乎实时的镜像可使仪表盘、AI/ML 功能和微服务的目标保持同步。
  • 提高数据质量和一致性:可事务处理识别的复制可减少偏差和下游重新处理。
  • 降低运营风险:托管编排、监视和错误处理可减少待命任务。
  • 标准、安全性和监管:集中式连接、凭证管理和可审计性与企业控制保持一致。

可以使用 ZeroETL 镜像管道进行包括的示例:

  • 实时分析和商务智能:将运营数据镜像到分析数据库(例如 Autonomous AI Lakehouse )中,以获得全新的仪表盘,而无需使用夜间 ETL。
  • 人工智能 (Artificial Intelligence,AI)/机器学习 (Machine Learning,ML) 功能存储和检索增强生成 (Retrieval Augmented Generation,RAID) :在 Autonomous AI DatabaseOracle AI Database 中保持功能同步,从而实现低延迟推断。
  • 多云应用数据结构:跨区域和云保持数据一致,以支持分布式应用和区域数据访问模式。
  • 现代化和迁移:在迁移期间建立同步目标,从而降低切换风险和停机时间。

创建管道资源以开始。

管道概念

以下概念对于使用管道至关重要:

  • Pipeline :一个预定义的组件,可实现从源运营数据库到目标数据湖仓一体或分析平台的实时、最短延迟数据移动,而无需执行传统的 ETL 步骤。
  • 管道类型:常见的数据复制用例。
  • 捕获:根据源连接运行并提取或捕获数据的进程。也称为提取处理。
  • 应用:将数据传送到目标数据库或技术(也称为复制进程)的进程。