Oracle GoldenGate 常见问题解答

获取有关 Oracle GoldenGate AI 实施的常见问题解答。

Oracle GoldenGate 为何对企业 AI 至关重要?

Oracle GoldenGate 对于企业 AI 至关重要,因为 AI 依赖于当前可信的业务数据。在处理过时的批处理快照或操作数据的不完整副本时,模型、RAG 系统和 AI 代理无法可靠地推理或执行操作。GoldenGate 可即时流式传输业务事件,让 AI 系统能够访问全新的运营现实,同时保持治理、一致性和可审计性。

Oracle GoldenGate 如何支持 RAG 和 AI 代理?

Oracle GoldenGate 可持续向向量数据库、RAG 管道、AI 知识库、数据湖仓和事件驱动系统提供运营数据,为 RAG 和 AI 代理提供支持。通过使用 GoldenGate AI 功能,更改的记录可以作为管道的一部分进行扩充、嵌入、汇总、分类或路由,因此 AI 系统可以根据当前业务环境而不是过时的快照进行操作。

GoldenGate 如何支持向量数据?

它可以复制现有向量,将向量移动到 Oracle AI Database,流向量更改,并在复制期间生成嵌入。

什么情况下应使用 @AISERVICE?

当嵌入或扩充应在外部 AI 服务(例如托管端点或 GPU 支持的端点)中运行时,请使用 @AISERVICE。请参见 External AI Embedding with @AISERVICE

什么情况下应使用 @DBFUNCTION?

在应用处理过程中,嵌入逻辑应在目标数据库中执行时,请使用 @DBFUNCTION。请参见 Native Database Embedding with @DBFUNCTION

应如何处理历史向量负载?

对历史数据使用批量实例化或数据库本机加载,然后让 GoldenGate 处理增量更改。

Oracle GoldenGate 的主要用例有哪些?

Oracle GoldenGate 用于关键任务高可用性和灾难恢复、零停机迁移、实时分析、湖仓一体摄取、事件驱动架构、AI 和 RAG 管道、数据结构架构以及混合云和多云环境中的受监管数据同步。

Oracle GoldenGate 是否支持 Oracle E-Business Suite (EBS) 数据库迁移,并且 EBS 的 Oracle 认证信息是否仍然有效?

Oracle EBS 未对任何用于迁移的逻辑复制产品进行认证,而是专注于传统的数据库方法(导入/导出、Oracle 数据泵)。

虽然可以使用 GoldenGate 来替换这些传统数据库方法所做的一些工作,以减少与迁移关联的整体停机时间,但不能在所有对象上使用它。

GoldenGate 不支持或与临时工作相关的对象应在停机时段内使用传统方法进行迁移。

带有 EFS 的 GoldenGate AWS 参考架构是否支持跨区域 DR 场景?

查看 AWS 博客 High Availability for Oracle GoldenGate Microservices Architecture in AWS ,该博客介绍了区域内高可用性设计。

在该上下文:

对于跨区域 DR 场景,行为差异很大:

由于这些因素,AWS 博客中概述的区域内设计模式不会直接扩展到跨区域 DR,而无需额外考虑。

建议:

对于跨区域体系结构,请使用活动数据移动(例如 GoldenGate 分发路径),而不是依赖对线索文件的异步复制共享存储。

GoldenGate 支持哪些 Oracle Database 版本?

有关更多信息,请参见 https://www.oracle.com/integration/goldengate/certifications/ 。

GoldenGate 配置和使用场景有哪些不同类型?

GoldenGate 的主要组件有哪些?

什么是 Oracle GoldenGate 及其主要用例?

Oracle GoldenGate 是一个数据集成和复制解决方案,可实时捕获、转换和交付多个异构系统的事务性更改。

Oracle GoldenGate 的主要用例如下:

Oracle GoldenGate 支持哪些数据库和平台?

Oracle GoldenGate 支持各种数据库和目标,包括:

Oracle GoldenGate 可从 OCI 中运行的 Oracle Fusion SaaS 和 OTM SaaS 应用中捕获数据。

Oracle GoldenGate 无法从 Salesforce.com/SFDC 捕获。

Oracle GoldenGate 可以将更改复制到 Teradata 和 TimesTen 中,但无法从两者中捕获。

建议查看 GoldenGate 认证度量以获得特定的数据库和目标支持。有关更多信息,请参见 https://www.oracle.com/integration/goldengate/certifications/ 。

Oracle GoldenGate 经典架构与微服务架构之间有何区别?

有关 MA 的更多信息,请参阅 Oracle GoldenGate Microservices Architecture 。

Oracle GoldenGate 与其他复制工具相比如何?

Oracle GoldenGate 非常适合进行数据集成、数据库复制、数据移动、数据库迁移和实时数据摄取,原因如下:

在数据库 XYZ 上安装 Oracle GoldenGate 的先决条件有哪些?

平台和兼容性

部署模型

数据库配置

基础设施和系统资源

存储

网络和端口

操作系统和用户设置

数据库连接

特定于微服务的要求

安全性

高可用性(可选)

积极战备

有关为 Oracle GoldenGate 准备数据库的详细信息,请参阅准备数据库。

安全和非安全部署之间有何差异?

如何使用 OGGCA 配置 Oracle GoldenGate 微服务?

有关更多信息,请参见 Add a Deployment 和 Add a Deployment in Silent Mode using OGGCA 。

优化 Oracle GoldenGate 性能的优秀实践有哪些?

对于现代 Oracle GoldenGate 部署,推荐的方法是将 Integrated Extract 与 Parallel Replicat 一起使用,因为 Parallel Replicat 现在是高性能目标应用操作的策略和首选复制方法。

集成复制正在逐步淘汰,取而代之的是并行复制,因为 Parallel Replicat 为大容量企业工作负载提供了更好的可扩展性、更高的事务处理应用性能和更高效的并行处理。

优化良好的 GoldenGate 体系结构应通过使用本地和远程线索文件来分离捕获、传输和应用阶段,从而提高弹性并将复制与网络中断隔离。性能在很大程度上还取决于底层基础设施,包括快速存储、适当大小的数据库内存、高效的重做日志配置和稳定的网络连接。

持续监视提取滞后、复制滞后、吞吐量和检查点活动对于在瓶颈影响复制延迟之前主动识别瓶颈至关重要。

一般来说,通过将可扩展的架构设计、适当的工作负载分配、数据库调优和精心管理的并行性相结合,可以实现卓越的 GoldenGate 性能,从而使组织即使在大型事务负载下也能保持低延迟和可靠的复制。

如何监视滞后并排除性能问题?

可以使用哪些工具或命令来监视 Oracle GoldenGate 进程?

在 Oracle GoldenGate 微服务架构中,监视主要通过基于 Web 的管理服务、REST API 和性能度量服务来执行,而不是像 GGSCI 这样的传统架构工具。管理服务提供集中式仪表盘,允许管理员实时监视提取、分发、接收方和并行复制进程的运行状况和状态。通过 Web 界面,用户可以在整个部署中跟踪复制滞后、检查点进度、吞吐率、路径状态和进程性能。REST API 还提供对监视数据的编程访问,支持与自动化框架和企业观测平台集成。

微服务体系结构中的一个关键监视组件是性能度量服务 (Performance Metrics Service,PMSRVR),它收集并公开复制进程和分发路径的操作度量。这些指标可与 Oracle Enterprise Manager、OCI Monitoring、Prometheus 和 Grafana 等监视解决方案集成,以提供集中式仪表盘、警报和长期性能分析。管理员还依赖通过“服务管理器”和“管理服务”界面提供的部署日志、报告文件和诊断信息来排除错误、监视进程行为以及调查延迟问题。

对于 OCI GoldenGate 部署,可通过 OCI 控制台、OCI 日志记录、OCI 监视和 OCI 预警获得更多监视功能,从而提供云原生部署健康状况、扩展行为、复制滞后和运营事件可见性。总体而言,GoldenGate 微服务架构中的监视侧重于集中观测、API 驱动的管理以及与企业监视平台的集成,以提供对复制性能和系统运行状况的实时洞察。

用户可以通过访问 StatsD 导出和 API 调用来创建自己的仪表盘和监视应用。

什么是线索文件,Oracle GoldenGate 如何在复制中使用这些文件?

线索文件以平台无关的格式存储提取流程捕获的数据更改。

建议的最佳复制类型是什么?

Parallel Non-Integrated Replicat 从并行复制开始:对于大多数用例,特别是涉及大容量事务工作负载的用例,Parallel Non-Integrated Replicat 提供了最佳的性能和灵活性。

GoldenGate 分布式应用和分析支持经典和协调复制。

对于 GoldenGate 分布式应用程序和分析,根据目标,协调复制将提供更好的性能。

如何为安全数据复制设置 TLS/SSL?

加密线索文件的选项有哪些?

有关保护数据的更多信息,请参阅 Oracle GoldenGate Microservices 文档中的静态数据安全。

如何将 Oracle GoldenGate 与外部身份提供者(例如 IAM、OAM)集成以进行 GoldenGate 自己的验证?

如何使用 Oracle GoldenGate 零停机地迁移数据库?

Oracle GoldenGate 可持续将事务性更改从源数据库复制到目标数据库,同时两个系统保持联机状态,从而实现近乎零停机的数据库迁移。GoldenGate 不需要为导出、导入和切换活动设置长时间中断窗口,而是允许组织实时同步数据,以便在应用中断最少的情况下完成最终迁移切换。

在典型的零停机迁移体系结构中,GoldenGate 使用集成提取从源数据库捕获更改并将其写入线索文件。然后,这些更改将通过分发服务传输,并使用并行复制应用到目标数据库。在通过备份/还原、数据泵、RMAN 复制或其他批量加载方法迁移初始数据加载时,GoldenGate 会持续复制正在进行的事务处理,以便在整个迁移过程中目标与源保持同步。

迁移工作流通常遵循以下几个阶段:

在初始加载阶段,会将数据库的完整副本传输到目标环境。加载基线数据后,GoldenGate 将应用从源数据库捕获的所有正在进行的事务处理更改。这种连续复制可显著减少中断窗口,因为目标数据库在切换开始之前已接近同步。

数据验证是零停机迁移的关键部分。Oracle GoldenGate Veridata 通常用于在复制期间比较源数据库和目标数据库,以确保在生产环境切换之前的数据一致性。持续验证有助于尽早识别差异并降低迁移风险。

在切换时,应用程序活动会短暂暂停,允许复制剩余的事务处理,管理员将验证复制滞后是否达到零。确认同步后,应用程序将重定向到目标数据库,目标环境将成为新的生产系统。由于大多数数据移动发生在系统联机时,因此实际停机窗口通常仅限于最终同步和应用程序重定向过程。

GoldenGate 支持跨以下区域的零停机迁移:

在现代 GoldenGate 微服务架构和 OCI GoldenGate 部署中,通过集中式 Web 界面、REST API、自动化部署服务和集成监视功能,进一步简化迁移管理。Parallel Replicat、集成捕获和可扩展的分发服务可帮助您在迁移活动期间高效处理大型事务工作负载。

总体而言,Oracle GoldenGate 结合了持续实时复制、可扩展并行处理、持续验证和控制切换过程,可实现零停机迁移,帮助企业轻松迁移关键数据库,尽可能减少业务中断并降低运营风险。

配置双向复制的最佳做法有哪些?

使用 Oracle GoldenGate 配置双向复制的优秀实践包括:

双向复制环境需要仔细规划,因为它们比单向复制更复杂,并且可能会带来如下挑战:

当 Replicat 显示“停滞”事务时,这意味着什么,如何修复它?

当 Replicat 显示 "stuck" 事务时,通常意味着 Replicat 进程无法在目标数据库上应用一个或多个事务,复制进度将停止或延迟。

常见起因包括:

典型的故障排除步骤包括:

在某些情况下,管理员可能需要:

根据具体情况、严重程度和业务要求。

如何管理磁盘空间并清除微服务中的旧线索文件?

在 Oracle GoldenGate 微服务体系结构中,磁盘空间管理和线索文件清除对于防止存储耗尽并维护健康的复制环境非常重要。

线索文件通常使用自动清除策略进行管理,这些策略会在下游进程不再需要旧线索文件后将其删除。

常见做法包括:

线索文件通常可以在以下情况下清除:

在微服务中,线索管理通常通过以下方式进行:

其他建议包括:

正确的线索管理有助于避免:

如何在微服务中配置自动启动和重新启动?

在 Oracle GoldenGate 微服务体系结构中,可以配置自动启动和自动重新启动,以便在故障或服务器重新启动后自动启动和恢复部署服务和复制进程。

这通常通过以下方式进行配置:

自动重新启动设置有助于自动重新启动失败的进程而无需人工干预,从而确保高可用性。

常见配置选项包括:

这些设置通常可以通过以下方式进行管理:

自动启动和重新启动通常用于:

复制滞后的故障排除步骤有哪些?

Oracle GoldenGate 复制滞后的常见故障排除步骤包括:

复制滞后分析通常侧重于确定瓶颈是否由以下因素引起:

如何将 GoldenGate 用于分布式数据流和 JSON 关系二元性?

GoldenGate 中的数据转换有哪些高级选项?

GoldenGate 是否可以在 z/OS 上运行以捕获对 zOS 的 Db2 的更改或将更改传送到 zOS?

如果仅针对 Db2 z/OS 运行 Replicat,则不需要此软件包。

GoldenGate for Db2 for i and Db2 LUW 是否具有微服务体系结构?

对于 LUW/Db2 z/OS 构建安装,GoldenGate 是否在 Db2 中为 i/Db2 提供任何 ODBC 驱动程序?

不可以,如果这些 ODBC 驱动程序尚未安装在要安装 GoldenGate 的服务器上,则最终用户必须使用自己与 IBM 签订的许可协议来安装相应的 ODBC 驱动程序。请参阅 IBM 的 ODBC 驱动程序用户指南,了解如何下载合适的 ODBC 驱动程序。

如何在 Docker 容器中运行 GoldenGate?

通过将 GoldenGate 软件部署为容器化服务,可以在 Docker 容器中运行 Oracle GoldenGate。Oracle 通过 Oracle 容器注册表 (OCR) 提供 GoldenGate 容器映像,使用户能够提取和部署预构建映像,从而加快设置和标准化环境的速度。

在容器中运行 GoldenGate 具有以下优点:

GoldenGate 微服务架构通常适用于容器部署,因为它专为现代分布式环境而设计,并且与 Docker 和 Kubernetes 编排平台协同工作。

容器化 GoldenGate 部署通常用于:

持久性存储通常在外部进行配置,以保留容器生命周期之外的线索、检查点和配置数据。

什么是 OCI GoldenGate?

Oracle Cloud Infrastructure (OCI) GoldenGate 是一个完全托管的云原生数据架构平台,可支持企业级异构环境中的实时数据移动、集成和流处理。它可以捕获和交付事务处理数据更改,同时在数据库、数据仓库、分析平台、消息传递系统和云服务之间实现低延迟。

作为现代 Data Fabric 策略的核心组件,OCI GoldenGate 可帮助企业跨本地、混合和多云环境连接、同步和操作分布式数据。它支持各种用例,包括实时数据复制、零停机迁移、运营报告、事件驱动的架构、流分析、AI/ML 数据管道和数据同步。

OCI GoldenGate 还提供集成功能,可通过统一直观的用户体验来设计、编排、监视、转换、验证和比较数据管道。

OCI GoldenGate 在哪些区域可用?

请在此处查看部署 OCI GoldenGate 的当前区域 - https://www.oracle.com/cloud/data-regions/

在哪里可以找到 OCI GoldenGate 文档?

OCI GoldenGate 文档位于 https://docs.oracle.com/en/cloud/paas/goldengate-service/index.html

OCI GoldenGate 的主要用例有哪些?

OCI GoldenGate 的主要使用场景包括:

OCI Marketplace 上的 OCI GoldenGate 与 GoldenGate 有何区别?

下面是两个产品之间的几个区别:

在何处可以找到服务级别目标 (SLO) 和服务级别协议 (SLA)?

使用当前的 Oracle PaaS 和 IaaS 公有云服务支柱文档和当前的 Oracle Cloud SLA 页面:

https://www.oracle.com/cloud/sla/.

OCI GoldenGate 的成本是多少?

OCI GoldenGate 按 OCI GoldenGate 主机使用的 OCPU 定价。OCPU/小时度量遵循标准定义:

您还可以参阅云估算器,该估算器在数据集成类别中包括 OCI GoldenGate:https://www.oracle.com/cloud/costestimator.html

BYOL 如何获得许可?

转换率:

以下任何受支持的程序许可均可按上述转换率进行汇总:

是否可以将 GoldenGate 市场迁移到 OCI GoldenGate?

如何适当调整 OCI GoldenGate 的大小?

OCI GoldenGate 使用中心架构。

注意:

OCI GoldenGate 支持哪些源和目标?

有关支持的源和目标系统的信息,请参见 Explore Connections 。

OCI GoldenGate 是否可以连接到专用 IP 或内部部署 Oracle 系统?

是。有关连接的详细信息,请参阅 OCI GoldenGate 连接。

OCI GoldenGate 与源和目标的连接支持远程捕获和远程交付。

如何在 OCI Marketplace 或本地运行的 OCI GoldenGate 和 GoldenGate 之间设置分发路径?

以下 LiveLabs 介绍了如何在 OCI-GG 和 GG 微服务安装之间创建分发路径:

OCI GoldenGate 是否支持单实例 Oracle 数据库?

是。支持可插入(多租户)和单个实例。

是否支持专用自治数据库?

是的,完全支持基于专用基础设施环境的自治 AI 数据库。

有关具体先决条件,请查看当前的自治 AI 数据库和 OCI GoldenGate 文档:Oracle Autonomous AI Database

是否可以使用 Oracle Management Cloud 和 Oracle Enterprise Manager (OEM) 访问和监视 OCI GoldenGate?

GoldenGate 管理包现在支持 OCI GoldenGate。

什么是 Oracle GoldenGate Foundation Suite?

Oracle GoldenGate Foundation Suite 包含三个产品。其中包含以下内容:

什么是 Oracle GoldenGate Veridata?

Oracle GoldenGate Veridata 是一个高速的数据比较和修复解决方案,可识别、报告和修复异构数据库之间的数据差异,而不会自动中断正在进行的业务流程。它提供了一个易于使用但功能强大的解决方案,用于识别不同步的数据,然后才能对业务产生负面影响。

Oracle GoldenGate Veridata 的各个组件有哪些?

Oracle GoldenGate Veridata 的各个组件包括:

如何使用 Oracle GoldenGate Veridata 进行实时数据比较?

Oracle GoldenGate Veridata 通过在运行 Oracle GoldenGate 复制时比较源数据库和目标数据库来执行实时数据比较。

下面是一般过程:

  1. GoldenGate 会近乎实时地将事务处理更改从源数据库复制到目标数据库。

  2. Veridata 独立连接到源数据库和目标数据库。

  3. 它使用以下项比较可配置块或行范围中的数据:

    • 主关键字
    • 散列/校验与
    • 检测到不匹配时逐行验证
  4. Veridata 标识:

    • 缺少行
    • 额外行
    • 更改的列值
    • 异步事务处理
  5. 比较作业可以在复制保持活动状态时重复或持续运行,从而允许持续验证,且对生产系统的影响最小。

为了避免锁定表或中断复制,Veridata 使用优化的比较技术,例如:

这使组织能够在以下期间验证复制的数据是否保持同步:

Veridata 本身不复制数据,近乎实时地验证 GoldenGate 复制的准确性。

有关使用 Oracle GoldenGate Veridata 进行实时数据比较的信息,请参阅 Oracle GoldenGate Veridata 26c:它是如何工作的?

如何调整 Oracle GoldenGate Veridata 的大小?

有关调整 Oracle GoldenGate Veridata 大小的信息,请参见 How to size Oracle GoldenGate Veridata?。

Veridata 资料档案库数据库用于什么?

所有元数据信息(即 Veridata 的所有配置)都将存储在 Veridata 资料档案库数据库中。

Veridata 26c 带有内置的 MySQL 数据库作为存储库。

但是,客户可以选择将此内置 MySQL 或其自己的 MySQL 数据库用于资料档案库。

Veridata 资料档案库数据库的大小是多少?

Veridata 的所有元数据信息将存储在此资料档案库数据库中。

所以,它不会是一个大的尺寸。最多 5 GB 是资料档案库的大小。

Oracle GoldenGate Veridata 是否可用于比较异构数据库之间的数据?

是的,Oracle GoldenGate Veridata 是一个异构数据比较和修复解决方案。

请检查以下链接的证明矩阵:

https://www.oracle.com/in/a/ocom/docs/ogg-veridata-23c-cert-matrix.xlsx

是否可以使用 Oracle GoldenGate Veridata 比较表的 DDL?

否。Oracle GoldenGate Veridata 是一个数据比较工具,它只能比较表之间的数据。但是,我们的路线图中有这一点。

Oracle GoldenGate Veridata 是否可以实时监视源和目标之间的数据复制?

是。Oracle GoldenGate Veridata 可以近乎实时地监视和验证源数据库与目标数据库之间的数据复制。它在 GoldenGate 复制运行时持续比较数据,并标识缺失行、额外行或数据不匹配等差异。

这可确保复制的数据库在迁移、升级和持续的复制操作期间保持同步,并且对生产系统的影响极小。

是否需要为每个源和目标数据库安装 Veridata Server?

否,一次安装 Veridata 就足以比较多个源和目标之间的数据。

您无需安装专用于每个源和目标数据库的 Veridata 服务器。

什么是 Veridata 代理?需要如何配置?

Veridata Agent 是一个轻量级 Java 程序,负责从源数据库表和目标数据库表中提取数据。

您需要为每个数据库配置一个专用代理。

例如,如果您有 5 个源和目标,则需要为 5 个源配置 5 个 Veridata 代理,为 5 个目标配置 5 个 Veridata 代理。

我们需要在哪里安装和部署 Veridata 代理?

Veridata 代理可以原生部署或远程部署到数据库服务器。远程配置 Veridata 代理时,您需要确保 Veridata 代理与源/目标数据库之间具有良好的网络。

Veridata 代理属性文件位于何处?

这可以在名为 "agent.properties" 的 < AGENT_HOME > 路径中找到。

Veridata 服务器配置文件存在于何处?

Veridata 服务器配置文件位于以下路径中:

/config/veridata/veridata.cfg

oggvdt_cainput.properties 文件在哪里?

oggvdt_cainput.properties 文件位于以下路径中:

/config/oggvdt_cainput.properties

在哪里可以找到 Veridata 报告?

Oracle GoldenGate Veridata 报告通常生成并存储在 Veridata 服务器主机的 Veridata 安装目录下。

默认位置通常为:

您还可以从 Veridata Web UI 访问报表:

  1. 登录到 Veridata 控制台。
  2. 打开比较作业。
  3. 转到 Reports(报表)或 Job Details(作业详细信息)→ Reports(报表)。
  4. 根据配置下载 HTML、XML 或 PDF 输出。

常见报告类型包括:

如果您将 Veridata 用于 OGG 微服务或 OCI 部署,则可以将报告写入:

您可以在以下位置验证确切的报告路径:

<VERIDATA_HOME>/cfg/veridata.cfg

或服务器启动/配置属性。

一个数据库是否可以有多个 Veridata 代理?

可以,但我们建议为 1 个数据库使用 1 个代理。

我可以在一个组中创建多少个比较对?

对可以创建的比较对数没有限制。任意数字都很好。

我可以在 Veridata 中并行运行多少对比较?

最大缺省值为 100。

但可以通过更改 maxconcurrentjobs 的值,从 veridata.cfg 文件更新该文件。

在 Veridata 中,每天只能比较增量或更改的数据吗?

是的,Veridata 有一个名为 Delta Comparison 的功能。

启用此功能后,将仅比较更改的数据。

Veridata 中的 Delta 比较是什么?

比较对可以配置为使用增量处理,这是一种性能功能,仅比较自上次运行以来发生更改的数据块,而不是扫描整个表。

这样可以防止一次又一次地比较所有历史数据,并仅比较更改的数据。

如何在 Veridata 中启用 Delta 比较?

在 Oracle GoldenGate Veridata 26c 中,Delta Comparison 更符合现代的“连续数据验证”模型,而不是传统文档中较旧的经典式增量处理说明。该功能旨在通过仅关注比较周期之间的更改数据来减少比较开销,这对于在主动 - 主动、混合云和大规模复制环境中持续验证尤为重要。

在 Veridata 26c 中,配置比较对和作业时,通过现代化的 Veridata Web UI 启用 Delta 比较。管理员可直接在 UI 中或通过 REST API 配置比较行为,而不是严重依赖传统命令行工作流。该过程通常涉及在“比较对”配置中启用基于差值的验证,因此 Veridata 跟踪执行之间的更改,并限制将来对已修改数据集的比较。这样可以减少数据库影响,并提高连续验证用例的比较性能。

26c 体系结构还强调:

而不是较旧的独立比较执行模型。

此外,Veridata 26c 还直接在 UI 和 API 中引入了原生调度和增强的自动化功能,从而使 Delta Comparison 更易于操作地集成到正在进行的复制运行状况验证中,而不是被视为手动优化功能。

哪些 Oracle Enterprise Manager 插件版本通过了监视 Oracle GoldenGate 26ai Microservices 部署的认证?

Enterprise Manager 24ai 中的 Oracle GoldenGate 26ai Microservices 监视和发现已通过 Oracle GoldenGate EM Plugin 版本 13.5.2.0.6 认证。

为什么推荐的 Oracle AI Database 和 GoldenGate 修补程序级别对稳定性和可支持性很重要?

Oracle 强烈建议使用当前建议的 Oracle Database 发行版更新 (RUs) 和 GoldenGate 包补丁程序运行 Oracle GoldenGate。

较旧的数据库补丁程序级别可能会使客户面临以下风险:

建议的练习:

关注最新动态:

先验证修复,然后再假定较旧的修补程序级别存在产品缺陷。

Oracle GoldenGate 核心产品补丁程序集的主要说明 (KB159960)

Oracle GoldenGate 和 OCI GoldenGate 是否支持从 MongoDB 获取更改数据?

Oracle GoldenGate 和 OCI GoldenGate 支持从 MongoDB 和 MongoDB Atlas 获取更改数据。它支持在不同的 MongoDB 数据库之间进行双向复制。

是否可以使用 Oracle GoldenGate 和 OCI GoldenGate 进行 MongoDB 到 Oracle AI Database 的迁移?

是的,Oracle GoldenGate 支持从 MongoDB 到 Oracle AI Database 的无停机迁移。有关详细信息,请参阅 Oracle GoldenGate 文档。

如何配置 Oracle GoldenGate 迁移以从 MongoDB 迁移到 Oracle AI Database?

请确保满足以下先决条件:

按照以下步骤将 MongoDB 迁移到 Oracle AI Database for Oracle GoldenGate:

  1. 运行 MongoDB 转储实用程序。运行带有 --oplog 选项的 mongodump 命令以创建源 MongoDB 数据库的快照:

    $ ./bin/mongodump --uri="mongodb://localhost:27021" --oplog -v

  2. 通过提供 oplog.bson 文件的路径作为参数,运行 OplogLSN.sh 脚本以从 oplog.bson 文件中提取第一个和最后一个操作时间戳,如下所示:

    $./oplogLSN.sh /path/to/dump/oplog.bson

    输出提供第一个和最后一个操作的时间戳(如果转储过程中没有操作,则提供第一个 noop)。

    输出:

    2025-02-27T13:53:00.885+0000 1 objects found First LSN: 1740663867.1 Last LSN: 1740663946.211 3

  3. 检查 Oplog 条目:如果转储期间有任何传入操作,则 oplog.bson 文件包含这些操作的条目,每个条目都有一个时间戳。您可以使用 OplogLSN.sh 捕获第一个和最后一个工序时间戳,或者将其转换为 JSON 文件进行手动检查,如上一步所示。

  4. 运行 MongoDB 还原实用程序:在具有必要的时间戳后,使用 mongorestore 实用程序将所选集合从转储恢复到目标 MongoDB 实例:

    $ ./mongorestore --uri="mongodb://localhost:27021" --nsInclude=testDB.coll1 --nsInclude=testDB.coll2 /path/to/dump -v

  5. 启动 MongoDB CDC 提取:从从 oplog.bson 文件中提取的第一个操作时间戳(LSN 位置)启动 MongoDB CDC 提取进程。这将确保 CDC Extract 开始捕获转储过程启动后发生的操作。

  6. 使用生成的 CDC 线索文件配置 MongoDB Replicat,并将 oplogReplayLastLsn 属性设置为 oplog.bson 文件中的最后一个操作时间戳。这可确保复制以 oplog-replay 模式运行,从而避免任何冲突。一旦处理了最后一个时间戳,它将以正常模式继续。此配置可确保精确启动,不会丢失或复制数据,并且无需在复制中执行代价高昂的冲突处理。

如何运行从 Snowflake 到 Oracle AI Database 的初始加载?

  1. 创建更改数据捕获提取(从源 Oracle AI Database)。

  2. 从源数据库获取 SCN。

  3. 创建初始加载提取(从源 Oracle AI Database)。

  4. 创建 CDC 提取的分配路径。

  5. 创建初始加载提取的分配路径。

  6. 为初始加载创建复制(针对 Snowflake)。

  7. 为更改数据捕获复制创建复制(针对 Snowflake)。

要修复“Exception:net.snowflake.client.jdbc.SnowflakeReauthenticationRequest:Authentication token has expired(异常错误:net.snowflake.client.jdbc.SnowflakeReauthenticationRequest:验证令牌已过期)”,应执行哪些操作。用户必须再次验证。”Oracle GoldenGate Snowflake 复制中存在错误?

存在长时间的不活动时会出现此错误。要解决此问题,可以设置 JDBC 参数 CLIENT_SESSION_KEEP_ALIVE 以强制数据库用户在处于不活动状态一段时间后登录。

snowflakecomputing.com/?warehouse=<warehouse-name>&db=<database-name>&CLIENT_SESSION_KEEP_ALIVE=true

Oracle GoldenGate 和 OCI GoldenGate 是否支持将 DDL 复制到 Snowflake?

可以将 Oracle GoldenGate 配置为将源 DDL 更改传播到目标 Snowflake 表。自动方案演化是指检测、管理和应用对数据库方案所做的更改(例如表、列、索引或关系),而无需人工干预。自动方案演化支持检测新对象和元数据更改,然后自动生成目标 DDL 以进行方案演化。

对于初始加载,它可以创建或替换目标表。

对于 CDC Replicat,它可以在持续应用期间创建或修改目标表。有关更多详细信息,请参阅 Oracle GoldenGate 文档。

是否可以使用 Oracle GoldenGate 和 OCI GoldenGate 进行 Apache Iceberg 复制?

是的,Oracle GoldenGate 支持将实时数据复制到 Apache Iceberg。Oracle GoldenGate 使用 Apache Iceberg Java API 打开 Apache Iceberg Lakehouses。Oracle GoldenGate 支持 Oracle AI Data Catalog、Amazon Glue、Polaris、Nesti、Hadoop 和 REST 目录。

是否可以使用 Oracle GoldenGate 和 OCI GoldenGate 将数据实时复制到 OCI 对象存储上的 Apache Iceberg 表?

可以,您可以配置 Oracle GoldenGate 和 OCI GoldenGate,通过 OCI Object Storage S3 API 端点实时将数据复制到 OCI Object Storage 上存储的 Apache Iceberg 表。有关更多详细信息,请参阅使用 OCI GoldenGate 在 OCI 对象存储上构建实时 Apache Iceberg Lakehouse。

Oracle GoldenGate 和 OCI GoldenGate Apache Iceberg 复制是否都支持写入时合并?

可以,对于由 Snowflake、Google BigQuery 和 Databricks 管理的 Iceberg 表,Oracle GoldenGate 和 OCI GoldenGate 支持写入时合并。在这些平台上,GoldenGate 使用目标平台的计算资源进行压缩。

Oracle GoldenGate 和 OCI GoldenGate 如何处理 OCI 对象存储中参数表中的主键更新?

Oracle GoldenGate 和 OCI GoldenGate 以三种模式处理主键更新。此行为通过将 gg.handler.name.format.pkUpdateHandling 添加到 Replicat 属性文件来控制。支持的值包括异常终止、更新和删除插入。异常终止是默认行为。当检测到主键更新并将错误记录在报告文件中时,复制将失败。更新将主键更新视为任何其他更新操作。仅当可以保证主键不用作选择标准时,才使用此设置。

Delete-insert 将主键更新复制为两条记录:一条记录带有前图像,标记为删除,另一条记录带有后图像,标记为插入。

要使用删除插入,提取处理必须捕获未压缩的更改数据记录,这意味着所有列都将写入到线索文件中。

要生成未压缩的记录,请使用 LOGALLSUPCOLS 表示 Oracle AI Database 源,使用 COMPRESSUPDATES | NOCOMPRESSUPDATES 表示非 Oracle 数据库。

例如,在复制到 OCI Object Storage 时,将 gg.handler.<gg.target value>.format.pkUpdateHandling=delete-insert 设置为将主键更新复制为具有前映像的删除记录和具有后映像的插入记录。

如何使用 Oracle GoldenGate 将 Oracle DATE 和 TIMESTAMP 列复制到 OCI Object Storage 上存储的解析表?

如果未配置显式映射,则 Oracle DATE 和 TIMESTAMP 列默认情况下会作为字符串进行复制。如果没有正确的映射,下游引擎将无法将这些列识别为 date/time 类型,因此在没有显式强制转换的情况下,无法进行日期算术、范围筛选和基于时间的分区。enableTimestampLogicalType 属性允许将 Oracle DATE 和 TIMESTAMP 列映射到 Avro 时间戳微型逻辑类型,该逻辑类型表示自纪元以来的微秒值,是分析和数据湖工作负载的正确表示。

在 Oracle GoldenGate 云对象存储复制中,源 DATE 和 TIMESTAMP 类型默认映射到 Avro 文件(包括 Parquet、Iceberg 和 Delta)为 STRING。

要将源 DATE 和 TIMESTAMP 类型作为时间戳微型逻辑类型复制到 Avro 文件(包括 Parquet、Iceberg 和 Delta),请将 gg.handler.<gg.target value>.format.enableTimestampLogicalType 设置为 true。

启用时间戳逻辑类型时,还需要 gg.format.timestamp。例如:gg.handler.oci.format.enableTimestampLogicalType= truegg.format.timestamp=yyyy-MM-dd HH:mm:ss.SSSSSS

如何提高 Oracle GoldenGate OCI Object Storage 复制性能?

可以使用复制类型和 GROUPTRANSOPS 参数这两个关键功能来优化 Oracle GoldenGate Cloud 对象存储复制性能。除了复制类型和事务处理分组之外,复制生成的文件的大小直接影响吞吐量,并且应与其他设置一起进行优化。Oracle GoldenGate Distributed Applications and Analytics 提供了两种不同的复制模式:经典复制和协调复制。

经典复制是将消息应用于目标云存储服务的单线程进程。协调复制是一个多线程进程,其中多个线程独立读取 OGG 线索文件并并行应用事务。Oracle GoldenGate 云对象存储复制流程通过事务处理分组优化处理。GROUPTRANSOPS 参数将多个小型事务处理分组为应用于云存储目标的单个大型事务处理。在参数文件中配置了 GROUPTRANSOPS。缺省情况下,GROUPTRANSOPS 设置为 1000。可以增加到 20000 以获得更好的性能。

例如:GROUPTRANSOPS 20000

如何在 Oracle GoldenGate 和 OCI GoldenGate Google Cloud Storage 复制中设置文件大小?

Oracle GoldenGate 复制在本地文件系统中创建文件,并将其保持打开状态,直到满足滚动更新条件或由源中的元数据更改事件触发(例如 DDL 更改)。用户可以使用复制属性控制文件滚动更新。最大文件大小控制文件大小。默认情况下,文件大小配置为 1 GB;但可以根据需要进行配置。当达到最大大小时,将关闭文件,并生成新文件。有关更多详细信息,请参阅 Oracle GoldenGate 中的“为 DAA 配置文件写入器处理程序”文档。

Oracle GoldenGate 和 OCI GoldenGate 是否支持通过 parquet 文件复制到 Google Cloud Storage 进行分区?

Oracle GoldenGate 和 OCI GoldenGate 支持在目标对象存储存储桶中创建分区文件。分区可提高下游修剪和查询性能,但过度分区会增加目录/文件计数并放大小文件问题。

要使用分区,数据必须由最高级别的表进行分区。这是使用 pathMappingTemplate 属性完成的,应将其设置为全限定表名。

它将基于全限定源表名在容器/桶中创建目录。例如:g.eventhandler.<gg.target value>.pathMappingTemplate=${fullyQualifiedTableName}

对于创建分区,使用 gg.handler.<gg.target value>.partitioner.<fully_qualified_table_name>。此属性可以与模板关键字(如 ${columnValue[column_name]} 或常量字符串值)一起使用来定义分区路径结构。

Oracle GoldenGate 和 OCI GoldenGate 是否支持 DDL 复制到 Azure 数据湖存储 (ADLS) 上的解析文件?

Oracle GoldenGate 和 OCI GoldenGate ADLS 复制会自动将源 DDL 更改传播到生成的文件。或者,EVENTACTIONS 可用于在源数据库中执行 DDL 操作时控制提取/复制行为。

如果 Oracle GoldenGate 提取从源数据库捕获“创建表”事件,则 Replicat 将在目标云对象存储存储桶/容器中使用“创建表”事件中的表名称创建一个新文件。

如果 Oracle GoldenGate 提取从源数据库捕获变更列/删除列事件,则复制将创建一个反映更新后的源表定义的新文件。

如果 Oracle GoldenGate 提取从源数据库捕获截断事件,则可以通过设置以下设置将复制配置为在截断事件上滚动数据文件:

gg.eventhandler.<gg.target value>.rollOnTruncate=true

默认情况下,此属性设置为 false,并且复制不会在截断事件中滚动文件。Oracle GoldenGate 提取从源数据库捕获放置表事件,这对目标文件系统没有影响。

Oracle GoldenGate 和 OCI GoldenGate 如何在复制到 Azure 数据湖存储 (ADLS) 上的解析文件时处理源 Oracle NUMBER 数据类型?

Oracle NUMBER 是一种可变精度小数数据类型,它最多可表示 38 位精度的整数和固定点小数值。

如果定义的列没有显式精度和刻度(例如 NUMBER),则 Oracle 可以跨行以不同的刻度存储值,在某些复制/方案生成方案中,格式化程序可能无法确定地为目标方案派生单个精度/刻度。因此,到 Avro/Parquet 的映射通常使用保守的十进制表示形式,除非您明确配置精度和缩放以匹配源列定义。

gg.handler.<gg.target value>.enableDecimalLogicalType 是用于十进制逻辑类型映射的主交换机。设置为 true 时,它会指示 Avro 格式化程序将 Oracle NUMBER 列映射到 Avro 十进制逻辑类型(字节为 logicalType:decimal),而不是将数字作为纯 Avro 数字基元或字符串写入的默认映射。

当精度/尺度无法确定地推断时,格式化程序通常会选择保守的 Avro 十进制定义(高精度和尺度),以避免精度损失。这可能导致下游消费者看到用不必要的大幅度(例如,明显的尾随小数位)表示的值。

要使目标方案与已知的一致源定义保持一致,尤其是在财务数据(余额、价格和金额)方面:

set gg.handler.<gg.target value>.maxPrecision 和 gg.handler.<gg.target value>.oracleNumberScale。

Oracle GoldenGate 和 OCI GoldenGate 支持哪些 ADLS 验证方法?

Oracle GoldenGate 和 OCI GoldenGate 支持访问密钥、共享访问签名和 Azure Entra ID。

Oracle GoldenGate 是否支持 Amazon S3 表?

是。Oracle GoldenGate 支持通过 Amazon S3 表 REST 目录实时将 Apache Iceberg 复制到 Amazon S3 表。

Oracle GoldenGate 和 OCI GoldenGate 是否支持将多部分上载到 Amazon S3?

可以,启用 Amazon S3 多部分上载功能允许将大文件上载到 Amazon S3,方法是将大文件拆分为可以独立并行上载的小部分。此功能可解决已知的 Amazon S3 限制,例如单次上载 5GB 以上的大小对象。成功上载所有文件部分后,会向 Amazon S3 发出请求,要求将它们组装成单个对象。要使用此功能,需要在 Amazon S3 复制中启用 gg.eventhandler.s3.multipartEnabled=true。

Oracle GoldenGate 和 OCI GoldenGate 是否支持通过 parquet 文件复制到 Google Cloud Storage 进行分区?

Oracle GoldenGate 和 OCI GoldenGate 支持在目标对象存储存储桶中创建分区文件。分区可提高下游修剪和查询性能,但过度分区会增加目录/文件计数并放大小文件问题。

要使用分区,数据必须由最高级别的表进行分区。这是使用 pathMappingTemplate 属性完成的,应将其设置为全限定表名。它将基于全限定源表名在容器/桶中创建目录。例如:gg.eventhandler.<gg.target value>.pathMappingTemplate=${fullyQualifiedTableName}。对于创建分区,使用 gg.handler.<gg.target value>.partitioner.<fully_qualified_table_name>。

此属性可以与模板关键字(如 ${columnValue[column_name]} 或常量字符串值)一起使用来定义分区路径结构。

OCI Database Migration Service 如何定价?(事实型)

迁移的前 183 天(6 个月)免费提供,但迁移运行时间超过 60 天且没有任何数据传输的情况除外。

OCI Database Migration Service 支持哪些源和目标?(事实型)

当前支持 Oracle 和 MySQL 同构迁移。源可以是本地、其他云端或 OCI。目标必须在 OCI 中。Oracle 支持 11g (11.2.0.4)、12c (12.1.0.2,12.2.0.1)、19c、21c 以及所有后续 Oracle Database 发行版。MySQL:5.7 和 8 版本。在下一个 URL 中可以找到更多详细信息。

OCI Database Migration Service 支持哪些迁移类型?

脱机逻辑迁移:数据库的一次性副本,要求在迁移过程中应用脱机。联机逻辑迁移:数据库的初始副本,后跟迁移期间的更改数据捕获。在迁移过程中,应用程序可以保持联机状态。

在 oracle 迁移期间,默认情况下会排除哪些对象和方案?

始终排除以下对象类型:

默认情况下会排除以下方案:

迁移需要哪些 OCI 资源?

OCI GoldenGate 在哪里可用?