OCI GoldenGate 规模和容量规划指南
使用本指南规划 Oracle Cloud Infrastructure (OCI)、Microsoft Azure 和 Google Cloud 上的托管数据复制部署。
本文提供了 OCI GoldenGate 数据复制部署的基线资源和流程大小调整准则。您可以和您的实施团队将此作为选择部署能力的结构化起点,并开始配置和集成测试。
OCI GoldenGate 是一项基于 OCI、Microsoft Azure 和 Google Cloud 的托管 Oracle 云服务。选择部署容量并配置复制进程。Oracle 运营底层服务基础设施。源数据库资源、目标数据库性能、网络连接和复制配置仍是端到端容量计划的一部分。
本文包括:
- OCI GoldenGate 在 OCI、Azure 和 Google Cloud 上托管数据复制部署。
- 使用所选云和区域中可用的部署技术和构建,支持 Oracle Database 和非 Oracle 关系源和目标。
- 在每个托管部署中提取、分发路径、接收方路径和复制容量。
- 跟踪保留、恢复积压、网络需求和生产代表性大小验证。
本文不涵盖:
- 在物理服务器、虚拟机或 Kubernetes 上进行自我管理的 GoldenGate 安装。
- 数据转换、数据验证和流分析,需要单独的容量模型。
- 复杂联合或主动 - 主动架构的数据库硬件大小和详细设计。
对于混合拓扑,请根据其运行模型调整每个组件的大小。客户管理的源端提取仍需要主机和数据库容量,即使它向 OCI GoldenGate 发送更改。
注:本文档提供了基线大小调整指导,但不保证性能、可扩展性或容量。实际资源消耗因事务处理量、事务处理大小、转换、拓扑、延迟要求和目标性能而异。在部署到生产环境之前,使用生产代表性工作负载完成概念验证。
在初始测试期间提供合理的空间。规模不足的部署可能会遇到资源压力、线索增长、复制滞后或流程不稳定。在增加资源或并行性之前监视限制阶段。
这些建议的依据
本文件中的大小调整建议并非基于单一基准或综合工作量。GoldenGate 可处理各种事务处理概要信息、数据模型和复制拓扑,因此没有单个吞吐量图可以表示所有客户环境。
相反,本文档中的指导反映了以下各项的组合:
- Oracle Product Development 性能测试和可扩展性验证活动
- Oracle 支持和性能工程调查
- 从客户实施中观察到部署模式
- Oracle 咨询和现场工程经验
- 生产 GoldenGate 环境中的运营优秀实践
这些建议为基础设施配置和部署规划提供了一个切实可行的起点。实际资源需求取决于工作负载特征,包括事务处理量、事务处理大小、重做生成速率、延迟需求、转换复杂性、网络条件和目标系统性能。
客户应将这些建议视为基准指导,并在部署生产环境之前通过概念验证测试和运营监视来验证这些建议。
工作量分类层
在选择调整大小配置文件之前,请使用下表对工作量进行分类。这些标签描述了规划复杂性;它们不会将重做速率或表计数映射到保证的 OCPU 要求。当需求变化时,测试最繁忙的持续期间和恢复工作量。
| 属性 | 小 | 中 | 大号 | 特大 |
|---|---|---|---|---|
| 目标工作量概要文件 | 开发/质量保证或低容量 | 部门 OLTP | 企业 OLTP/数据仓库 | 高容量或复杂拓扑 |
| 每小时平均重做数 (GB) | < 1 GB | 1-100 GB | 100-300 GB | > 300 GB |
| 复制范围 | 源和目标范围有限 | 多个工作负载分区 | 多个源或目标 | 高并发性或广泛的扇出 |
| 大小强调 | 功能验证 | 持续需求 | 峰值和恢复能力 | 分区和故障边界 |
注:数据库、TPS(每秒事务处理数)和表计数的大小本身不是资源消耗的可靠预测因子。分别收集源重做/日志字节数、事务处理特征、捕获的线索字节数和电汇流量。对于 Oracle 源,使用 DBA 验证重做度量,避免对重复的归档日志副本或 RAC 线程进行多次计数。
正在初始化大小调整工作流
-
测量源工作量。
- 收集重做生成速率。
- 了解事务处理特征。
- 确定源和目标计数。
-
选择工作量概要文件。
- 使用“工作量分类层”表可以确定所需的测试用例。
-
- 选择基本 OCPU 和自动缩放。确认云、区域、构建和存储限制。
-
配置 GoldenGate。
- 配置支持的 Extract 、 Distribution Path 和 Replicat 进程。
-
建立监视基线。
- 从第一天起捕获消耗的 OCPU、内存、流程滞后和线索增长。
-
验证大小。
- 运行正常、持续的峰值、初始负载和中断恢复工作负载。
-
根据需要调整资源。
- 更改限制资源或支持的进程设置,然后重复测试。
计算和储存规模
OCI GoldenGate 将资源分配给托管部署。下表汇总了基本配置示例和记录的分配模型。开发和生产价值是初步规划指导。较大的值是配置示例,而不是工作量层建议。
规模化理念:
- 从服务基准和并发流程需求开始,然后验证实际需求。
- 在源更改继续进行的同时,为峰值、大型事务处理、维护和追赶提供空间。
- 独立调整每个部署规模,并保留单独的源数据库和目标数据库容量计划。
| 资源 | 开发/测试 | 生产开始时间 | 较大的示例 | 最大基数 |
|---|---|---|---|---|
| 基本 OCPU | 1 | 4 | 8 | 24 |
| 基本内存分配 | 16 GB | 64 GB | 128 GB | 384 GB |
| 基本网络分配 | 1 Gbps | 4 Gbps | 8 Gbps | 24 Gbps |
| 存储(线索、其他文件) | 500 GB | 2 TB | 4 TB | 12 TB |
OCPU 指导
- Oracle 建议从 1 个 OCPU 开始进行开发/测试,从 4 个 OCPU 开始进行生产。根据需要启用自动缩放来处理峰值工作负载。您还可以手动上下扩展部署。
- 自动缩放至多可以使用 24 个 OCPU 的 3 倍基本 OCPU。在所选配置中测试持续需求和恢复。
- 从每个并发提取、复制或分发路径的 1 个 OCPU 开始,作为流程计划指南。在测试期间调整 OCPU 计数。
- 提取 CPU 需求因捕获的更改、事务处理特性、筛选、转换和源挖掘而异。
- Oracle 还建议为用户界面分配 1 个 OCPU。
内存指导
- 每个 OCPU 的服务分配为 16 GB 内存。同时验证内存压力以及消耗的计算和临时空间需求。
- 内存要求取决于未提交的事务处理数据、长时间运行的事务处理、LOB、并发进程和溢出活动。提供前台,直到有代表性的测试建立需求。
- 默认情况下,每个大数据处理程序通常使用 8 GB 内存。确保
jvm.bootoptions堆设置(-Xmx和-Xms)的大小适当,以防止在峰值负载下出现OutOfMemory错误。 CACHEMGR是内部自配置和自调整。在更改高速缓存大小控制之前,请保留默认值并咨询 Oracle 技术支持。- 集成提取使用源数据库日志挖掘服务器和流池。增加服务 OCPU 不会增加源 SGA 容量。
- Database Parallel Replicat 使用 Mappers、Master 和 Appliers。评估进程和目标数据库内存,而不是应用通用 JVM- 堆 - 每线程估计值。
存储和 I/O 指导
- 存储和文件系统实施由服务管理。客户计划保留和恢复容量,而不是选择磁盘类型、挂载点或 IOPS。
- 计算每个部署中的每个物理线索副本,并为报告、放弃文件、临时溢出、操作文件以及与备份相关的要求(如果适用)保留空间。
- 请注意,初始负载轨迹通常会占用比常规轨迹更多的存储空间。
线索保留策略
根据业务恢复目标、运营程序和下游系统的最长预期停机持续时间建立线索保留。所需的窗口还必须包括重新启动、追补、操作员响应以及任何其他重放要求。
启动保留目标的示例:
| 部署类型 | 建议的线索保留 |
|---|---|
| 开发/质量保证 | 4-8 小时 |
| 生产(单个目标) | 24 小时 |
| 生产(关键工作负载) | 48-72 小时 |
| 跨区域/广域网部署 | 72 小时以上 |
- 为实时线索启用检查点保护,并验证所有提取、分发、接收者和复制使用者。
- 清除任务将删除符合条件的文件。
- 确认源日志保留以及线索保留,以便捕获可以在所需位置重新启动。
这些是启动目标的示例。所选窗口必须涵盖实际恢复过程,并符合已确认的部署存储限制。
线索存储计算
调整线索存储大小时,请考虑:
- 峰值线索生成率 x 保留期 x 安全系数
- Oracle 建议至少应用 1.5x 的最小安全系数,以适应工作负载峰值、维护窗口和意外目标中断。
- 请勿仅根据年龄清除线索文件。只有在所有下游复制进程成功处理了所需的线索数据并且其检查点位置超出了您计划删除的文件之后,才能清除文件。
- 对于业务关键型环境,保留应足以从计划的维护活动、目标数据库停机、网络中断和故障排除调查中恢复,而无需重新定位或重新实例化目标系统。
使用此公式:
Required Trail Storage = Peak Trail GB/hour x Retention Hours x Safety Factor
示例:100 GB/小时 x 24 小时 x 1.5 = 3,600 GB(3.6 TB)
安全系数是计划基线,而不是托管服务分配规则。对每个本地线索副本使用测量的线索生成字节,添加非线索保留,并包括完整的中断、重新启动、追补和响应间隔,而无需对相同数据进行两次计数。
注:该示例说明了计算,它不是单部署容量建议。根据每个部署的确认容量验证保留和工作负载分区。
GoldenGate 进程计数建议
下表为每个工作负载层提供了建议的每个 OCI GoldenGate 数据复制部署的进程计数。这些计数假定采用单源、多目标部署模式。对于多源配置,请将提取计数乘以源数据库数,并相应地调整 OCPU 计数。
| GG 流程 | 小 | 中 | 大号 | 特大 |
|---|---|---|---|---|
| 提取(集成) | 1 | 1-2 | 1-2 | 2-4 |
| 分发路径 | 1-2 | 2-4 | 4-8 | 8-16 |
| 复制(经典) | 1-2 | 2-5 | 5-15 | 15-30 |
| 复制(并行) | 1 | 1-2 | 2-4 | 4-8 |
| 复制(协调) | 1-2 | 2-5 | 5-10 | 10–0 |
| 最大并发进程数 | 2-4 | 8-14 | 16-34 | 36-70 |
对于多个来源,考虑支持的每个捕获范围并相应地调整计算。在 OCPU Guidance 中应用控制台和并发进程容限,然后验证内存、目标容量和峰值需求。当一个部署无法满足测试要求时,跨部署对工作量进行分区。
提取流程准则
- 首先为每个支持的源捕获范围提供一个集成提取。对于 CDB/PDB 源,使用所选部署构建和数据库支持的捕获配置。
- 仅针对有效工作负载分区或测量的捕获瓶颈引入其他提取。测试挖掘开销、源数据库资源、事务处理一致性和恢复。
- 单个提取可以写入多个线索文件。这允许单个提取为多个目标提供信息,或将一个大型工作量拆分为多个复制程序可以处理的多个线索。
- 在使用多个线索之前确认平台限制;例如,具有 GTID 集定位的 MySQL 提取仅支持一个线索。
分配服务准则
- 单个分发服务可以维持多个并发路径。为所需的每个线索转移路由配置路径,并考虑扇出流量和每个下游使用者。
- 对于 WAN 分发,请查看支持的路径缓冲区和 TCP 刷新设置,以弥补网络延迟。仅在路由测试演示约束后更改设置。
复制进程准则
- 为您的工作量选择正确的复制。例如,请参见 Oracle 数据库的 Types of Replicat 。
- Oracle 建议对 Oracle 数据库使用并行非集成复制,对支持并行复制的所有其他 GoldenGate 平台使用并行非集成复制。
- Classic Replicat 串行应用,适合开发、轻负载 DR 方案以及缺少并行应用支持的非 Oracle 目标。
- 协调程序管理协调复制的多个应用线程,使此复制适用于需要依赖项跟踪的结构化 OLTP 工作负载。
- 为每个目标方案或逻辑工作负载分区分配一个复制组,以最大限度地提高并行性和隔离故障域。
OCPU 考虑事项
- 随着并行性的增加,并行复制通常需要额外的 OCPU 资源。
- Integrated Replicat 可在目标 Oracle Database 中执行并行应用,因此在容量规划中包括目标数据库资源。
灾难恢复拓扑指导
OCI GoldenGate 运营服务基础设施。根据所选云和区域中的业务恢复目标和功能可用性选择托管恢复拓扑。数据库、网络、复制和应用程序恢复仍是完整设计的一部分。
单个部署
- 适合作为开发、质量保证、试点和工作负载的启动部署,并具有符合商定目标的恢复程序。
- 配置支持的进程自动启动和重新启动控制并测试其行为。
- 使用服务部署备份和受检查点保护的线索保留。在运行手册中包括源数据库和目标数据库恢复。
主部署和对等部署
- 您可以创建本地或跨区域对等节点,以提高可用性,并在计划内维护和计划外停机期间尽可能减少停机时间。
- 一个主部署可以有一个对等部署。备用数据库始终保持与主数据库相同的大小。
- 运行对等端预检查和恢复练习。RPO(恢复点目标)为零。RTO(恢复时间目标)取决于部署中存储的数据量。存储利用率越高,RTO 越长。
- 要进行跨区域恢复,请验证分发路径端点、信任库证书、密钥复制、连接路由和进程启动。有关详细信息,请参阅管理对等部署。
部署备份和维护
- 该服务将每日自动备份保留 12 天,并进行手动备份,直到您将其删除。备份内容只能包括元数据或元数据和线索。有关详细信息,请参阅管理部署备份。
- 部署备份不会替换源数据库和目标数据库备份,也不会替换所需的实时线索保留。在一致的恢复点测试恢复序列。
- 计划与部署升级关联的停止/重新启动和积压。查看已知问题和特定于部署的维护信息。
监视和度量基线
建立从第一天开始的监视基线。持续跟踪生产部署的服务使用量、流程性能、数据库资源和完整的从源到目标路线。
OCI 监视度量
- 提取:捕获滞后和进程状态。
- 分配和接收方路径:滞后和状态。
- 复制:应用滞后和进程状态。
- 部署:OCPU 使用率、OCPU 使用量、内存和存储使用率。
- 应用:心跳滞后。
您可以在数据复制度量中查看可用度量的完整列表。
在 OCI Monitoring 中配置预警,以了解流程故障、新鲜度违规、进度停滞以及存储耗尽情况。阈值应留出操作员响应的时间。OCI Notifications 服务提供这些预警。
初始大小调整验证标准
部署和代表性工作负载测试后,根据应用程序目标验证大小。为每个工作负载定义数字滞后、资源和追补阈值,而不是将其视为通用服务限制。
适当规模的部署应显示:
- 在正常和持续的高峰需求期间,商定目标内的端到端新鲜度和每个流程的滞后。
- 在计划的中断和恢复期间,没有持续的线索积压增长和足够的保留空间。
- 通过大型事务和并发活动保持稳定的内存和临时空间行为。
- 没有无法解释的数据错误、循环进程重新启动或与资源相关的异常终止。
- 在商定的最后期限内恢复积压,同时继续进行新的来源变动。
- 成功重新启动、备份/还原和对等恢复测试(如果适用)。
在测试中包括初始负载重叠、备份、维护和预测增长。记录实现率、最坏情况滞后、保留存储、恢复时间、一致性结果以及需要进行新的调整大小练习的条件。
预配核对清单
在预配初始 OCI GoldenGate 部署之前,请完成以下核对清单。提前收集这些信息可减少部署延迟和部署后调整大小。
- 从源数据库收集峰值和平均重做日志生成速率(每小时,每天)。
- 标识复制的表、行大小、LOB、最大的事务处理、筛选和转换。
- 确定源和目标计数、部署放置以及 LAN/WAN/跨云路由。
- 确认支持的端点组合和部署技术。
- 与应用程序所有者确认延迟 SLA(数据新鲜度要求)。
- 选择基本 OCPU 和自动缩放;记录控制台和并发进程容限。
- 调整每个保留的线索副本、恢复积压、非线索保留以及受检查点保护的清除策略的大小。
- 在正常、峰值和恢复需求期间验证测量的电线吞吐量和路由延迟。
- 评估补充日志记录影响并验证源挖掘和目标应用容量。
- 定义源/目标特权、凭证、访问策略、DNS、路由和所需的监听程序端口。
- 选择恢复拓扑并确认所选云中的对等节点、备份和构建可用性。
- 规划初始加载和一致的同步边界。通过追补保留日志/跟踪。
- 建立监控、报警、操作员所有权和具有代表性的测试验收标准。
免责声明
Oracle 基于常见部署模式和内部测试提供这些建议。实际资源需求可能因工作负载特征而异,包括事务复杂性、DML/DDL 组合、网络延迟、目标数据库性能和补充日志记录配置。
这些建议反映了 Oracle GoldenGate 客户环境和 Oracle 内部工程经验中的常见部署特性。他们打算为容量规划提供一个实际的起点,而不是替代特定于工作负载的性能验证。
对于这些建议在特定环境中的准确性、完整性或适用性,Oracle Corporation 及其附属公司不作任何明示或暗示的保证。客户负责在上线之前根据自己的生产负载验证所有建议并调整指导大小。