使用 OCI GoldenGate 将 Oracle Database@Azure 与 Azure 流处理平台集成
通过利用 Oracle Cloud Infrastructure GoldenGate ( OCI GoldenGate ) 功能,可以在 Azure 上构建强大的数据流平台,确保无缝的数据集成、可扩展性和实时分析。
OCI GoldenGate 提供实时数据一致性和同步,帮助企业根据准确及时的数据做出明智的决策。
使用须知
要利用此参考体系结构,需要以下各项:
- 访问 Azure 订阅和目录
- 访问 Oracle Cloud Infrastructure (OCI) 租户
- Azure 与 OCI 云之间的活动 Oracle Database@Azure 多云链接
- 任何 Azure VNets 和 OCI VCN 之间没有重叠的 CIDR 块
- 在预配之前,充分满足 Oracle Exadata Database Service 限制、Oracle Autonomous Database Serverless 和 OCI GoldenGate 服务限制
注意:
借助多云解决方案,网络是整体系统性能的关键决定因素。客户负责确保对云到云网络(带宽和延迟)进行全面测试,以确保应用性能满足既定的业务要求。体系结构
此架构展示了如何在 Azure 上将 Oracle Database@Azure 和 OCI GoldenGate 与实时数据流平台结合使用。
这些平台通过 Oracle Cloud Infrastructure (OCI) 托管网络和 VCN 连接,该网络跨两个区域并包括本地对等连接网关。Oracle Database@Azure 位于 Azure 区域中的 VCN 中,并使用本地对等连接将数据通过 OCI 托管网络发送到位于 OCI 中的 HUB VCN 中的服务。OCI GoldenGate 可使用 OCI 网络中的专用端点 (PE) 进行访问,以保护对 OCI 资源的访问。
此外,Oracle Interconnect for Azure 和站点到站点 VPN 为从 OCI 到 Azure 的数据提供了路径。数据从 OCI HUB VCN 上的动态路由网关流向站点到站点 VPN 和 Oracle Interconnect for Azure 。这两个来源的数据都通过 Azure VNet 上的虚拟网络网关传输,该网关包含专用链接和端点。从那里,它流向 Azure 资源。
下图说明了此引用体系结构。
oracle-db-azure-streaming-oracle.zip
该体系结构具有以下组件:
该架构包含以下 Oracle Cloud Infrastructure (OCI) 组件:
- 区域
Oracle Cloud Infrastructure 区域是包含一个或多个数据中心(称为可用性域)的本地化地理区域。地区独立于其他地区,远距离可以把它们分开(跨越国家甚至大陆)。
- 可用性域
可用性域是区域中的独立数据中心。每个可用性域中的物理资源与其他可用性域中的资源隔离,从而提供容错能力。可用性域不共享电源或冷却设备等基础设施,也不共享内部可用性域网络。因此,一个可用性域出现故障不会影响区域中的其他可用性域。
- 虚拟云网络 (VCN) 和子网
VCN 是一个可定制的软件定义网络,您可以在 Oracle Cloud Infrastructure 区域中设置。与传统的数据中心网络一样,VCN 允许您控制您的网络环境。VCN 可以具有多个不重叠的 CIDR 块,您可以在创建 VCN 后更改这些块。您可以将 VCN 划分为子网,子网可以限定为区域或可用性域。每个子网都包含一系列不与 VCN 中的其他子网重叠的连续地址。可以在创建后更改子网的大小。子网可以是公共子网,也可以是专用子网。
- 动态路由网关 (DRG)
DRG 是虚拟路由器,用于为同一区域中的 VCN 之间、VCN 与区域外的网络(例如另一个 Oracle Cloud Infrastructure 区域中的 VCN、内部部署网络或另一个云提供商中的网络)之间的专用网络流量提供路径。
需要 DRG 才能在 OCI 区域中的 VCN 与 Azure 区域中的 VNet 之间使用 OCI FastConnect 设置专用互连。
- 本地连接网关 (LPG)
通过 LPG,您可以在同一区域中将一个 VCN 与另一个 VCN 对等。对等连接意味着 VCN 使用专用 IP 地址进行通信,而流量不会通过互联网或内部部署网络进行路由。
- 站点到站点 VPN
通过安全的加密连接在内部部署网络与 VCN 之间提供站点到站点 IPSec VPN。
- 网络安全组 (NSG)
网络安全组 (NSG) 用作云资源的虚拟防火墙。借助 Oracle Cloud Infrastructure 的零信任安全模型,所有流量都将被拒绝,您可以控制 VCN 内的网络流量。NSG 由一组入站和出站安全规则组成,这些规则仅适用于单个 VCN 中的一组指定的 VNIC。
- 路由表
虚拟路由表包含用于将流量从子网路由到 VCN 之外目的地的规则,通常是通过网关。
- 服务网关
通过服务网关,您可以从 VCN 访问其他服务,例如 Oracle Cloud Infrastructure Object Storage 。从 VCN 到 Oracle 服务的流量通过 Oracle 网络结构传输,不会通过互联网传输。
- Oracle Exadata Database Service
Oracle Exadata 是一个企业数据库平台,它以高性能、高可用性和安全性运行任何规模和关键性的 Oracle Database 工作负载。Exadata 的横向扩展设计采用独特的优化功能,让事务处理、分析、机器学习和混合工作负载能够更快、更高效地运行。在企业数据中心、Oracle Cloud Infrastructure (OCI) 和多云环境中,在 Exadata 平台上整合各种 Oracle Database 工作负载,帮助企业提高运营效率、减少 IT 管理并降低成本。
Oracle Exadata Database Service 可帮助您充分利用云端 Exadata 的强大功能。Oracle Exadata Database Service 在公有云和 Cloud@Customer 上专门构建、优化的 Oracle Exadata 基础设施上提供经过验证的 Oracle Database 功能。为所有 Oracle Database 工作负载提供内置的云技术自动化、弹性资源扩展、安全性和快速性能,可帮助您简化管理和降低成本。
- Oracle Exadata Database Service on Dedicated Infrastructure
Oracle Exadata Database Service on Dedicated Infrastructure 在 Oracle Cloud Infrastructure (OCI) 数据中心提供 Oracle Exadata Database Machine 即服务。Oracle Exadata Database Service on Dedicated Infrastructure 实例是一个虚拟机 (VM) 集群,位于 OCI 区域中的 Exadata 机架上。
Oracle Exadata Database Service 在公有云中专门构建、优化的 Oracle Exadata 基础设施上提供经过验证的 Oracle Database 功能。内置的云自动化、弹性资源扩展、安全性和快速性能,适用于 OLTP、内存中分析和融合 Oracle Database 工作负载,可帮助简化管理和降低成本。
Exadata Cloud Infrastructure X9M 为公有云带来了更多的 CPU 核心、更高的存储和更快的网络结构。Exadata X9M 存储服务器包括 Exadata RDMA 内存 (XRMEM),可创建额外的存储层,从而提高整体系统性能。Exadata X9M 将 XRMEM 与创新的 RDMA 算法相结合,可以绕过网络和 I/O 堆栈,从而消除昂贵的 CPU 中断和上下文切换。
Exadata Cloud Infrastructure X9M 提高了 100 Gbps 主动 - 主动基于融合以太网 (RoCE) 的远程直接内存访问内部网络结构的吞吐量,使互连速度比前几代更快,所有计算和存储服务器之间的延迟都极低。
- Oracle Autonomous Database Serverless
Oracle Autonomous Database 是一个完全托管的预配置数据库环境,可用于事务处理和数据仓库工作负载。您不需要配置或管理任何硬件,或者安装任何软件。Oracle Cloud Infrastructure 可处理数据库创建以及数据库备份、打补丁、升级和调优。
Oracle Autonomous Database Serverless 是一个 Oracle Autonomous Database 。您拥有一个完全具有弹性的数据库,Oracle 可在其中自主运行数据库生命周期的各个方面(从数据库放置到备份和更新)。
Oracle Database Autonomous Serverless 还提供 Oracle Database@Azure 作为全球首款云端自治数据管理,可自动打补丁、升级和调优,无需人工干预。Autonomous Database Serverless 基于 Oracle Exadata 基础设施构建,具有自我管理、自我保护和自我修复功能,可帮助消除手动数据库管理和人为错误。
- Oracle Database@Azure
Oracle Database@Azure 是部署在 Microsoft Azure 数据中心的 Oracle Cloud Infrastructure (OCI) 上运行的 Oracle Database 服务(Oracle Exadata Database Service on Dedicated Infrastructure 和 Oracle Autonomous Database Serverless )。该服务提供与 OCI 的功能和价格均衡,用户可在 Azure Marketplace 上购买该服务。
Oracle Database@Azure 将 Oracle Exadata Database Service 、Oracle Real Application Clusters (Oracle RAC) 和 Oracle Data Guard 技术集成到 Azure 平台中。Oracle Database@Azure 服务提供与其他 Azure 原生服务相同的低延迟,可满足关键任务工作负载和云原生开发需求。用户使用 Azure 控制台和 Azure 自动化工具管理服务。该服务部署在 Azure 虚拟网络 (VNet) 中,并与 Azure 身份和访问管理系统集成。OCI 和 Oracle Database 指标和审计日志在 Azure 中原生可用。该服务要求用户拥有 Azure 租户和 OCI 租户。Oracle Autonomous Database Serverless 还以 Oracle Database@Azure 作为全球首个在云端完全托管的自治数据管理,提供自动打补丁、升级和调优,无需人工干预。Autonomous Database 基于 Oracle Exadata 基础设施构建,具有自我管理、自我保护和自我修复功能,可帮助消除手动数据库管理和人为错误。Autonomous Database 支持您使用内置 AI 功能,选择大型语言模型 (LLM) 和部署位置,使用任意数据开发可扩展的 AI 应用。
Oracle Exadata Database Service 和 Oracle Autonomous Database Serverless 均可通过原生 Azure 门户轻松预配,从而访问更广泛的 Azure 生态系统。
- OCI GoldenGate
Oracle Cloud Infrastructure GoldenGate 是一项提供实时数据网格平台的托管服务,它通过复制保持数据的高可用性,并支持实时分析。您可以设计、执行和监视数据复制和流数据处理解决方案,而无需分配或管理计算环境。
- 透明数据加密 (TDE)
透明数据加密 (Transparent Data Encryption,TDE) 可透明地加密 Oracle Database 中的静态数据。它会停止操作系统未经授权的访问存储在文件中的数据库数据的尝试,而不会影响应用程序使用 SQL 访问数据的方式。TDE 与 Oracle Database 完全集成,可以加密整个数据库备份 (RMAN)、数据泵导出、整个应用程序表空间或特定的敏感列。无论是在表空间存储文件、临时表空间、还原表空间还是其他文件(如重做日志)中,加密的数据都保持加密状态。
- FastConnect
Oracle Cloud Infrastructure FastConnect 提供了一种在您的数据中心与 Oracle Cloud Infrastructure 之间创建专用私有连接的简便方式。与基于 Internet 的连接相比,FastConnect 提供了更高的带宽选项和更可靠的网络体验。
该架构包含以下 Microsoft Azure 组件:
- Azure 区域
Azure 区域是指一个或多个物理 Azure 数据中心(称为可用性区域)所在的地理区域。地区独立于其他地区,远距离可以把它们分开(跨越国家甚至大陆)。
Azure 和 OCI 区域是本地化的地理区域。对于 Oracle Database@Azure,Azure 区域连接到 OCI 区域,Azure 中的可用性区域 (AZ) 连接到 OCI 中的可用性域 (Availability Domain,AD)。选择 Azure 和 OCI 区域对以尽可能减少距离和延迟。
- Azure 可用性区域
可用性区域是区域中的物理上独立的数据中心,设计为具有容错能力。可用性区域足够近,可以与其他可用性区域建立低延迟连接。
- 虚拟网络 (VNet) 和子网
VNet 是您在 Azure 中定义的虚拟网络。VNet 可以具有多个不重叠的 CIDR 块子网,您可以在创建 VNet 后添加这些子网。可以将 VNet 细分到子网中,子网可以限定为某个区域或可用性区域。每个子网都包含一个不与 VNet 中的其他子网重叠的连续地址范围。使用 VNet 在网络级别以逻辑方式隔离 Azure 资源。
- ExpressRoute
Azure ExpressRoute 允许您在 VNet 与其他网络(例如您的内部部署网络或其他云提供商中的网络)之间设置专用连接。ExpressRoute 是典型 Internet 连接的更可靠、更快的替代方案,因为 ExpressRoute 上的流量不会遍历公共 Internet。
- 虚拟网络网关
虚拟网络网关允许 Azure VNet 与 Azure 之外的网络之间的流量通过公共互联网或使用 ExpressRoute,具体取决于您指定的网关类型。
- 路由表
路由表用于在 Azure 子网、VNets 和 Azure 之外的网络之间直接流量。
- 网络安全组
网络安全组包含用于控制 VNet 中 Azure 资源之间的网络流量的规则。每个规则指定允许或拒绝的网络通信的源或目标、端口、协议和方向。
- 本地连接网关 (LPG)
本地对等连接网关 (LPG) 是 VCN 上的一个组件,用于将流量路由到本地对等 VCN。
- 站点到站点 VPN
通过安全的加密连接在内部部署网络与 VCN 之间提供站点到站点 IPSec VPN。
推荐
- 位置选择
我们建议在与 Oracle Database@Azure 相同的 OCI 租户和区域中创建 OCI GoldenGate 资源,以实现最佳的端到端延迟。
- 预配
选择合适的 Oracle Cloud Infrastructure FastConnect 大小以支持工作负载的带宽需求。
- 并行度
建议在 OCI GoldenGate 中设置并行复制,以便尽可能加快应用滞后。
注意事项
部署此引用体系结构时,请考虑以下几点。
- Oracle Database@Azure 和 OCI GoldenGate 的网络设置Microsoft Azure 环境:
- 利用 Azure 虚拟网络 (VNet) 进行网络连接。
- 在预创建的委托子网内创建虚拟网络接口卡 (virtual network interface card,vnics)。
OCI 环境:- Oracle Database@Azure 连接到 OCI VCN 中的客户端子网。
- 要将数据库 VCN 与 HUB VCN 连接,通信将通过 LPG 进行传输。
- 客户机连接
- 此网络设置允许来自 Azure 和 OCI 资源的客户端连接。
- 但是,它不允许在 OCI 资源和 Azure 资源之间进行直接通信。
这一全面的设置可确保跨 OCI 和 Azure 环境建立稳健、安全的连接,支持多种部署方案。有关详细信息,请参阅浏览更多部分中的访问 Microsoft Azure 链接。
- 成本
对于 OCI GoldenGate ,我们提供基于 Web 的灵活弹性服务来实时移动数据。
- 性能
- 网络延迟对性能至关重要。对于 OCI GoldenGate ,在应用性能测试中检查和测量网络延迟。
- 托管在不同云数据中心中的应用和数据库之间的网络延迟必须小于 10 毫秒。我们建议选择附近的应用和数据库区域,以实现最佳的端到端性能。
- 连接
- 需要额外设置网络连接才能在 OCI GoldenGate 与 Azure 之间进行直接通信。
-
在多个区域中,提供专用 OCI Azure 互连。
-
此互连支持跨云负载,而无需云之间的流量即可通过互联网。
-
它支持将 Microsoft Azure VNet 与 OCI VCN 连接,从而实现无缝的跨云工作负载。
-
在 OCI Azure 互连不可用的区域中,可以建立站点到站点 VPN 作为替代方案。
-
- 创建与 Oracle Database@Azure 的连接时,使用专用端点并选择专用子网。
- Use the Redirect session mode when creating the Connection to Oracle Exadata Database Service on Dedicated Infrastructure to use the Single Client Access Name (SCAN) listener.
- 必须制定正确的路由、DNS 和安全规则,OCI GoldenGate 才能访问您的资源
- 需要额外设置网络连接才能在 OCI GoldenGate 与 Azure 之间进行直接通信。