在 OCI 上为数据和应用集成工作负载设计网络架构

基于关键网络注意事项和支持的架构模式部署 Oracle Cloud Infrastructure 数据集成和应用集成解决方案。

Oracle Cloud Infrastructure (OCI) 是 Oracle 的新一代云平台,可跨基础设施即服务 (IaaS)、平台即服务 (PaaS) 和软件即服务 (SaaS) 提供全面的服务套件。它提供企业级计算、存储、网络和安全功能,旨在支持可扩展、高性能和安全的云解决方案。OCI 专注于混合云和多云策略,可帮助企业在各种环境中无缝运行 AI、分析、数据库和集成工作负载。

OCI 集成堆栈包含数据集成、应用集成和实时复制功能。

  • 数据集成:Oracle Cloud MarketplaceOracle IntegrationOracle Data Transforms 上的 Oracle Data Integrator
  • 应用集成:Oracle Integration
  • 实时复制: OCI GoldenGate

本教程将深入探讨部署数据集成和应用程序集成解决方案的关键网络注意事项和支持的架构模式。

集成方法

数据集成包括从不同来源提取数据,应用必要的转换,并将其加载到集中式数据仓库中,通常遵循提取、转换、加载 (ETL) 或提取、加载、转换 (ELT) 方法。集中管理后,分析人员可以轻松访问数据,利用分析和商务智能 (BI) 工具提高洞察力。

另一方面,应用程序集成可确保不同应用程序之间的实时同步。利用 API,系统能够以协调一致的方式响应数据更改或业务事件,从而实现无缝通信和自动化工作流。

Oracle Integration 堆栈包含一组用于启用数据和应用程序工作流的完整工具,按如下方式分类:

  • Oracle Data Integrator 将基础设施即服务 (IaaS) 与预配置的中间件环境相结合,提供简化的部署体验来满足数据集成需求。ODI 是一款功能强大的 ELT 工具,专为处理大规模的数据集成而设计,它利用元数据驱动的转换和实时同步来确保不同环境之间的无缝数据流。
  • OCI 数据集成服务是一个完全托管的云原生平台 (PaaS),专为无缝的数据摄取、转换和编排而设计。借助直观的无代码界面,用户可以简化复杂的工作流,同时利用事件驱动的处理在各种环境中实现高效的自动化数据移动。
  • Oracle Data Transforms 是一款完全托管的 PaaS 解决方案,与 Autonomous Data Warehouse 集成,可彻底改变数据集成及其直观的基于浏览器的界面。它专为无缝的基于云的运营而设计,提供深入的 Oracle 服务集成、Delta 共享支持和简化的工作流,以简化不同环境中的数据转换。
  • Oracle Integration 是一个完全托管的 PaaS 解决方案,旨在简化应用和 API 集成。它具有一整套预构建的适配器,可实现跨企业系统的无缝连接。Oracle Integration 借助工作流自动化、安全的 API 管理和 AI 驱动的决策,通过优化集成和编排智能流程来提高业务敏捷性。

每个工具都提供不同的用例,从数据转换和云管道到无缝的应用连接和自动化。

网络基础

OCI Networking 提供了弹性、安全且可扩展的网络基础,对于运行数据和应用集成工作负载至关重要。这些网络服务支持混合云和多云配置,具有最小的延迟和高可靠性。核心网络组件包括以下内容。

  • 虚拟云网络 (Virtual Cloud Network,VCN) 是 OCI 中可定制的、逻辑隔离的网络,您可以在其中定义 IP 范围、子网、路由表和安全策略。
  • 动态路由网关 (Dynamic Routing Gateway,DRG) 可实现 VCN、内部部署网络和第三方云之间的专用连接,并充当路由流量的集中枢纽。
  • OCI FastConnect 是专用的高带宽连接,可绕过公共互联网将本地环境或合作伙伴云连接到 OCI。
  • OCI Site-to-Site VPN 提供加密的 IPsec 隧道,用于通过公共互联网在内部部署网络与 OCI 之间进行安全通信。
  • 远程对等连接允许在不同 OCI 区域中的 VCN 之间进行安全的专用通信,而无需通过公共互联网。
  • 通过服务网关,VCN 资源无需通过互联网出站即可以专用方式访问 Oracle 服务(例如 OCI Object StorageAutonomous Database )。
  • VCN 对等连接支持使用路由表和安全列表在同一区域和租户中的两个 VCN 之间传输流量。

对于多云互连,OCI 通过集成架构支持与其他云提供商的专用连接:

  • OCI 到 Amazon Web Services (AWS) → OCI FastConnect + AWS 直接连接
  • OCI 到 Microsoft AzureOCI FastConnect + Azure ExpressRoute
  • OCI 到 Google CloudOCI FastConnect + Google Partner Interconnect

这些配置可确保跨云平台安全、低延迟且合规的数据移动,从而帮助企业实现真正的云互操作性。

体系结构

提供的架构模式、部署步骤和连接模型提供了实施高效且面向未来的云集成策略的蓝图。

体系结构模式 1

源系统、集成工具和目标系统都部署在 OCI 中的单个 VCN 中的同一子网内(无论是公共子网还是专用子网)。优势包括:

  • 简化网络配置和设置
  • 组件之间的低延迟通信
  • 优化的数据传输性能
  • 由于共存,安全管理极少
  • 非常适合高吞吐量 VCN 内集成负载

下图说明了此参考体系结构。



集成架构 -pattern-1-oracle.zip

体系结构模式 2

源系统位于内部部署中,集成工具部署在 VCN 1 中的专用子网中,目标系统位于 VCN 2 内的专用子网中。这两个 VCN 都属于同一 OCI 租户。本地环境与 OCI 之间的连接使用 OCI FastConnect 或 VPN 建立,而 VCN 对等连接或动态路由网关 (DRG) 支持 VCN 1 与 VCN 2 之间的通信。优势包括:

  • 支持通过安全的内部部署连接实现混合云集成
  • 跨 VCN 的网络细分和资源隔离
  • 安全高效的组件间数据流
  • 通过专用或加密链路实现一致的性能
  • 针对多层或分布式集成工作负载进行扩展

下图说明了此参考体系结构。



集成架构 -pattern-2-oracle.zip

体系结构模式 3

源系统托管在区域 1 中的内部部署中。集成工具部署在位于区域 2 下的 VCN 1 中的专用子网中,而目标系统位于 VCN 2 中的专用子网中。为了在这些分布式环境中实现安全通信,使用远程对等连接 (RPC) 将不同 OCI 区域中的 VCN 链接。DRG 简化了此区域间流量的路由和管理。优势包括:

  • 在不同区域和租户之间建立安全的专用连接
  • 为 VCN 间通信预防性地公开公共互联网
  • 支持高可用性的多区域部署模式
  • 适用于全球集成解决方案的可扩展架构
  • 网络隔离,同时实现无缝数据交换

下图说明了此参考体系结构。



集成架构 -pattern-3-oracle.zip

体系结构模式 4

源系统位于区域 1 中的内部部署。集成工具部署在以下区域 2 的 VCN 1 内的专用子网中。目标系统位于多云环境中,涵盖 Google CloudMicrosoft AzureAmazon Web Services (AWS) 等提供商。OCI 与这些云平台之间的无缝安全连接使用专用互连解决方案实现:

  • OCI 到 Google CloudOCI FastConnect + Google Partner Interconnect 可确保 OCI 与 Google Cloud 之间的专用低延迟链接。
  • OCI 到 AzureOCI FastConnect + Azure ExpressRoute (专用对等连接)支持直接、安全的连接,同时绕过公共互联网。
  • OCI 到 AWSOCI FastConnect + AWS Direct Connect (专用)提供专用的网络路径,用于在 OCI 和 AWS 之间优化数据传输。

优势包括:

  • 跨多个云平台的高性能专用连接
  • 在 OCI 和第三方云之间实现低延迟、安全的数据传输
  • 通过避免公共互联网路由实现合规性和治理
  • 可扩展的分布式集成架构
  • 灵活部署跨平台企业工作负载

下图说明了此参考体系结构。



集成架构 -pattern-4-oracle.zip

OCI 提供全面、灵活的集成框架,支持跨混合、多区域和多云部署的数据和应用同步。利用 Oracle Data IntegratorOracle Data TransformsOracle Integration 等企业级服务,将它们与 DRG、 OCI FastConnect 和 RPC 等强大的网络结构配对,企业可以实施高度安全、可扩展且具有弹性的架构。

该体系结构包含以下组件:

  • 动态路由网关 (DRG)

    DRG 是一个虚拟路由器,用于为同一区域中的 VCN、VCN 与该区域之外的网络(例如另一个 OCI 区域中的 VCN、内部部署网络或其他云提供商中的网络)之间的专用网络流量提供路径。

  • FastConnect

    Oracle Cloud Infrastructure FastConnect 可在您的数据中心与 OCI 之间创建专用连接。与基于互联网的连接相比,FastConnect 提供了更高的带宽选项和更可靠、更稳定的网络体验。

  • Internet 网关

    互联网网关允许 VCN 中的公共子网与公共互联网之间的流量。

  • 本地对等连接

    通过本地对等连接,您可以在同一区域中将一个 VCN 与另一个 VCN 对等连接。对等连接是指 VCN 使用专用 IP 地址进行通信,而无需通过互联网传送流量或通过内部部署网络进行路由。

  • 网络安全组 (NSG)

    NSG 充当云资源的虚拟防火墙。借助 OCI 的零信任安全模型,您可以控制 VCN 内的网络流量。NSG 由一组入站和出站安全规则组成,这些规则仅应用于单个 VCN 中指定的一组虚拟网络接口卡 (virtual network interface card,VNIC)。

  • OCI 虚拟云网络和子网

    虚拟云网络 (VCN) 是您可以在 OCI 区域中设置的可定制软件定义网络。与传统数据中心网络一样,VCN 允许您控制网络环境。一个 VCN 可以具有多个不重叠的无类域间路由 (classless inter-domain routing,CIDR) 块,在创建 VCN 后可以更改这些块。您可以将 VCN 细分为多个子网,这些子网可以限定为某个区域或某个可用性域。每个子网由一系列不与 VCN 中的其他子网重叠的连续地址组成。您可以在创建子网后更改子网的大小。子网可以是公共子网,也可以是专用子网。

  • 路由表

    虚拟路由表包含用于将流量从子网路由到 VCN 之外目标(通常通过网关)的规则。

  • 服务网关

    通过服务网关,您可以从 VCN 访问其他服务,例如 Oracle Cloud Infrastructure Object Storage 。从 VCN 到 Oracle 服务的流量将通过 Oracle 网络结构传输,不会通过互联网。

  • 站点到站点 VPN

    OCI Site-to-Site VPN 可在内部部署网络与 OCI 上的 VCN 之间提供 IPSec VPN 连接。IPSec 协议套件在数据包从源传输到目标之前对 IP 通信进行加密,并在数据包到达时对通信进行解密。

  • 分析

    Oracle Analytics Cloud 是一款可扩展且安全的公有云服务,可为业务分析师提供基于 AI 的现代化自助分析功能,助其执行数据准备、可视化、企业报告、增强分析以及自然语言处理和生成。借助 Oracle Analytics Cloud ,您还可以获得灵活的服务管理功能,包括快速设置、轻松扩展和打补丁以及自动化生命周期管理。

  • 自治数据仓库

    Oracle Autonomous Data Warehouse 是一个自治驱动、自我保护和自我修复的数据库服务,针对数据仓库工作负载进行了优化。您不需要配置或管理任何硬件,也不需安装任何软件。OCI 可处理数据库创建、备份、打补丁、升级和调优。

  • 堡垒机

    堡垒主机是一个计算实例,它为客户从云外部访问拓扑提供了安全受控的入口点。堡垒主机通常预配在隔离区 (DMZ) 中。利用它,您可以将敏感资源放在无法从云外部直接访问的专用网络中,从而保护敏感资源。拓扑具有已知的单个入口点,您可以定期对其进行监视和审计。因此,您可以避免公开拓扑中较为敏感的组件,同时又不会影响对它们的访问。

  • 数据集成

    Oracle Cloud Infrastructure Data Integration 是一款全托管式、无服务器、云原生服务,可提取、加载、转换、清理和重塑各种数据源中的数据,并将其转换为目标 OCI 服务,例如 Autonomous Data WarehouseOracle Cloud Infrastructure Object Storage 。用户使用直观、无代码的用户界面设计数据集成流程,优化集成流,生成高效的引擎和编排,自动分配和扩展执行环境。

    ETL(提取转换加载)在 Spark 上利用完全托管的横向扩展处理,ELT(提取加载转换)利用 Autonomous Data Warehouse 的完整 SQL 下推功能,以最大限度地减少数据移动并缩短新摄取数据的价值实现时间。

    Oracle Cloud Infrastructure Data Integration 提供交互式研究和数据准备功能,可帮助数据工程师通过定义规则来处理模式更改,从而防范模式偏差。

  • 集成

    Oracle Integration 是一个完全托管的预配置环境,允许您集成云和内部部署应用、自动执行业务流程以及开发可视化应用。它使用符合 SFTP 的文件服务器来存储和检索文件,并允许您使用数百个适配器和配方组合与 Oracle 和第三方应用程序连接,以与企业对企业贸易合作伙伴交换文档。

推荐

在 OCI 上部署数据和应用集成工作负载时,请使用以下建议。

  • 体系结构模式选择

    在 OCI 上部署集成工作负载时,选择合适的架构模式对于确保出色的性能、可扩展性和安全性至关重要。

    • 模式 1 适合在单个 VCN 中部署所有组件的低延迟、高吞吐量用例,从而实现高效的云内通信。
    • 模式 2 支持混合集成,支持通过 OCI FastConnect 或 VPN 将内部部署系统连接到 OCI,并通过 VCN 对等连接或 DRG 管理 VCN 流量。
    • 模式 3 支持使用 RPC 和 DRG 进行多区域和多租户部署,从而跨分布式环境提供高可用性和专用连接。
    • 模式 4 专为多云场景而设计,可确保 OCI 与使用专用互连解决方案的 AWSAzureGoogle Cloud 等第三方云之间的安全、低延迟集成。
  • 网络最佳实践

    要在 OCI 上构建强大、可扩展的网络架构,必须采用网络隔离和弹性连接。这涉及使用具有分段子网(公共或专用)的定制 VCN 在逻辑上分离工作负载并强制实施访问控制。要实现安全通信,请使用 OCI FastConnect 获取高带宽、低延迟的链接,或者使用 OCI Site-to-Site VPN 进行加密的互联网隧道。使用 DRG 和 RPC 进行云到内部部署或 VCN 之间的路由,而 OCI 服务网关则支持对 Oracle 服务进行专用访问,而不会受到互联网的影响。通过明确定义的路由表和安全列表来实施安全性,最大限度地减少横向移动并保护关键资源。

  • OCI 管理的集成服务

    OCI 提供一套强大的全托管集成服务,旨在满足数据和应用集成需求。

    • Oracle Data Integrator 在预配置的 IaaS 环境中提供了强大的 ELT 框架,非常适合大容量数据处理。
    • 数据集成提供了一个云原生无代码平台,可用于跨各种来源设计事件驱动的复杂数据管道。
    • Oracle Data TransformsAutonomous Data Warehouse 无缝集成,通过直观的浏览器界面简化数据转换。
    • 对于应用集成,Oracle Integration 支持 API 驱动的工作流,提供各种预构建适配器,并集成了 AI 驱动的自动化功能,可加快企业集成计划。

    通过这些服务,企业可以构建安全、可扩展、智能的集成流,而无需承担基础设施管理负担。

  • 安全性和治理注意事项

    安全性是 OCI 参考架构的基础要素,它采用深度防御方法来跨混合、多区域和多云环境保护数据。部署应优先使用 OCI FastConnect 、DRG 和 RPC 实现专用连接,以避免接触公共互联网并尽可能降低风险。通过专用子网和隔离的 VCN 进行网络隔离,可以加强访问控制和资源保护。

    通过 OCI Identity and Access Management (IAM)、网络安全组 (NSG) 和防火墙策略进一步增强了安全性,从而允许对所有层进行细粒度访问控制。采用 OCI 的云采用框架和经过精心设计的设计原则可确保合规性、监管和持续运营安全性。

  • 监视、自动化和成本优化

    为了确保卓越运营,组织应在整个部署生命周期中集成持续监视、日志记录和自动化功能。利用 OCI Monitoring 的警报,团队可以主动识别和解决性能或可用性问题。定期的端到端连接验证可确保源系统、集成系统和目标系统之间无缝交互,并受优化的网络配置支持。

    为了提高成本效率,OCI 建议使用 Oracle Cloud Cost Estimator 实现准确的预算预测和容量规划,确保资源使用与业务目标保持一致。部署应该根据经过精心设计的框架进行定期评估,以保持经济高效、具有弹性和可扩展性的架构。自动化报告、警报和治理流程可进一步提高运营敏捷性,同时尽可能减少手动错误。

注意事项

部署此参考体系结构时,请考虑以下几点。

  • 性能

    参考架构旨在跨 OCI 环境提供高性能数据和应用集成。由于邻近和网络遍历减少,同一 VCN 中的部署(尤其是在架构模式 1 下)受益于低延迟、高吞吐量的通信。

    在混合云和多云方案(模式 2 到 4)中,专用连接解决方案(例如 OCI FastConnect )和第三方等效解决方案(例如 AWS Direct ConnectAzure ExpressRoute )可确保持续带宽并减少抖动,非常适合企业级 ETL 和 ELT 工作负载。

    此外,在 Data IntegrationOracle Integration 中使用事件驱动的编排有助于实现响应式实时数据处理。这些服务旨在自动扩展和优化并行数据流,确保即使在高峰数据加载或过程密集型场景中也能保持一致的性能。

  • 安全

    安全性是 OCI 上部署集成工作负载的基础,每个参考架构都集成了 OCI 的分层安全模型。

    通过专用子网和逻辑分段的 VCN 实现网络隔离,而通过 VPN Connect 或通过 OCI FastConnect 的专用连接使用加密隧道强制实施安全通信。利用多区域或多云策略的架构模式可以实施 RPC 和 DRG,从而实现受控的专用流量流,并消除对公共互联网的暴露。

    访问控制使用 IAM 策略、NSG 和防火墙规则集进行微调,确保只有授权的用户和服务才能与关键资源交互。这种全面的安全态势与行业优秀实践以及数据主权和治理合规性要求保持一致。

  • 可用性

    高可用性是所有建议架构模式中的一个关键设计原则。OCI 的全球分布式基础设施支持跨多个容错域、可用性域甚至区域的弹性部署。架构模式 3 和 4 通过 RPC 和 DRG 进行区域间 VCN 通信,从而实现了灾难恢复设置和地理上的冗余架构。

    使用 Oracle IntegrationAutonomous DatabaseData Integration 等托管服务可确保企业级可用性,并内置监视、自动重新启动和容错功能。此外,还可以配置运行状况检查、故障转移路由策略,并利用 OCI MonitoringOCI Logging 主动检测异常并确保服务交付不间断,从而进一步强化部署。

  • 成本

    成本优化是 OCI 参考架构战略不可或缺的一部分。通过利用云原生服务和在同一 VCN(模式 1)中部署工作负载,组织可以显著降低互连和出站成本。

    OCI 的按量计费定价模式,再加上 Oracle Cloud Cost Estimator 和经过精心设计的框架等工具,可实现明智的财务计划和架构优化。我们鼓励客户监视使用模式,自动生成成本报告,并探索预留容量或通用储值(如果适用),从而确保 OCI 集成部署的性能效率和财务问责制。

Deploy

配置、预配、验证和启用这些体系结构。

您可以按照以下步骤在 OCI 上部署这些参考架构。

  1. 使用 Oracle Cloud 身份证明登录 OCI 控制台。
  2. 按照参考体系结构中的说明设置网络基础结构。这通常包括配置组件,例如:
    • VCN
    • 子网(根据需要为公共和专用)
    • DRG
    • 路由表
    • 安全列表
    • 服务网关
    • OCI FastConnect 或 VPN,支持混合云或多云连接
  3. 预配所需的 OCI 服务,包括:
    • 数据集成
    • Oracle 应用程序集成
    • 自治数据库
    • Oracle Analytics Cloud (如果是解决方案的一部分)
  4. 验证来自已部署服务的源系统和目标系统之间的端到端连接。根据您的特定用例或访问要求,微调 VCN 设置、路由规则和安全策略。
  5. 启用 OCI MonitoringOCI Logging 和预警以保持系统运行状况。使用成本估算器进行增长规划,并根据经过精心设计的框架定期审查您的架构,以获得最佳性能和效率。

了解更多

利用以下精心策划的资源增强您对 Oracle Cloud 服务和优秀实践的理解。

查看以下其他资源:

确认

  • 作者GuruDixit Chepuri
  • 贡献者John Sulyok