使用 Microsoft Azure Synapse 和 Oracle Autonomous Database 部署多云分析管道

云部署反映了企业的异构 IT 环境。企业希望在迁移到云时优化成本性能并使用同类优秀的服务。多云拆分堆栈数据分析管道通过互连将 Azure Synapse Analytics 直接连接到 Oracle Autonomous Database on Shared Exadata Infrastructure 以获得实时业务洞察,从而满足企业的需求。

此体系结构使用 Azure 集成运行时 (Integrateduntime,IR) 为 Azure Synapse Analytics 创建专用端点。同步流量通过专用 Oracle Interconnect for Azure 路由到 OCI 上 Oracle Autonomous Database on Shared Exadata Infrastructure 的专用端点。

下面是一些好处:
  • 多云数据分析管道提供实时业务洞察
  • Oracle Autonomous Database 为机器学习驱动的托管服务提供较低的总拥有成本
  • Oracle Interconnect for Azure 提供专用、高带宽、低延迟的网络连接
  • Azure 同步分析整合了数据集成、企业数据仓库和大数据分析

体系结构

此体系结构显示了一个典型的多云部署,其中 Oracle E-Business SuiteOracle Cloud Infrastructure (OCI) 上,Azure Synapse AnalyticsMicrosoft Azure 上。

Oracle E-Business Suite 全栈部署在 OCI 上。生产 Oracle E-Business Suite 数据使用 Oracle Cloud Infrastructure GoldenGate 实时复制到 Oracle Autonomous Data WarehouseAzure 同步分析直接通过 Oracle Interconnect for Azure 访问数据仓库。Oracle Interconnect for Azure 在 Azure 和 OCI 之间提供专用、高带宽和低延迟连接。

下图说明了此参考体系结构。

后面是多云数据分析管道 azure.png 的说明
插图多云数据 -analytics-pipeline-azure.png 的说明

多云数据 - 分析 - 管道 - 危险 -oracle.zip

内部部署应用和用户通过 VPN 或专用连接(例如 Oracle Cloud Infrastructure FastConnect 或 Azure ExpressRoute)连接到两个云。

OCI 与 Azure 之间的专用互连使用专用 IP 或端点来路由流量。具有专用端点的 Autonomous Database 部署在与 Azure 互连的 OCI 区域中。Azure Synapse Analytics 是一个平台即服务 (PaaS) 产品,它没有用于 Oracle 数据库的专用端点。但是,Azure 提供自我托管的集成运行时 (Integrated Runtime,IR),您可以在虚拟机 (VM) 上部署并在 Oracle Autonomous Database 和 Azure Synapse 之间进行桥接。因为“同步”工作区的 Azure 托管虚拟网络 (VNet) 无法直接连接到 Oracle Database for Azure VNet。部署 IR 需要自管理的 VNet。

自托管的集成运行时主机对网络带宽的限制可能不足以在所需窗口中将大量数据从自治数据库传输到 Azure Synapse Analytics 。我们建议部署多个 IR 以实现高可用性。

该体系结构在 OCI 上具有以下组件:

  • 区域

    Oracle Cloud Infrastructure 区域是一个局部地理区域,包含一个或多个称为可用性域的数据中心。区域独立于其他区域,广阔的距离可以将其分开(跨国家甚至大陆)。

  • 可用性域

    可用性域是区域中的独立独立数据中心。每个可用性域中的物理资源与提供容错能力的其他可用性域中的资源隔离。可用性域不共享基础设施(例如电源或冷却设备)或内部可用性域网络。因此,一个可用性域出现故障不会影响区域中的其他可用性域。

  • 虚拟云网络 (VCN) 和子网

    VCN 是您在 Oracle Cloud Infrastructure 区域中设置的可定制软件定义网络。与传统数据中心网络一样,VCN 允许您完全控制您的网络环境。一个 VCN 可以具有多个不重叠的 CIDR 块,您可以在创建 VCN 后对其进行更改。您可以将 VCN 细分为多个子网,这些子网可以限定到区域或可用性域。每个子网包含一系列不与 VCN 中的其他子网重叠的连续地址。创建后可以更改子网的大小。子网可以是公共子网,也可以是专用子网。

  • 堡垒服务

    Oracle Cloud Infrastructure 堡垒提供对没有公共端点且需要严格资源访问控制(例如裸金属和虚拟机、Oracle MySQL Database Service自治事务处理 (Autonomous Transaction Processing,ATP)、Oracle Container Engine for Kubernetes (OKE) 以及允许安全 Shell 协议 (Secure Shell Protocol,SSH) 访问的任何其他资源的受限且有时限的安全访问。通过 Oracle Cloud Infrastructure 堡垒服务,您可以启用对专用主机的访问,而无需部署和维护跳转主机。此外,您还可以使用基于身份的权限和集中、审计和有时限的 SSH 会话来提高安全状况。Oracle Cloud Infrastructure 堡垒消除了对堡垒访问的公共 IP 的需求,在提供远程访问时消除了散列表和潜在攻击面。

  • 负载平衡器

    Oracle Cloud Infrastructure Load Balancing 服务提供从单个入口点到后端多个服务器的自动流量分配。

  • Oracle E-Business Suite

    Oracle E-Business Suite 是一套集成的业务应用,可帮助组织做出更明智的决策、降低成本和提高性能。产品为客户关系管理、服务管理、财务管理、人力资本管理、项目组合管理、高级采购、供应链管理、价值链规划和价值链执行提供了解决方案。

  • Oracle E-Business Suite 云管理器

    Oracle E-Business Suite Cloud Manager 是一个基于 Web 的应用程序,可驱动 Oracle Cloud Infrastructure 上 Oracle E-Business Suite 的所有主要自动化流,包括预配新环境、在这些环境中执行生命周期管理活动以及从内部部署恢复环境。

    Oracle E-Business Suite Cloud Manager 旨在简化 Oracle E-Business Suite 数据库管理员 (DBA) 每天执行的各种任务,以减少执行这些任务所需的工作量。

  • Oracle Cloud Infrastructure GoldenGate

    Oracle Cloud Infrastructure GoldenGate 是一项完全托管的服务,它允许从驻留在内部部署或任何云中的源提取数据,利用 GoldenGate CDC 技术实时和大规模地捕获数据并交付给 Oracle Autonomous Data Warehouse ,从而使相关信息尽快提供给使用者。

  • Autonomous Database

    Oracle Autonomous Database 是一个完全托管的预配置数据库环境,可用于事务处理和数据仓库负载。您不需要配置或管理任何硬件,或安装任何软件。Oracle Cloud Infrastructure 可处理数据库创建以及备份、打补丁、升级和调优数据库。

  • 数据安全

    Oracle Data Safe 是一个完全集成的区域云服务,它提供了一整套功能来保护 Oracle 数据库中的敏感数据和受管制数据。数据安全还支持内部部署数据库、Oracle Exadata Database Service on Cloud@Customer 和多云部署。所有 Oracle Database 客户都可以使用 Oracle Data Safe 评估配置和用户风险、监视和审计用户活动以及发现、分类和屏蔽敏感数据,从而降低数据泄露风险并简化合规性。

  • 对象存储

    通过对象存储,可以快速访问任意内容类型的大量结构化和非结构化数据,包括数据库备份、分析数据以及丰富的内容(例如图像和视频)。您可以安全可靠地存储数据,然后直接从互联网或云平台检索数据。您可以无缝扩展存储,而不会降低性能或服务可靠性。将标准存储用于“热”存储,您需要快速、立即和频繁地访问这些存储。将归档存储用于保留很长时间、很少或很少访问的“冷”存储。

  • 审计

    Oracle Cloud Infrastructure Audit 服务自动将所有受支持的 Oracle Cloud Infrastructure 公共应用程序编程接口 (API) 端点的调用记录为日志事件。目前,所有服务都支持 Oracle Cloud Infrastructure Audit 日志记录。

  • 登录
    日志记录是一项高度可扩展且完全托管的服务,通过它可以从云中的资源访问以下类型的日志:
    • 审计日志:与审计服务发出的事件相关的日志。
    • 服务日志:单个服务(如 API 网关、事件、函数、负载平衡、对象存储和 VCN 流日志)发出的日志。
    • 定制日志:包含来自定制应用、其他云提供商或内部部署环境的诊断信息的日志。
  • 策略

    Oracle Cloud Infrastructure Identity and Access Management 策略指定谁可以访问哪些资源以及如何访问。在组和区间级别授予访问权限,这意味着您可以编写策略来向组授予特定区间或租户中特定类型的访问权限。

  • 身份和访问管理 (IAM)

    Oracle Cloud Infrastructure Identity and Access Management (IAM) 是 Oracle Cloud Infrastructure (OCI) 和 Oracle Cloud Applications 的访问控制层。通过 IAM API 和用户界面,您可以管理身份域和身份域中的资源。每个 OCI IAM 身份域代表一个独立的身份和访问管理解决方案或不同的用户群体。

  • 动态路由网关 (DRG)

    DRG 是虚拟路由器,用于为同一区域中的 VCN 之间、VCN 与区域外的网络(例如另一个 Oracle Cloud Infrastructure 区域中的 VCN、内部部署网络或其他云提供商中的网络)的专用网络流量提供路径。

  • Internet 网关

    互联网网关允许 VCN 中的公共子网与公共互联网之间的通信。

  • 服务网关

    通过服务网关,可以从 VCN 访问其他服务,例如 Oracle Cloud Infrastructure Object Storage 。从 VCN 到 Oracle 服务的流量会通过 Oracle 网络网状结构网络传输,并且从不通过互联网传输。

  • Web Application Firewall (WAF)

    Oracle Cloud Infrastructure Web Application Firewall (WAF) 是符合支付卡行业 (PCI) 标准的、基于区域且边缘强制执行服务,附加到实施点,例如负载平衡器或 Web 应用程序域名。WAF 可保护应用免受恶意和不需要的互联网流量干扰。WAF 可以保护任何面向互联网的端点,并在客户应用之间实现一致的规则实施。

  • 路由表

    虚拟路由表包含将流量从子网路由到 VCN 外部的目标(通常通过网关)的规则。

  • 网络安全组 (NSG)

    网络安全组 (NSG) 用作云资源的虚拟防火墙。使用 Oracle Cloud Infrastructure 的零信任安全模型,所有流量将被拒绝,您可以控制 VCN 中的网络流量。NSG 由一组入站和出站安全规则组成,这些规则仅应用于单个 VCN 中一组指定的 VNIC。

  • 安全列表

    对于每个子网,您可以创建安全规则来指定必须允许进出子网的流量源、目标和类型。

该体系结构在 Azure 上具有以下组件:

  • Azure ExpressRoute

    Microsoft Azure ExpressRoute 允许您在 VNet 和其他网络(例如您的内部部署网络或另一云提供商中的网络)之间设置专用连接。ExpressRoute 是比典型互联网连接更可靠、更快的替代方案,因为通过 ExpressRoute 的流量不会通过公共互联网。

  • Microsoft Azure VNet

    Microsoft Azure 虚拟网络 (VNet) 是 Azure 中专用网络的基础构建块。VNet 支持多种类型的 Azure 资源,例如 Azure 虚拟机 (Virtual Machine,VM),可安全地相互通信、互联网和内部部署网络。

  • 集成运行时

    集成运行时提供跨不同网络的数据集成功能以及可公开访问的端点。

    Microsoft Azure 服务(例如 Azure Synapse Analytics )使用集成运行时进行数据集成。

  • Azure 同步分析

    Azure 同步分析是一项 Microsoft 服务,可为数据仓库和大数据系统提供分析。

  • Azure Active Directory

    Azure Active Directory 是一种 Microsoft 服务,用于存储网络中对象的信息,并使管理员和用户可以轻松查找和使用这些信息(例如帐户、特权、安全策略、DNS)。Azure Active Directory 使用结构化数据存储作为目录信息的逻辑分层组织的基础。

建议

使用以下建议作为起点。 您的要求可能不同于此处所述的体系结构。
  • 预配
    • 在 Azure 上预配具有较高网络带宽的更大的虚拟机 (VM) 以托管集成运行时 (Integrated Runtime,IR) 并行线程,以便在 Oracle Autonomous Data WarehouseAzure Synapse Analytics 之间进行数据传输。
    • Microsoft Azure 上为自托管的集成运行时预配多个 VM,以避免单点故障,IR 主机的组合带宽为 Oracle Autonomous Data WarehouseAzure Synapse Analytics 之间的数据传输提供所需的吞吐量。
    • 在不同的 Azure 可用性区域中预配和部署 Azure IR,以实现高可用性。
    • 选择 Oracle Cloud Infrastructure FastConnectAzure ExpressRoute 虚拟线路的合适大小,以支持负载所需的带宽。
    • 使用连接到 OCI 动态路由网关 (DRG) 和 OCI FastConnect 的 Oracle Cloud Infrastructure (OCI) 虚拟云网络 (VCN)/子网预配 Oracle Autonomous Data Warehouse
    • 在 OCI 上配置路由和安全/网络安全组 (NSG),以允许 Azure Synapse Analytics 网络流量到 Oracle Autonomous Data Warehouse
    • 对于 Oracle Autonomous Database on Shared Exadata Infrastructure 专用端点,请指定 VCN 配置以仅允许来自指定 VCN 的流量。这将阻止从所有公共 IP 或 VCN 访问数据库。
    • VCN

      创建 VCN 时,根据计划附加到 VCN 中的子网中的资源数,确定所需的 CIDR 块数和每个块的大小。使用标准专用 IP 地址空间内的 CIDR 块。

      选择与您打算设置专用连接的任何其他网络(在 Oracle Cloud Infrastructure 、您的内部部署数据中心或其他云提供商中)不重叠的 CIDR 块。

      创建 VCN 后,您可以更改、添加和删除其 CIDR 块。

      设计子网时,请考虑您的流量流和安全要求。将特定层或角色中的所有资源连接到可充当安全边界的同一子网。

考虑事项

部署此体系结构时,请注意以下事项:

  • 打包的应用程序

    此体系结构使用 Oracle E-Business Suite 作为示例。它适用于其他软件包应用程序,例如 PeopleSoft、JD Edwards EnterpriseOne 、Siebel 或基于 Oracle Database 构建的任何第三方应用程序。

  • Oracle Autonomous Data Warehouse
    • 适合调整 Autonomous Data Warehouse 数据库大小,具有最适合工作负载的所需计算和存储。
    • Autonomous Data Warehouse 数据库启用自动缩放,以支持任何其他工作负载。
    • 启用自动备份并选择支持您的业务的适当保留期。
    • 启用 Oracle Autonomous Data Guard 以允许备用(对等)数据库根据您的业务需求提供数据保护灾难恢复。
  • 数据复制
    • 如果 Oracle E-Business Suite 具有灾难恢复 (Disaster Recovery,DR) 实例,则可以将数据从 DR 实例复制到 Autonomous Data Warehouse ,以从生产 Oracle E-Business Suite 数据库中卸载工作量。
    • 作为 Oracle GoldenGate 的替代方案,您可以使用 Oracle Cloud Infrastructure Data Integration 将数据从 Oracle E-Business Suite 数据库复制到 Autonomous Data Warehouse

确认

  • Authors: Wei Han, Niranjan Mohapatra, Ejaz Akram