Oracle Cloud 上为 Informatica IDMC 部署分析平台

Oracle 与 Informatica 之间的合作伙伴关系将数据库和数据管理领域的两大行业领导者汇聚在一起,打造一个全面的企业数据仓库和湖泊生态系统。

此参考体系结构显示 Informatica IDMC Secure Agent 如何在 Oracle Cloud Infrastructure (OCI) 中运行。通过使用 300 多个连接器中的任意一个,然后导入 Oracle Autonomous Database 中以供分析或数据科学流程使用,可以从各种内部部署和云源中导出数据。

如果没有此集成,我们可以从应用数据(例如 Oracle E-Business Suite )中访问具体可行的信息,但我们无法利用其他数据源来丰富这些信息,从而获得宝贵的洞察。在操作系统上运行分析工作负载也是不好的做法。

此参考架构将技术解决方案置于整体业务环境中:



此集成提供了一个分析平台,其中包含交互记录的应用程序数据与管理层中的其他整理数据集合并,并细化为开发层中可操作的信息和洞察。

体系结构

此参考体系结构显示 Informatica IDMC Secure Agent 如何在 Oracle Cloud Infrastructure (OCI) 中运行。数据从内部部署和基于云的企业应用、文件、对象存储和数据库导出,然后导入 Oracle Autonomous Database ,供分析或数据科学流程使用。

下图是引用体系结构的功能表示。



informationatica-oci-oracle.zip

通常,体系结构包括以下逻辑划分。此参考体系结构侧重于数据炼油厂和数据持久性体系结构组件:

  • 摄取、转换

    摄取并细化要在体系结构的每个数据层中使用的数据。

  • 持久、轮廓、创建

    便于访问和导航数据以显示当前和历史业务视图。它既包含原始数据,也包含细粒度和聚合的整理数据。对于关系技术,数据可能以简单的关系、纵向、维或 OLAP 形式进行逻辑或物理结构化。对于非关系数据,此层包含一个或多个数据池,可以是分析流程的输出,也可以是针对特定分析任务优化的数据。

    Oracle Autonomous Data Warehouse 是一种具有自我驱动、自我保护和自我修复功能的数据库服务,针对数据仓库负载进行了优化。您无需配置或管理任何硬件,也不需要安装任何软件。Oracle Cloud Infrastructure 可处理数据库创建以及备份、打补丁、升级和优化数据库。

  • 分析、学习、预测

    抽象使用者数据的逻辑业务视图。此抽象有助于敏捷开发方法、迁移到目标架构以及从多个联合来源提供单一报告层。



informationatica-oci-arch-oracle.zip

在上述体系结构中,计算配置托管 Informatica 云安全代理。Informatica Cloud Secure Agent 是一个轻量级程序,可运行所有任务并在您的组织与 Informatica Intelligent Data Management Cloud 之间的防火墙之间实现安全通信。当安全代理运行任务时,它将连接到 Informatica Cloud 托管工具以访问任务信息。它可直接安全地连接到源和目标,在它们之间传输数据,编排任务流,运行流程并执行任何其他任务要求。

该体系结构具有以下组成部分:

  • 租户

    租户是 Oracle 在您注册 Oracle Cloud Infrastructure 时在 Oracle Cloud 中设置的安全隔离分区。您可以在租户中的 Oracle Cloud 中创建、组织和管理资源。租户与公司或组织同义。通常,公司只有一个租户并反映在该租户中的组织结构。单个租户通常与单个订阅关联,单个订阅通常只有一个租户。

  • 区域

    Oracle Cloud Infrastructure 区域是一个局部地理区域,其中包含一个或多个数据中心,称为可用性域。区域独立于其他区域,而广阔的距离可以分离它们(跨国家甚至大陆)。

  • 可用性域

    可用性域是一个区域中的独立数据中心。每个可用性域中的物理资源都与其他可用性域中的资源隔离,因而具备容错能力。可用性域不共享电源、冷却设备或内部可用性域网络等基础设施。因此,一个可用性域出现故障不会影响区域中的其他可用性域。

  • 区间

    区间是 Oracle Cloud Infrastructure 租户中的跨区域逻辑分区。使用区间在 Oracle Cloud 中组织资源,控制对资源的访问,以及设置使用限额。要控制对给定区间中资源的访问,您需要定义策略来指定谁可以访问资源以及他们可以执行的操作。

  • 虚拟云网络 (VCN) 和子网

    VCN 是可在 Oracle Cloud Infrastructure 区域中设置的可定制的软件定义网络。与传统的数据中心网络一样,VCN 允许您完全控制您的网络环境。VCN 可以具有多个不可重叠的 CIDR 块,您可以在创建 VCN 后更改这些块。您可以将 VCN 分段到子网,这些子网可以限定到区域或可用性域。每个子网包含一个连续的地址范围,这些地址与 VCN 中的其他子网不重叠。您可以在创建子网后更改其大小。子网可以是公共子网,也可以是专用子网。

  • 安全列表

    对于每个子网,您可以创建安全规则来指定必须允许传入和传出子网的通信的源、目标和类型。

  • 路由表

    虚拟路由表包含将流量从子网路由到 VCN 之外的目的地(通常通过网关)的规则。

  • Internet 网关

    互联网网关允许 VCN 中的公共子网与公共互联网之间的通信。

  • 网络地址转换 (network address translation, NAT) 网关

    NAT 网关允许 VCN 中的专用资源访问互联网上的主机,同时不会向传入的互联网连接公开这些资源。

  • 服务网关

    通过服务网关,可以从 VCN 访问其他服务,例如 Oracle Cloud Infrastructure Object Storage。从 VCN 到 Oracle 服务的流量通过 Oracle 网络结构传输,永远不会经过互联网。

  • 堡垒服务

    Oracle Cloud Infrastructure 堡垒提供对没有公共端点且需要严格资源访问控制的资源(例如裸金属和虚拟机、Oracle MySQL 数据库服务自治事务处理 (Autonomous Transaction Processing, ATP)、Oracle Container Engine for Kubernetes (OKE) 以及任何允许安全 Shell 协议 (Secure Shell Protocol, SSH) 访问的其他资源有限且受时间限制的安全访问。使用 Oracle Cloud Infrastructure 堡垒服务,您可以启用对专用主机的访问,而无需部署和维护跳转主机。此外,通过基于身份的权限以及集中、审计和有时限的 SSH 会话,您还可以改善安全状况。Oracle Cloud Infrastructure 堡垒消除了公共 IP 的堡垒访问需求,在提供远程访问时消除了麻烦和潜在的攻击面。

  • 计算

    Oracle Cloud Infrastructure Compute 服务允许您在云中预配和管理计算主机。您可以通过配置启动计算实例,以满足 CPU、内存、网络带宽和存储的资源需求。创建计算实例后,您可以安全地访问它,重新启动它,连接和分离卷,并在不再需要时终止它。

  • 身份和访问管理 (IAM)

    Oracle Cloud Infrastructure Identity and Access Management (IAM) 是 Oracle Cloud Infrastructure (OCI) 和 Oracle Cloud 应用程序的访问控制层。IAM API 和用户界面使您可以管理身份域和身份域中的资源。每个 OCI IAM 身份域代表一个独立的身份和访问管理解决方案或其他用户群体。

  • 策略

    Oracle Cloud Infrastructure Identity and Access Management 策略指定谁可以访问哪些资源以及如何访问哪些资源。在组和区间级别授予了访问权限,这意味着您可以编写策略向组授予特定区间或租户中特定类型的访问权限。

  • 对象存储

    通过对象存储,可以快速访问任意内容类型的大量结构化和非结构化数据,包括数据库备份、分析数据以及丰富的内容(例如图像和视频)。您可以安全可靠地存储数据,然后直接从互联网或云平台检索数据。您可以在不降低性能或服务可靠性的情况下无缝扩展存储。将标准存储用于需要快速、立即和频繁访问的“热”存储。将归档存储用于长时间保留的“冷”存储,很少或很少访问。

  • Autonomous Data Warehouse

    Oracle Autonomous Data Warehouse 是一种具有自我驱动、自我保护和自我修复功能的数据库服务,针对数据仓库负载进行了优化。您无需配置或管理任何硬件,也不需要安装任何软件。Oracle Cloud Infrastructure 可处理数据库创建以及备份、打补丁、升级和优化数据库。

建议

将以下建议用作在 Oracle Cloud 上集成 Informatica IDMC 平台的起点。

您的要求可能不同于此处描述的体系结构。

  • 虚拟云网络 (VCN)

    创建 VCN 时,根据计划连接到 VCN 中的子网的资源数量,确定所需的 CIDR 块数和每个块的大小。使用标准专用 IP 地址空间内的 CIDR 块。

    选择与要设置专用连接的任何其他网络(在 Oracle Cloud Infrastructure、您的内部部署数据中心或其他云提供商)不重叠的 CIDR 块。

    创建 VCN 后,您可以更改、添加和删除其 CIDR 块。

    设计子网时,请考虑流量和安全性要求。将特定层或角色中的所有资源连接到可以用作安全边界的同一子网。

    使用区域子网。

  • 虚拟机和其他建议

    有关虚拟机大小调整和其他建议,请参见“部署”部分中的链接。

  • 安全列表

    使用安全列表定义应用于整个子网的入站和出站规则。

考虑事项

Oracle Cloud 上集成 Informatica IDMC 平台时,请考虑以下实施选项。

Informatica 集成 数据炼油厂 数据持久性平台
推荐 Informatica 智能数据管理云 (IDMC) Oracle Autonomous Data Warehouse (Adw)
其他选项 不适用 Exadata
原理 Informatica 认为 Informatica IDMC 是基于微服务、API 驱动、人工智能驱动的企业集成平台即服务。通过 IDMC,客户可以灵活地使用任何云服务 Informatica 满足其集成和治理需求。 ADW 是一个易于使用的完全自治数据库,可以弹性扩展,提供高速的查询性能,并且不需要进行数据库管理。此外,还可以使用外部表直接访问对象存储中的数据。

部署

Terraform 代码作为 Oracle Cloud Infrastructure Resource Manager 中的示例堆栈提供。您还可以从 GitHub 下载代码,并根据需要进行定制。

  • 使用 Oracle Cloud Infrastructure Resource Manager 中的示例堆栈进行部署:
    1. 转至 部署到 Oracle Cloud

      如果您尚未登录,请输入租户和用户凭据。

    2. 选择要部署堆栈的区域。
    3. 按照屏幕上的提示和说明创建堆栈。
    4. 创建堆栈后,单击 Terraform 操作,然后选择计划
    5. 等待作业完成,然后查看计划。

      要进行任何更改,请返回到“堆栈详细信息”页,单击编辑堆栈,然后进行所需的更改。然后,再次运行计划操作。

    6. 如果不需要进一步更改,请返回到“堆栈详细信息”页,单击 Terraform 操作,然后选择应用
  • 使用 GitHub 中的 Terraform 代码进行部署:
    1. 转到 GitHub
    2. 将系统信息库克隆或下载到本地计算机。
    3. 按照 README 文档中的说明进行操作。

更改日志

此日志列出了重大更改:

确认

  • Authors:Larry Fumagalli,Wei Han
  • 贡献者:Robert Lies