了解业务部门分析的数据集市自动加载

创建数据集市来存储和处理从隔离的应用程序或系统中提取的平面文件数据,使业务部门更容易访问和使用实时数据和高级分析来加速生成可操作的洞察。

使用 Oracle FunctionsOracle Cloud Infrastructure Events 自动加载 Oracle Autonomous JSON Database 数据集市可使流程高效且可重复。

用于业务部门分析的数据集市自动加载的体系结构

使用相对简单的建筑模式,您可以将多个平面文件源中的数据加载和优化到集中数据库位置,以便业务部门团队可以独立于其他团队对特定数据集执行规划和预算分析。

从数据库或应用程序导出的数据以逗号分隔值 (CSV) 形式存储在平面文件中,并上载到对象存储中的存储桶。事件自动化检测新对象并启动关联的函数来处理文件,使用 REST 服务将数据加载到 Oracle Autonomous JSON Database,然后将文件移动到另一个存储桶以进行跟踪。日志记录服务深入分析了工作流执行,数据库使数据可用于分析。

该体系结构包含以下常规组件:
  • Oracle Cloud Infrastructure:使用 Oracle Cloud Infrastructure 中预配的服务转换和仓库数据。

  • Oracle Functions:Oracle Functions 是一个完全托管、高度可扩展的按需功能即服务 (FaaS) 平台,构建在企业级 Oracle Cloud Infrastructure 上,并由 Fn Project 开源引擎提供支持。

    使用 Oracle Functions,您可以部署代码、直接调用代码或触发代码以响应事件,并且仅对执行期间消耗的资源开单。

    Oracle Functions 是容器本机。每个函数都是一个完全自包含的 Docker 映像,存储在 OCIR Docker 注册表中,并在调用函数时提取、部署和调用。

  • Oracle Event Services(Oracle 事件服务):Oracle Cloud Infrastructure Events 是一个完全托管服务,它消除了手动跟踪云资源中的更改的复杂性,并使用函数、通知和流式传输近乎实时地响应这些更改。

  • Oracle Autonomous JSON DatabaseOracle Autonomous JSON Database 是一种云文档数据库服务,使开发以 JSON 为中心的应用程序变得非常简单。

  • Oracle Analytics Desktop:此免费提供的分析软件提供可视化、假设分析和桌面协作的数据叙述。



开始之前

在开始之前,请考虑以下安全性和连接选项。

数据安全

为了确保数据在系统之间移动时安全,体系结构使用以下策略。

  • 从客户数据中心到 Oracle Cloud 的数据传输使用 VPN 或 Oracle Cloud Infrastructure FastConnect

  • SQL 访问使用用户名和口令进行验证。

  • Oracle Autonomous JSON Database 可以使用网络访问控制列表 (ACL) 控制访问。使用访问控制列表,特定数据库仅接受访问控制列表中指定的地址的连接并拒绝所有其他客户机连接。默认情况下,如果未指定网络访问控制列表,则可以从任何 IP 地址访问数据库。

数据库连接

连接到 Oracle Autonomous JSON Database 的方法有三种。

  1. 大多数组织都使用防火墙保护网络上的网络和设备。防火墙使用允许使用某些端口和访问某些计算机(更具体地说,IP 地址或主机名)的规则控制传入和传出网络通信。防火墙将内部网络和公共互联网分开。

    可以使用公共 Internet 访问 Oracle Autonomous JSON Database。要从防火墙后面访问 Oracle Autonomous JSON Database,在连接到连接中的服务器时,防火墙必须允许使用数据库连接中指定的端口。Oracle Autonomous JSON Database 的默认端口号为 1522。

  2. Oracle Cloud Infrastructure FastConnect 为您使用 FastConnect Public Peering 将内部部署网络连接到 Oracle Autonomous JSON Database 提供了一种简单的方法。Oracle Cloud Infrastructure FastConnect 提供的带宽选项比基于 Internet 的连接更高,网络体验更可靠、更一致。如果没有 Oracle Cloud Infrastructure FastConnect,则目标用于公共 IP 地址的通信将通过 Internet 路由。

  3. Oracle Autonomous JSON Database 支持使用以下两种方法之一从虚拟云网络 (VCN) 中的 Oracle Cloud Infrastructure 资源进行专用访问:

    • 专用端点

    • 服务网关

    使用任一专用访问选项时,流量将停留在 Oracle Cloud Infrastructure 网络中,不会遍历 Internet。但是,如果使用服务网关,则对该服务的请求将使用该服务的公共端点。

    如果不希望使用公共端点,则可以在 VCN 中使用专用端点。专用端点在 VCN 的子网中表示为专用 IP 地址。专用端点仅适用于共享 Exadata 基础结构上的 Oracle Autonomous JSON Database

    服务网关和专用端点都允许从专用子网中的专用 IP 地址连接到 Oracle Autonomous JSON Database,而无需 VCN 中的 Internet 网关。配置服务网关或专用端点后,连接到 Oracle Autonomous JSON Database 不需要执行特殊步骤。

关于业务部门分析中自动加载数据集市所需的服务

您应该熟悉设置和使用推荐的服务和技术。要自动为业务部门分析加载数据集市,必须在 Oracle Cloud Infrastructure 上运行以下服务:
  • Oracle Autonomous JSON Database

  • Oracle Cloud Infrastructure Object Storage

  • Oracle Functions

  • Oracle Cloud Infrastructure Events

请参阅了解如何获取适用于 Oracle 解决方案的 Oracle Cloud 服务以获取所需的云服务。

此外,它还使用以下技术:

  • Oracle Functions:函数本身是在 Python 中编写的。

    要在地或 Oracle Cloud Infrastructure 中的计算实例上开发函数,您还需要从 GitHub 安装 Fn Project 开发平台。

  • Docker:函数作为 Docker 容器在 Oracle Cloud Infrastructure 上运行。本文档假定您在安装了 Docker 17.10.0 或更高版本的本地 Linux 系统上开发了函数。有关在 Linux 上安装 Docker 的信息,请参阅 Oracle Container Runtime for Docker User 's Guide

  • Oracle SQL Developer Web:Oracle SQL Developer Web 是基于浏览器的 Oracle SQL Developer 界面,提供了桌面版本中提供的一部分功能。Oracle SQL Developer Web 为 Oracle Public Cloud 中的 Oracle Database 提供了开发环境和数据库管理界面。

    您还可以通过接受许可协议并单击与操作系统关联的下载链接,从以下位置下载和安装完整的 Oracle SQL Developer 客户机:

    Oracle SQL Developer 下载

  • Oracle Analytics Desktop:通过简单的桌面下载提供强大的个人数据浏览和可视化功能。Oracle Analytics Desktop 是从多个源快速浏览示例数据或快速分析和调查您自己的本地数据集的完美工具。

    通过单击以下位置的下载链接下载并安装 Oracle Analytics Desktop

    Oracle Analytics 桌面下载

关于角色和权限

要集成加载和分析数据所需的服务,您需要某些用户角色和权限。后面的部分中提供了创建角色和权限的步骤。