使用 Oracle 现代数据平台执行多云数据分析

组织可以构建企业数据仓库,将实时数据和归档数据存储在一个位置。

数据是由于业务流程已完成、正在执行的操作或正在销售的产品而生成。由于异构数据源,组织希望采用简化方法来构建集中式数据存储,这是满足所有数据分析需求的一站式平台。由于多种来源,例如用户、制造商、分销商、合作伙伴和第三方供应商报告的数据,以及日常零售订单和客户反馈,目标是创建一个按业务职能提取和分析的集中企业数据仓库存储库,以建立端到端的业务可见性,并使用数据驱动的信息做出响应。

企业希望利用信息并制定数据驱动的决策,从而更高效地开展业务。This multicloud data analytics solution enables organizations to effectively run analytics using a central data warehouse on Oracle modern data platform with integrations to multiple data sources, such as Oracle Fusion Cloud Enterprise Resource Planning, on-premises Microsoft Azure SQL Server (SQL Server), Salesforce, eBay, and Google Analytics.

优点包括:

  • 统一的数据分析管道

    简化对云和内部部署安装中的所有数据的访问,包括存储在数据库和对象存储中的数据。

  • 易于集成

    集成来自不同系统的数据:联合数据、编排数据、同步数据以及混搭数据。可以将任何数据、任何格式、任何 API、任何速度、任何应用或任何设备集成。这一切都在支持安全协作、遵守安全规则和不编写任何代码。

  • 高性能分析

    使用查询工具快速访问数据,从而快速做出决策并改善客户服务。

  • 高级分析功能

    支持高级分析技术,例如数据和文本挖掘、机器学习、预测、情感分析、网络和集群分析、图形分析、复杂事件处理和神经网络。

  • 单一平台

    基于云的单一平台,可增强团队协作、改善执行和上市时间并加速创新。

  • 成本、安全性和可用性

    组织希望减少资本支出 (CapEx) 和运营支出 (OpEx) 成本,但也希望将成本与性能很好地结合起来,同时具备安全性和可用性。

体系结构

此参考体系结构显示了一个企业多云数据分析管道,该管道接受并格式化来自不同来源的数据,将数据移至 Oracle Cloud Infrastructure (OCI) 上的企业数据仓库,并使用 Oracle Analytics Cloud (OAC) 进行分析。

这些数据使用 Oracle Integration 和 OCI 集成服务从各种来源集成。显示的数据源包括 SalesforceeBay 、SQL Server、Oracle Fusion Cloud ServiceGoogle Analytics ,但该解决方案适用于接受 API 调用或数据库连接的任何数据源。OCI 集成服务可连接任何应用和数据源,从而自动执行端到端流程并集中管理。这类广泛的集成,具有预构建的适配器和低代码定制功能,可简化对云的迁移,同时简化多云操作。

Oracle Integration (OIC) 可连接任何应用程序、数据和服务,包括 SalesforceeBayOracle Fusion Cloud Service 以及用于企业对企业 (B2B) 通信的合作伙伴生态系统。这些数据使用 Oracle Integration 服务从变体源集成。从暂存层中的所有不同源获取数据后,数据就会使用数据集成进行清理、标准化、合并和转换。ADW 存储暂存层、参考数据和分析层。OAC 正被用作分析工具来生成仪表盘、报表、KPI,并推动整个组织的自助分析。OAC 中的预构建连接器可用于复制和合并 Google Analytics 中的数据。



oci-multicloud-data-analytics-diagram-oracle.zip

数据源集成:

  • Google Analytics 集成

    用户使用 OAC 内置 Google Analytics 数据连接器创建与 Google DriveGoogle Analytics 的连接。该连接需要使用 Google 授权的重定向 URI 以及客户端密钥和 Google Analytics 视图名称。获得授权后,您可以在 OAC 中读取转换和创建仪表盘。

  • Salesforce 集成

    使用 Salesforce 适配器,用户可以创建与 Salesforce.com 的简化双向集成。通过它,可以发现业务对象和操作,并可以轻松地映射到和从 Salesforce.com 业务对象进行映射。OIC 构建一个工作流,该工作流使用 Salesforce 适配器创建连接,然后将数据拉入 ADW。

  • Microsoft Azure SQL Server 集成

    使用数据集成实现与 ADW 的 SQL Server 数据集成。它创建从 SQL Server 到 ADW 的数据管道,指定源数据资产,然后配置转换以清理数据并在将数据加载到目标数据资产时处理数据。要执行序列中的特定进程集,请创建一个管道。设计管道与构建数据流类似,您可以在其中使用运算符添加所需的任务和活动。构建管道后,您可以创建使用管道的管道任务。创建任务后,可以将其发布到默认应用程序或您自己的应用程序。应用程序运行任务,然后监视其进度和状态。您还可以为自动运行调度任务。

  • 手动数据馈送(平面文件)

    Oracle Cloud Infrastructure Object Storage 用作业务文件存储,业务和运营用户在其中上载手动数据馈送文件,例如目标、预测、每月客户标记和暂定员工协调度量。数据文件在 Oracle Cloud Infrastructure Object Storage 存储桶中可用后,系统会自动选取这些文件,以便使用数据集成进行处理。

  • Oracle Fusion Service 集成

    OCI 数据集成使用 Oracle Business Intelligence Cloud Connector (BICC) 启用与 Fusion Applications 的连接作为数据源。您可以使用 Fusion Applications 数据资产作为来源从 Fusion Applications 中提取数据,例如 ERP 或 HCM 云。OCI 数据集成将提取的数据加载到 BICC 中配置的预定义外部存储位置。我们将数据从 Fusion Applications 加载到 Parquet 格式的 Oracle Cloud Infrastructure Object Storage ,然后加载到 ADW 的暂存层。

该体系结构具有以下组成部分:

  • 租户

    租户是 Oracle 在您注册 Oracle Cloud Infrastructure 时在 Oracle Cloud 中设置的安全隔离分区。您可以在租户中的 Oracle Cloud 中创建、组织和管理资源。租户与公司或组织同义。通常,公司只有一个租户并反映在该租户中的组织结构。单个租户通常与单个订阅关联,单个订阅通常只有一个租户。

  • 区域

    Oracle Cloud Infrastructure 区域是一个局部地理区域,包含一个或多个称为可用性域的数据中心。区域独立于其他区域,广阔的距离可以将其分开(跨国家甚至大陆)。

  • 区间

    区间是 Oracle Cloud Infrastructure 租户中的跨区域逻辑分区。使用区间在 Oracle Cloud 中组织资源、控制对资源的访问以及设置使用限额。要控制对给定区间中资源的访问,您可以定义策略来指定哪些人可以访问资源以及他们可以执行的操作。

  • Autonomous Database

    Oracle Autonomous Database 是一个完全托管的预配置数据库环境,可用于事务处理和数据仓库负载。您不需要配置或管理任何硬件,或安装任何软件。Oracle Cloud Infrastructure 可处理数据库创建以及备份、打补丁、升级和调优数据库。

  • 分析

    Oracle Analytics Cloud 是一个可扩展且安全的公有云服务,它为业务分析人员提供了现代化的 AI 驱动的自助分析功能,可用于数据准备、可视化、企业报告、增强分析以及自然语言处理和生成。借助 Oracle Analytics Cloud ,您还可以获得灵活的服务管理功能,包括快速设置、轻松扩展和打补丁以及自动化生命周期管理。

  • 对象存储

    通过对象存储,可以快速访问任意内容类型的大量结构化和非结构化数据,包括数据库备份、分析数据以及丰富的内容(例如图像和视频)。您可以安全可靠地存储数据,然后直接从互联网或云平台检索数据。您可以无缝扩展存储,而不会降低性能或服务可靠性。将标准存储用于“热”存储,您需要快速、立即和频繁地访问这些存储。将归档存储用于保留很长时间、很少或很少访问的“冷”存储。

  • 可用性域

    可用性域是区域中的独立独立数据中心。每个可用性域中的物理资源与提供容错能力的其他可用性域中的资源隔离。可用性域不共享基础设施(例如电源或冷却设备)或内部可用性域网络。因此,一个可用性域出现故障不会影响区域中的其他可用性域。

  • 虚拟云网络 (VCN) 和子网

    VCN 是您在 Oracle Cloud Infrastructure 区域中设置的可定制软件定义网络。与传统数据中心网络一样,VCN 允许您完全控制您的网络环境。一个 VCN 可以具有多个不重叠的 CIDR 块,您可以在创建 VCN 后对其进行更改。您可以将 VCN 细分为多个子网,这些子网可以限定到区域或可用性域。每个子网包含一系列不与 VCN 中的其他子网重叠的连续地址。创建后可以更改子网的大小。子网可以是公共子网,也可以是专用子网。

  • OCI 集成服务

    OCI 集成服务可连接任何应用和数据源,从而自动执行端到端流程并集中管理。这类广泛的集成,具有预构建的适配器和低代码定制功能,可简化对云的迁移,同时简化多云操作。

  • OCI 应用程序集成

    OCI 应用集成提供与 SaaS 和内部部署应用的预构建连接、可立即运行的流程自动化模板,以及用于 Web 和移动应用开发的低代码可视化构建器。通过它,您可以原生访问 Oracle Cloud ERP、HCM 和 CX 中的活动。打通应用特定的分析孤岛,简化从招聘到接收、从招聘到付款、从销售线索到发票以及其他关键流程,为您的 IT 和业务负责人提供端到端的可见性。

  • 数据集成

    Oracle Cloud Infrastructure Data Integration 是完全托管的无服务器云原生服务,用于将各种数据源中的数据提取、加载、转换、清理和重新配置为目标 Oracle Cloud Infrastructure 服务,例如 Autonomous Data WarehouseOracle Cloud Infrastructure Object Storage 。ETL(提取转换负载)利用 Spark 上的完全托管的横向扩展处理,ELT(提取负载转换)利用 Autonomous Data Warehouse 的完整 SQL 下推功能来最大程度地减少数据移动并缩短新摄取数据的价值实现时间。用户使用直观的无代码用户界面设计数据集成流程,优化集成流以生成高效的引擎和编排,自动分配和扩展执行环境。Oracle Cloud Infrastructure Data Integration 提供交互式研究和数据准备,并通过定义规则来处理模式更改来帮助数据工程师防范模式偏差。

确认

Authors: Parag Pardhi

Contributors: Wei Han, Daryl Eicher, John Sulyok