数据平台 - 数据联合
但是，如何将数据湖仓一体中的数据与异构数据源上或部署在其他云或内部部署系统上的数据相关联，而无需复制数据？
答案是利用数据联合方法，将数据湖仓一体数据与来自第三方云存储的联合数据以及来自云和内部部署数据库的数据相结合，而不管其物理位置如何。
此参考架构将技术解决方案置于整体业务环境中：
数据联合是一种技术，通过使用联合查询引擎将单个查询转换为发送到源数据存储的子查询，可以集成、统一和管理存储在不同数据存储中的数据。然后合并结果并将其呈现给用户或应用程序，如下所示。
data-platform-federation-overview-oracle.zip
通常，数据联合与数据虚拟化相交。数据虚拟化可创建来自多个来源的数据的统一视图，而无需复制数据，并实时为新数据提供服务。
就此参考体系结构而言，使用术语“数据联盟”，即使下文所述的功能同时涉及联盟和虚拟化。
使用数据联合可将数据连接到联合服务引擎而不是多个数据源，从而简化分析和数据科学引擎等消费者的数据访问，从而提高联合数据的可重用性、治理性和安全性。
分析引擎传统上提供数据联合功能，可用作对联合服务引擎的补充。通常，为引擎提供联合数据服务的功能可以提高性能并解决可扩展性，从而隐式使这些分析引擎受益。
本文档介绍了 Oracle Cloud Infrastructure 中用于数据联合的一个潜在解决方案，但对于不同的场景，可以使用不同的技术。
功能体系结构
此架构使用数据湖仓一体来存储和使用数据，而不管其配置或形式如何。此架构的核心是在 Oracle Autonomous Data Warehouse 上部署的数据仓库。
此外，该架构还使用统一查询引擎将来自所选源的精选数据与湖仓一体中的数据联合起来。联合数据是通过使用外部表、数据库链接和数据共享等机制获取的，具体取决于数据存储。
将湖仓一体数据和现有数据存储相结合的联盟架构允许您：
- 联接所有数据，而不管数据存储在何处
- 支持多云和混合云数据平台，联合存储在其他云和内部部署中的数据
- 简化从不同引擎获取和查询数据的数据使用者体验
- 提高安全性，因为可以在联合查询引擎中强制实施单个数据安全模型
- 使用数据目录来统一数据湖仓一体中存储并与查询引擎联合的实体的元数据，从而增强监管
- 利用数据实体化和自治数据库缓存提高性能
- 使用分析仪表盘、SQL 接口、API 端点和数据共享，向不同的使用者公开统一的数据
- 利用多模型数据库作为联合查询引擎
下图说明了功能体系结构。为了简单起见，并非湖仓一体的所有功能都已显示出来。
data-platform-federation-functional-oracle.zip
请注意，此架构描述了联合数据平台，该平台主要使用批处理，但可以使用数据湖仓一体实时功能来处理流数据。
流数据处理通常需要在数据管道中使用上下文数据。上下文数据可能存储在不同的数据源上，但为数据管道提供所有上下文数据的数据联合引擎可以简化这些管道。
体系结构侧重于以下逻辑分区：
摄取、转换
提取并细化数据，以便在体系结构中的每个数据层中使用。
从云存储、数据库和数据共享中按需使用联合数据。未在此层转换数据，因为它已在源数据存储上整理。
Persist、Curate、Create（持久保存、整理、创建）
便于访问和导航数据以显示当前业务视图。对于关系技术，数据可以以简单的关系、纵向、维或 OLAP 形式进行逻辑或物理结构。对于非关系数据，此层包含一个或多个数据池，这些数据池来自分析流程的输出或针对特定分析任务优化的数据。
此层包含联合服务引擎，可以统一为驻留在数据仓库、数据湖和联合数据源中的数据提供服务。它支持按需查询联合数据并实现联合数据，从而提高查询性能。
联合引擎通过使用 SQL、REST API 或数据共享来提供数据服务，从而提高互操作性并简化连接，因为数据使用者可以连接到单个服务引擎而不是连接到多个数据存储。
分析、学习、预测
抽象面向使用者的数据的逻辑业务视图。此抽象有助于敏捷开发方法、迁移到目标体系结构以及从多个联合源提供单个报告层。
该层利用服务引擎获取联合数据，该数据可以使用该层上可用的数据连接器进一步增强，并通过可视化或数据科学服务提供。
使用联合查询引擎可以将数据使用者访问从底层数据存储中抽象出来，从而提高工作效率，因为数据是联合一次并由许多数据使用者使用。这也使系统更具互操作性，因为任何可以与 SQL、REST API 或数据共享互操作的用户都可以使用并加入湖仓一体和联合数据。
该体系结构具有以下功能组件：
批量摄取
批量摄取对于无法实时摄取的数据或难以适应实时摄取的数据来说非常有用。这对于将数据转换为可靠和可靠的信息也很重要，这些信息可以被策划和保存以供经常使用。
批量摄取是对数据联盟引擎的补充，因为它可以摄取联盟引擎无法访问的数据，或者需要转换数据以符合湖仓一体数据模型的特定用例。
您可以同时或独立使用以下服务，以实现高度灵活、高效的数据集成和转换工作流。
-
Oracle Cloud Infrastructure Data Integration 是一项全托管、无服务器、云原生服务，可将各种数据源中的数据提取、加载、转换、清理和重塑为目标 Oracle Cloud Infrastructure 服务，例如 Autonomous Data Warehouse 和 Oracle Cloud Infrastructure Object Storage 。ETL（提取转换加载）利用 Spark 上的全托管横向扩展处理，ELT（提取加载转换）利用 Autonomous Data Warehouse 的完整 SQL 下推功能，尽可能减少数据移动，缩短新摄取的数据价值实现时间。用户使用直观、无代码的用户界面设计数据集成流程，该界面可优化集成流以生成高效的引擎和编排，并自动分配和扩展执行环境。Oracle Cloud Infrastructure Data Integration 提供交互式研究和数据准备功能，通过定义规则来处理模式更改，帮助数据工程师防范模式偏差。
-
Oracle Data Integrator 提供全面的数据集成，从大批量、高性能的批量加载到事件驱动的涓滴式集成流程到支持 SOA 的数据服务。声明式设计方法可确保更快速、更简单的开发和维护，并提供提取负载转换 (ELT) 的独特方法，有助于确保数据转换和验证流程达到尽可能高的性能水平。Oracle 数据转换使用 Web 界面简化 ELT 的配置和执行，并使用声明式设计方法帮助用户构建和调度数据及工作流。
-
Oracle 数据转换为选定的受支持技术启用 ELT，通过使用允许用户以声明方式构建和调度数据流和工作流的 Web 用户界面，简化了数据管道的配置和执行。Oracle 数据转换作为 Oracle Autonomous Data Warehouse 中的完全托管环境提供，支持您将多个数据源的数据加载并转换为 ADW 实例。
根据使用场景，这些组件可以单独或一起使用，以实现高度灵活和高性能的数据集成和转换。
批处理
批处理可转换存储在数据湖仓一体上的大型数据集。批处理利用 Oracle Cloud Infrastructure 原生服务与 Oracle Cloud Infrastructure Object Storage 无缝集成，可为数据聚合和扩充、数据仓库摄取以及大规模机器学习和 AI 数据使用等用例创建精选数据。
Oracle Cloud Infrastructure Data Integration 是一款全托管、无服务器、云原生服务，可将各种数据源中的数据提取、加载、转换、清理和重塑为目标 Oracle Cloud Infrastructure 服务，例如 Oracle Autonomous Data Warehouse 和 Oracle Cloud Infrastructure Object Storage 。
Oracle Cloud Infrastructure Data Flow 是一个完全托管的大数据服务，支持您运行 Apache Spark 应用，而无需部署或管理基础设施。它使您能够更快地交付大数据和 AI 应用，因为您无需管理操作即可专注于应用。数据流应用程序是可重用的模板，由 Spark 应用程序及其依赖项、默认参数和默认运行时资源规范组成。
份量
Oracle Autonomous Data Warehouse 是一个自我驱动、自我保护和自我修复的数据库服务，针对数据仓库工作负载进行了优化。您不需要配置或管理任何硬件，也不需要安装任何软件。Oracle Cloud Infrastructure 可用于创建数据库以及备份、打补丁、升级和调优数据库。
预配后，您可以随时扩展数据库的 CPU 核心数或存储容量，而不会影响可用性或性能。
ADW 还可以将驻留在对象存储中的数据虚拟化为外部和混合分区表，以便可以将从其他源派生的数据与仓库数据联接和使用。您还可以将历史数据从仓库移动到对象存储，然后使用混合分区表无缝地使用它。
ADW 可以使用存储在 Oracle Cloud Infrastructure Data Catalog 中的先前收集的元数据创建外部表，并自动将 Oracle Cloud Infrastructure Data Catalog 中的元数据更新与外部表定义同步，以保持一致性、简化管理并减少工作量。
分析视图是一项 Autonomous Database 功能，它提供了一种快速高效的方式来创建对存储在现有数据库表和视图中的数据的分析查询。分析视图使用维模型组织数据。它们允许您轻松地将聚合和计算添加到数据集，并在可以使用相对简单的 SQL 查询的视图中显示数据。此功能允许您使用内部和外部存储的数据直接在 ADW 中对星型或雪花模式进行语义建模，并允许使用 SQL 和任何符合 SQL 的数据使用者来使用模型。
ADW 能够联合和查询存储在第三方云存储（即 AWS S3、Azure Blob 和 GCP CGS）、第三方云数据库（即 AWS Redshift、Azure Synapse Analytics、Google BigQuery 和 Snowflake）、第三方数据库（即 IBM DB2、MongoDB、PostrgreSQL、Hive）甚至 SaaS 应用程序上的数据。
ADW 可以在单个查询中查询和联接云存储、云数据库和其他常用数据库中的数据，从而简化对服务引擎使用者的数据访问，因为这些数据抽象化为各个查询引擎的复杂性，从而获得统一的结果。它还可以将这些数据与从符合 Delta Sharing 开放协议的生产者提供的数据共享中获得的数据结合起来。
云存储
Oracle Cloud Infrastructure Object Storage 是一个互联网规模的高性能存储平台，可提供可靠且经济高效的数据持久性。Oracle Cloud Infrastructure Object Storage 可以存储任意内容类型的无限量非结构化数据，包括分析数据。您可以安全可靠地直接从互联网或云平台存储或检索数据。通过多个管理接口，您可以轻松地从小规模起步并无缝扩展，而不会在性能或服务可靠性方面出现任何下降。
Oracle Cloud Infrastructure Object Storage 还可用作数据仓库的冷存储层，方法是存储不常使用的数据，然后使用 Oracle Autonomous Data Warehouse 中的混合表与最新数据无缝联接。
可视化/学习
Oracle Analytics Cloud 是一种安全的可扩展公共云服务，它提供了一整套功能，可用于为您、您的工作组和您的企业浏览和执行协作分析。它支持市民数据科学家、高级业务分析师培训和执行机器学习 (ML) 模型。机器学习模型可以在分析服务上或直接在 Oracle Autonomous Data Warehouse 上执行，作为 OML 嵌入式模型，用于大规模批量预测，利用仓库和 OCI AI 服务（例如 Oracle Cloud Infrastructure Vision）的处理能力、可扩展性和弹性。
借助 Oracle Analytics Cloud ，您还可以获得灵活的服务管理功能，包括快速设置、轻松扩展和打补丁以及自动化生命周期管理。
了解和预测
Oracle Cloud Infrastructure Data Science 提供基础设施、开源技术、库、程序包和数据科学工具，帮助数据科学团队在 Oracle Cloud Infrastructure 中构建、训练和管理机器学习 (ML) 模型。协作式和项目驱动的工作区提供端到端的统一用户体验，并支持预测模型的生命周期。数据科学支持数据科学家和机器学习工程师免费直接从 Anaconda 资料档案库下载和安装程序包，从而通过精心设计的数据科学机器学习库生态系统在项目上进行创新。
数据科学家可以使用数据科学作业功能在完全托管的基础设施上定义和运行可重复的机器学习任务。
借助数据科学模型部署功能，数据科学家可以将经过训练的模型部署为完全托管的 HTTP 端点，以实时提供预测，将智能注入流程和应用，并允许企业在发生相关事件时对事件做出响应。
Oracle Machine Learning 提供了强大的机器学习功能，这些功能紧密集成在 Oracle Autonomous Database 中，并支持 Python 和 AutoML。它支持使用开源和可扩展的数据库内算法来减少数据准备和移动的模型。AutoML 通过使用自动算法选择、自适应数据采样、自动功能选择和自动模型调优，帮助数据科学家加快机器学习计划的价值实现速度。借助 Oracle Autonomous Data Warehouse 中提供的 Oracle Machine Learning 服务，您不仅可以管理模型，还可以将这些模型部署为 REST 端点，以便在公司内部实现实时预测的民主化，从而使企业能够在发生相关事件时而不是事后对相关事件做出反应。
AI 服务
Oracle Cloud Infrastructure AI Services 服务提供一系列现成可用的 AI 服务，可用于支持从文本分析到预测性维护的各种用例。这些服务具有预构建的优化模型，您可以使用 API 将这些模型集成到数据管道、分析和应用中。
Oracle Cloud Infrastructure Anomaly Detection 提供丰富的工具集，可实时识别业务数据中的不良事件或观察，从而帮助您采取措施避免业务中断。
Oracle Cloud Infrastructure AI Language 可大规模执行复杂的文本分析。借助预训练和自定义模型，开发人员无需具备数据科学专业知识即可处理非结构化文本并提取洞察。预训练模型支持情绪分析、关键短语提取、文本分类和命名实体识别。您还可以使用特定于域的数据集为命名实体识别和文本分类训练定制模型。翻译服务使您能够翻译 21 种不同语言的文本。
Oracle Cloud Infrastructure Speech 允许您将包含人类语音的媒体文件轻松转换为高度准确的文本转录，从而充分发挥口语的强大功能。OCI Speech 可用于记录客户服务电话、自动加字幕以及为媒体资产生成元数据，以创建完全可搜索的归档。
Oracle Cloud Infrastructure Vision 执行图像识别和文档分析任务，例如对图像进行分类、检测和面部、提取文本和识别表。您可以利用预训练模型，也可以为行业和客户特定的场景轻松创建自定义视觉模型。Vision 服务是完全托管的多租户原生云服务，可帮助处理所有常见的计算机视觉任务。
Oracle Cloud Infrastructure 文档理解服务可执行文档分析任务，例如提取文本和识别表。OCI 文档理解服务是一种完全托管的多租户原生云服务，可帮助执行所有常见的文档分析任务。
数据改进
数据丰富可以改进用于训练机器学习模型的数据，以获得更好、更准确的预测结果。
Oracle Cloud Infrastructure Data Labeling 允许您创建和浏览数据集、查看数据记录（文本或图像）以及应用标签来构建 AI/ML 模型。该服务还提供交互式用户界面，旨在帮助标签过程。标记记录后，数据集可以导出为行分隔的 JSON，以用于 AI/ML 模型开发。
API
通过 API 层，您可以将从数据科学和 Oracle Machine Learning 派生的智能注入到应用、业务流程和事物中，以影响和改进其操作和功能。通过 API 层，您可以安全地使用数据科学部署到 Oracle Machine Learning REST 端点的模型，并能够监管系统以确保运行时环境的可用性。您还可以根据需要利用函数执行其他逻辑。
使用 Oracle Cloud Infrastructure API Gateway，您可以发布具有可从网络中访问的专用端点的 API，并且如果希望它们接受互联网流量，您可以使用公共 IP 地址公开这些端点。端点支持 API 验证、请求和响应转换、CORS、验证和授权以及请求限制。它允许 API 观测来监视使用情况并保证 SLA。使用计划还可用于监视和管理访问 API 的 API 使用者和 API 客户端，以及为不同客户设置不同的访问层，以便跟踪使用 API 使用的数据使用情况。使用量计划是支持数据货币化的关键功能。
Oracle Cloud Infrastructure Functions 是一个全托管、多租户、高度可扩展的按需功能即服务平台。它基于企业级 Oracle Cloud Infrastructure 构建，由 Fn Project 开源引擎提供支持。
Oracle REST Data Services (ORDS) 是一个 Java 应用程序，它支持具备 SQL 和数据库技能的开发人员为 Oracle Database 开发 REST API。任何应用程序开发人员都可以从任何语言环境使用这些 API，而无需安装和维护客户端驱动程序，就像他们使用最广泛使用的 API 技术 REST 访问其他外部服务一样。ORDS 作为完全托管的功能部署在 ADW 中，可用于通过使用 API 向数据使用者公开湖仓一体信息。
数据监管
Oracle Cloud Infrastructure Data Catalog 提供元数据和相应属性等技术资产所在位置的可见性，并支持维护映射到该技术元数据的业务词汇表。Oracle Cloud Infrastructure Data Catalog 还可为 Oracle Autonomous Data Warehouse Warehouse 提供元数据，以促进在数据仓库中创建外部表。
数据安全
数据安全对于充分探索和使用湖仓一体数据至关重要。利用具有深度防御和 RBAC 功能的零信任安全模型，并确保遵守最严格的法规，数据安全可提供预防性、检测性和纠正性安全控制，以确保防止数据泄露和泄露。
Oracle Data Safe 是一项完全集成的 Oracle Cloud 服务，专注于数据安全性。它提供一组完整的集成功能，可用于保护 Oracle Cloud 数据库（例如 Oracle Autonomous Data Warehouse ）中的敏感数据和受管制数据。功能包括安全评估、用户评估、数据发现、数据屏蔽和活动审计。
Oracle Cloud Infrastructure Audit 提供与 Oracle Cloud Infrastructure (OCI) 资源和租户相关的活动可见性。审计日志事件可用于安全审计，以跟踪 OCI 资源的使用和更改，并确保符合标准和法规。
Oracle Cloud Infrastructure Logging 为租户中的所有日志（包括审计日志）提供了一个高度可扩展且完全托管的单一接口。使用 OCI 日志记录从所有 OCI 资源访问日志，以便您可以启用、管理和搜索日志。
Oracle Cloud Infrastructure Vault 是一项加密管理服务，用于存储和管理加密密钥和密钥以安全地访问资源。支持客户管理的密钥用于 Oracle Autonomous Data Warehouse 和数据湖加密，以增强静态数据保护。允许机密安全地存储服务和用户凭据，以改善您的安全状况，并确保凭据不会被泄露和使用不当。
物理体系结构
- Oracle Autonomous Data Warehouse (ADW) 使用 Oracle 托管的异构连接功能从联合数据源获取数据
- ADW 使用可从公共互联网访问的目标数据库，这些数据库已配置并允许传入 SSL/TLS 连接，以便 Oracle 管理的异构连接可以安全地连接和查询数据
- ADW 使用数据共享从数据库读取数据
- 数据砖数据共享可通过公共互联网访问，但使用数据砖提供的凭证文件进行保护
- 来自 AWS S3、Azure Blob 和 Google Cloud Storage 的数据使用外部表进行联合和按需读取，或根据用例和要求复制到 ADW 中
- 使用非联合数据源中的微批处理和来自非联合关系数据源的文件，可以安全地摄取来自非联合数据源的数据
- 利用 Oracle Cloud Infrastructure Data Integration 和 Oracle Cloud Infrastructure Data Flow 的组合来处理数据
- 数据存储在 ADW 和 Oracle Cloud Infrastructure Object Storage 中，并根据其质量和价值进行组织
- ADW 为消费者安全地提供仓库、湖泊和联合数据
- Oracle Analytics Cloud 使用可视化向业务用户呈现数据
- Oracle Analytics Cloud 通过使用 Oracle Cloud Infrastructure Load Balancing （由 Oracle Cloud Infrastructure Web Application Firewall (WAF) 保护）来公开，通过互联网提供访问
- Oracle Cloud Infrastructure Data Science 用于构建、训练和部署机器学习 (ML) 模型
- Oracle Cloud Infrastructure API Gateway 用于监管数据科学机器学习模型部署
- Oracle Cloud Infrastructure Data Catalog 从 ADW 和对象存储中收集元数据
- 管理员使用 Oracle Cloud Infrastructure Bastion 管理私有云资源
下图展示了体系结构：
data-platform-federation-physical-oracle.zip
物理体系结构的设计：
- 利用 2 个 VCN，一个用于中心，另一个用于工作负载本身
- 本地连接利用 Oracle Cloud Infrastructure FastConnect 和站点到站点 VPN 实现冗余
- 从内部部署和互联网传入的所有流量首先路由到中心 VCN，然后路由到负载 VCN
- 所有数据在传输中和静态中都是安全的
- 服务与专用端点一起部署，以提高安全状况
- VCN 分为多个专用子网，以提高安全状况
- 数据湖数据将利用 Medallion 架构隔离到对象存储中的多个存储桶中
- 使用连接到负载 VCN 的公共连接和 NAT 网关访问联合数据源和云存储
为了简单起见，此部署中未描述的潜在设计改进包括：
- 使用 Oracle Database Gateway 利用客户管理的异构连接，使用专用连接连接到联合数据源
- 利用符合 CIS 的完整着陆区域
- 利用网络防火墙检查所有流量并实施策略来改善整体安全状况
推荐
使用以下建议作为起点，将来自异构数据源的数据用于业务分析和机器学习。
您的要求可能不同于此处所述的体系结构。
Oracle Autonomous Data Warehouse
此架构在共享基础设施上使用 Oracle Autonomous Data Warehouse (ADW)。
- 访问联合数据时，请考虑使用实体化视图来提高性能。
- 考虑使用避免联盟数据停滞所需的频率刷新实体化视图。
- 考虑通过使用来自联合源的数据库链接创建视图来查询数据，以便在 Oracle Cloud Infrastructure Data Catalog 中收集和编目这些视图，从而增强数据治理。
- 请考虑将联合数据源身份证明存储在 Oracle Cloud Infrastructure Vault 中的密钥中，以提高安全状况。
- 请考虑在显示联合数据的视图中使用 Autonomous Database 安全功能，例如编写（动态数据屏蔽），以提高数据安全性。
- 考虑使用数据共享来使用与 Delta Sharing 开放协议兼容的异构数据源中的联合数据。
- 考虑使用数据共享向与 Delta Sharing 开放协议兼容的用户共享精选数据。
- 考虑将客户管理的异构连接与 Oracle Database Gateway 结合使用，以专用连接连接到联合数据源，从而提高安全性、降低延迟或两者兼有。
Oracle Analytics Cloud
此架构利用 Oracle Analytics Cloud (OAC) 向最终用户提供增强分析。
- 考虑使用 OAC 的大量数据源来补充 ADW 使用的联合数据源。
- 考虑在 ADW 上的 OAC 中联合数据源，以提高性能、高速缓存、处理负载转移到服务引擎以及简化分析语义层。
请注意，此体系结构依赖于数据湖仓一体参考体系结构，其中包括适用于您的体系结构的建议。有关数据湖仓一体参考架构和资源的链接，请参阅“了解更多”部分。
注意事项
联合数据进行分析时，请考虑以下实施选项。
| 指南 | 推荐 | 其他选项 | 原理 |
|---|---|---|---|
| Data Refinery |
Oracle Cloud Infrastructure 数据集成 |
|
Oracle Cloud Infrastructure Data Integration 提供可扩展且经济高效的云原生、无服务器、完全托管的 ETL 平台。 |
| 数据持久性 |
|
Oracle Exadata Database Service |
Oracle Autonomous Data Warehouse 是一款简单易用、完全自治的数据库，可弹性扩展、提供快速查询性能，并且无需执行数据库管理。它还提供了从对象存储外部或混合分区表中直接访问数据的功能。 Oracle Cloud Infrastructure Object Storage 以原始格式存储无限数据。 |
| 数据处理 |
|
第三方工具 |
Oracle Cloud Infrastructure Data Integration 提供可扩展且经济高效的云原生、无服务器、完全托管的 ETL 平台。 Oracle Cloud Infrastructure Data Flow 提供了无服务器 Spark 环境，可利用按使用付费的极具弹性的模型大规模处理数据。 |
| 访问和解释 |
|
第三方工具 |
Oracle Analytics Cloud 与 Oracle Autonomous Data Warehouse 中的精选数据完全托管和紧密集成。 数据科学是一个完全托管的自助平台，可帮助数据科学团队在 Oracle Cloud Infrastructure 中构建、训练和管理机器学习 (ML) 模型。数据科学服务提供基础设施和数据科学工具，例如 AutoML 和模型部署功能。 Oracle Machine Learning 是一个完全托管的自助式数据科学平台，随 Oracle Autonomous Data Warehouse 提供，可利用仓库的处理能力大规模构建、训练、测试和部署机器学习模型，而无需将数据移出仓库。 Oracle Cloud Infrastructure AI 服务是一组服务，提供专门构建和训练的预构建模型，用于执行推断潜在异常或检测情绪等任务。 |