关于数据刷新性能
Oracle Fusion Data Intelligence 中的数据刷新是一个复杂的过程。刷新持续时间可能会出现一些日常变化。
典型的数据刷新包括以下进程:
- 从 Oracle Fusion Cloud Applications 或其他第三方来源提取数据。
- 将数据转换为可进行分析的预构建模式。
- 将数据加载到 Oracle Autonomous AI Lakehouse 中。
- 使用数据共享功能与外部目标共享数据。
影响数据刷新性能的因素
刷新数据以及生成的所有关键度量和仪表盘所需的时间取决于几个因素。
包括:
- 源系统可用性 - 如果源系统不可用,刷新将暂停并等待。系统将发送通知。如果系统可以确定访问问题是由无效凭据引起的,则“请求历史记录”和“仓库刷新统计信息”将显示刷新是否因源可用性而排队。
- 源系统上的资源可用性 - 如果源系统资源被 Oracle Fusion Data Intelligence 提取流程以外的流程占用,则会导致 Oracle Fusion Data Intelligence 数据刷新延迟。尤其适用于 Oracle Fusion Cloud Applications 。
- 源数据的大小和复杂性 - 通常,刷新期间处理的数据量是刷新需要多长时间的良好指标,尽管情况并非总是如此。“仓库刷新统计信息”包括可以指明总体容量的已发布记录数。请参阅查看仓库刷新统计信息。
- 激活的功能区–通常,功能区越多,要处理的数据越多,因此刷新时间就越长。
- 定制 SQL 查询—如果定制查询在 Oracle Autonomous AI Lakehouse 上运行,则它们可以占用管道所需的资源,这可能会影响整体刷新性能。
- 按定制下游处理列出的表锁定 - 如果任何下游进程获取 Oracle Fusion Data Intelligence 表上的锁定并将其保留太长时间,这可能会导致 Oracle Fusion Data Intelligence 执行的数据刷新延迟。
- 对源系统对象所做的定制 - 如果这些定制需要对这些对象进行完全加载,则刷新所需的时间将更长。
- 源和目标系统维护 - 打补丁等系统维护活动可能会暂停或延迟管道进程,这可能会延长整体刷新时间。
- 定制数据管道 - 如果在定制数据管道的数据扩充脚本中使用了复杂的转换逻辑,则可能会影响整体刷新时间。
数据刷新性能的注意事项
考虑到影响数据刷新的各种因素,完成时间会因日而异。
请参阅影响数据刷新性能的因素。
管道性能是一项共同的责任;因此,Oracle 提供了可扩展的平台、配置控制和使用指南,同时您还可以管理数据量、源系统就绪情况、转换设计(如果使用任何定制数据管道)、调度和环境特定的配置。优化结果需要用户持续参与配置,主动监视影响数据刷新的各种因素,并遵守 Oracle 建议的实践和工具。
要帮助保持最佳刷新性能,请考虑以下操作:
- 已激活的功能区 - 仅激活分析业务需求所需的功能区。从必要的事情开始,随着新需求的出现而增加更多,而不是提前实现一切。请参见 Activate a Data Pipeline for a Functional Area 。删除对分析不重要的功能区。请参见 Deactivate a Data Pipeline for a Functional Area 。
- 频繁数据刷新中的模块和数据表 —使用“频繁数据刷新”功能仅添加当天运营分析业务需求所需的模块。删除对分析不重要的模块。请参见 Configure Frequent Data Refresh V2 (Preview) 和 Performance Considerations for Frequent Data Refresh 。
- 初始提取日期 —此设置控制在仓库中提取、转换和存储哪些数据。根据实际业务需求仔细配置。请考虑使用相对初始提取日期,而不是绝对初始提取日期。请参阅关于 Pipeline 参数。如果您使用的是“可配置帐户分析”功能,这尤其有影响。请参阅可配置的账户分析。
- 定制提取 —如果源系统上正在运行定制数据提取,则它们可以争用资源并延迟数据刷新。例如,与 Oracle Fusion Data Intelligence 提取流程并行运行的定制 Business Intelligence Cloud Connector (BICC) 提取可能会减慢 Oracle Fusion Data Intelligence 刷新速度。为避免延迟,请确保在 Oracle Fusion Data Intelligence 数据刷新窗口期间没有运行其他自定义刷新作业。当特定刷新花费的时间超过预期时,使用“仓库刷新”统计信息确定在数据刷新期间是否存在由于自定义提取而导致的延迟。请参阅查看仓库刷新统计信息。
- Oracle Autonomous AI Lakehouse 上的高服务会话 —数据刷新过程取决于可用的仓库资源。如果高服务会话正在运行,它们可能会消耗容量,并延迟将数据发布到仓库。请参见 Usage Guidelines for Autonomous AI Lakehouse Associated with Oracle Fusion Data Intelligence 。当特定刷新花费的时间比预期的要长时,使用“仓库刷新”统计信息确定在数据刷新期间是否存在任何高会话。请参阅查看仓库刷新统计信息。
- Downstream Custom ETL Processes - 数据刷新过程需要对数据仓库中的表进行不间断的访问。应在 Oracle Fusion Data Intelligence 刷新窗口之外安排访问这些表和获取长期锁定的任何定制 ETL 进程。
- Prioritized Refresh(优先刷新) - 如果即使在增量刷新中也要先刷新某些数据,则可以选择这些仓库表以进行优先刷新。但是,仅对在其他数据集之前要刷新的真正关键的一组有限表使用此方法。请参阅对数据集进行优先级排序以进行增量刷新(预览)。
- 功能区计划覆盖 —查看您已激活的功能区,并考虑根据业务需求惊人的刷新时间。这可以减少每日增量管道刷新的处理负载。请参阅覆盖功能区的数据管道计划(预览)。
- Fusion Augmentations Source(Fusion 扩充源) - 如果您的数据扩充主要用于下游集成,请考虑将 Fusion 扩充源用于数据集。使用此选项,扩充刷新可以与 Oracle Fusion Cloud Applications 中功能区的每日增量刷新并行运行。这可提高 Oracle Fusion Cloud Applications 源的增量刷新性能。它还使用 Fusion Augmentations Source 为数据扩充启用不同的刷新频率。以交错的方式安排基于 Oracle Fusion Cloud Applications 源和 Fusion Augmentations 源的刷新,以避免 Oracle Fusion Cloud Applications 上的资源争用。请参阅使用 Fusion 扩充源执行数据扩充。
- 刷新请求上的阶段优先级更改 —对于计划的增量刷新,您可以提交服务请求以将某些模块从主要阶段移至次要阶段。请参见调度增量数据刷新。这样,就可以更快地提供用于更高关键业务的数据。