频繁数据刷新的性能注意事项

查看并考虑以下事项,以确保频繁的数据刷新按预期工作。

频繁数据刷新的性能取决于以下各项:
  • 数据大小。
  • 数据更改,例如已更改的数据以及触发的管道。
  • 提取的记录数,这可能导致已发布记录的数量非常不同。例如,在一个方案中,44 个提取的记录在 70 分钟内发布了 1060 个记录,395 个提取的记录在 35 分钟内发布了 55 个记录。

在以下情况下不会执行频繁数据刷新流程:

  • 在每日增量数据刷新的预定开始之前的 180 分钟窗口中。
  • 如果正在进行任何发行版升级。
  • 直到上一个频繁数据刷新过程完成。您可以将最大频率设置为 1 小时。如果完成刷新需要 1 小时以上,则下一次频繁的数据刷新过程将在下一小时开始。
按照以下准则配置仓库表的频繁数据刷新;即数据集中的数据刷新:
  • 确保您知道要刷新的数据集的确切名称。
  • 为每次运行指定不超过 20 个数据集。
  • 确定任何相关项并包括适用的表,因为不会自动包括相关项。
  • 仅选择实际需要的模块和表,因为每个附加模块或表会增加系统必须提取、加载和验证的数据量。从所需的最小模块和表开始,然后仅在业务需要证明增加的刷新时间和系统影响时进行扩展。
在“频繁数据刷新”过程中包括数据扩充和定制应用程序时,请遵循以下准则:
  • 确保报表不使用要删除的字段(列或表)。
  • 对数据扩充和定制应用进行更改并部署它们。“频繁数据刷新”处理将重新发布新表并重新调整频繁数据刷新差值表。此外,请确保对仪表盘进行相应的更改。