使用增量文件适配器加载数据

您可以通过增量文件适配器功能比较源数据文件与先前版本的源数据文件,以及识别新记录或更改过的记录,然后仅加载该数据集。您可以在比较之前对初始源数据文件排序,也可以提供预排序的文件以提高性能。

要使用此功能,请将初始源数据文件注册为增量文件适配器。初始源数据文件用作模板。实际数据加载是从集成中指定的文件运行的,文件比较是在初始源数据文件与后续文件之间运行的。您可以在以后加载一次、两次或很多次。最后一次运行的文件将成为对后续加载进行评估的基础。适配器仅加载差异,这可在导入文件时提高加载速度。其余数据导入过程与文件的标准数据加载中的导入过程相同。

注意事项:

  • 源数据文件必须是带分隔符的数据文件。

  • 使用的数据文件必须包含一行标题,用于描述带分隔符的列。

  • 可以集成数字数据和非数字数据。

  • 两个文件之间任何已删除的记录会被忽略。在这种情况下,必须手动处理已删除的记录。

  • 如果缺少文件(或您将最后一个 ID 更改为不存在的运行),加载完成时会出现错误。

  • 排序选项决定使用此功能时的性能级别。排序会增加处理时间。对文件预排序可提高处理速度。

  • 增量加载仅支持单期间数据加载。不支持多期间加载。

  • 增量加载不支持向下钻取,因为增量文件是以“替换”模式加载的,仅最后一个版本的文件比较会出现在临时表中。

    解决方法:可以使用完整数据加载方法将同一数据文件加载到另一个位置。在这种情况下,仅应导入数据,而不应将其导出到目标应用程序。

  • 存档源数据文件的副本以供将来比较。仅保留最后 5 个版本。文件最长保留 60 天。如果超过 60 天未执行任何增量加载,则将上一个进程 ID 设置为 0 并执行加载。