为数据源指定新的数据指示符

在数据源中选择要用作新数据指示符的数据列。此指示符确定自上次执行数据流后检测到新数据的时间。例如,您可以选择时间戳列。

通过指定新的数据指示符,您可以在加载数据时执行增量处理。换句话说,每次使用数据流加载数据时,仅处理自上次运行以来添加的新数据。
开始之前,先创建一个与受支持数据库的连接,如 Oracle、Oracle Autonomous Data Warehouse、Apache Hive、Hortonworks Hive 或 Map R Hive。
  1. 在主页上,依次单击导航器 用于显示导航器的“导航器”图标数据
  2. 将光标悬停在数据集上,单击操作,然后选择打开
  3. 联接图表中,双击包含要使用的增量标识符的表。
  4. 单击编辑定义
  5. 如果未显示数据访问面板,请转到窗口右边缘的中心以找到展开选项,然后单击展开

    现在可以查看高速缓存选项和高级下的流的新数据指示符字段。
    GUID-B895C974-E71A-43DE-BC01-CB0698F8BDF2-default.png 的说明如下
    .png 的说明

  6. 流的新数据指示符字段中,选择用于检测添加新数据的时间的列。
  7. 单击确定