在数据源中选择要用作新数据指示符的数据列。此指示符确定自上次执行数据流后检测到新数据的时间。例如,您可以选择时间戳列。
通过指定新的数据指示符,您可以在加载数据时执行增量处理。换句话说,每次使用数据流加载数据时,仅处理自上次运行以来添加的新数据。
开始之前,先创建一个与受支持数据库的连接,如 Oracle、Oracle Autonomous Data Warehouse、Apache Hive、Hortonworks Hive 或 Map R Hive。
- 在主页上,依次单击导航器
和数据
- 将光标悬停在数据集上,单击操作,然后选择打开。
- 在联接图表中,双击包含要使用的增量标识符的表。
- 单击编辑定义。
- 如果未显示数据访问面板,请转到窗口右边缘的中心以找到展开选项,然后单击展开。
- 在流的新数据指示符字段中,选择用于检测添加新数据的时间的列。
- 单击确定。