設定資料流程以進行增量處理

您可以在資料流程中套用增量處理,只從資料庫載入新的或更新過的記錄。

在資料流程中套用增量處理可讓您只載入新資料,而不是每次都執行完整載入,因為完整載入不但缺乏效率也耗費成本。換句話說,每次使用資料流程載入資料時,您只會處理自上次執行後新增的資料。
開始之前,請先建立其中一個支援的資料庫連線,例如 Oracle、Oracle Autonomous Data Warehouse、Apache Hive、Hortonworks Hive 或 Map R Hive。接著,為該資料庫設定新的資料指標。請參閱指定新的資料來源資料指標
  1. 建立或開啟您想要在其中套用增量處理的資料流程。
  2. 資料流程編輯器中,選取儲存資料步驟以顯示步驟編輯器窗格。
  3. 資料集欄位中,指定在新增資料步驟中所設定之輸入資料集的名稱。
  4. 儲存資料至選項中選取資料庫連線
  5. 按一下選取連線,然後選取其中一個支援的目標資料庫連線。
  6. 表格欄位中,指定您所寫入之目標表格的名稱。
  7. 執行時選項中,選取新增資料至現有資料
  8. 按一下儲存