使用增量檔案配接器載入資料

「增量檔案配接器」功能可讓您將來源資料檔案與來源資料檔案的先前版本進行比較,並識別新記錄的或已變更的記錄,然後僅載入該資料集。您可以在進行比較之前,對初始來源資料檔案進行排序,或提供預先排序的檔案,以獲得更好的效能。

若要使用此功能,請將初始來源資料檔案登錄為增量檔案配接器。初始來源資料檔案作為範本。實際資料載入從資料規則中指定的檔案執行,其中在初始來源資料檔案和後續檔案之間執行檔案比較。您可以在此後載入一次、兩次或多次。最後一個執行檔案成為評估後續載入的基礎。配接器僅載入差異,這會導致檔案匯入期間載入更快。其餘資料匯入過程與檔案的標準資料載入保持相同。

注意事項:

  • 來源資料檔案必須是分隔的資料檔案。

  • 使用的資料檔案必須包含一行標題,該標題描述分隔的欄。

  • 可以載入數值與非數值資料。

  • 將忽略兩個檔案之間的任何已刪除記錄。在這種情況下,您必須手動處理已刪除的記錄。

  • 如果缺少檔案 (或者您將最後一個 ID 變更為不存在的執行),載入完成時會發生錯誤。

  • 排序選項使用此功能確定效能層級。排序會增加處理時間。預先排序檔案會加快處理速度。

  • 增量載入僅支援單一期間資料載入。不支援多期間載入。

  • 增量載入不支援向下鑽研,因為增量檔案在「取代」模式下載入,而且只有最新版本的檔案比較存在於臨時資料表中。

    作為解決方法,您可以使用完整資料載入方法,將相同的資料檔案載入到另一個位置。在這種情況下,您應該僅匯入資料,而不是將其匯出到目標應用程式。

  • 封存來源資料檔案的副本,以供日後比較。僅保留最後 5 個版本。檔案最多保留 60 天。如果超過 60 天沒有執行增量載入,則將「最後處理 ID」設定為 0,並執行載入。

請觀看此教學課程影片,以深入瞭解如何載入和計算增量人力資料:

影片圖示 使用資料管理載入和計算增量人力資料.

請觀看此教學課程影片,以深入瞭解如何使用 Groovy 規則來計算增量載入的資料:

影片圖示 在資料管理中使用 Groovy 規則來計算增量載入的資料.