特殊化資料匯出

匯出大量實體的資料或以極高頻率更新的實體時,需要考量幾個效能因素。一般化方法不適合此類實體,而且要為每個實體設計特定批次處理,目標在於要為該實體實現最佳匯出方法。該處理在初始執行時,會匯出實體現有的資料,而相同的處理在後續執行時,則會以增量的方式匯出資料,也就是說,它會根據時間戳記欄位,匯出自上次執行後新增或更新的記錄。下圖說明整體處理:

應用程式顯示在圖表的左側。應用程式內的主要元素為資料庫,其中包含「要匯出的實體」,透過兩個箭頭連接至「資料匯出實體特定批次處理」。從資料庫指向批次方塊的其中一個箭頭文字為「透過大量 SQL 擷取資料」,另一個箭頭文字為「根據時間戳記來增量擷取」。圖表右側則是「客戶物件儲存」區段,其中包含與特定批次處理連接的 CSV 檔案。

下列各節將進一步討論與特殊化資料匯出方法相關的概念和指導方針。

每個實體的特定處理

您可以利用資料匯出類別選項來明確標示要使用特殊化方法匯出的維護物件,並使用匯出批次控制選項來定義該維護物件的特定批次處理。

所有特殊化批次處理是設計為以 CSV 格式匯出資料,因為相較於其他較詳細的格式,它產生的檔案大小較小。如需有關特定匯出考量及參數的詳細資訊,請參考每個批次處理。

啟用資料匯出

若要啟用維護物件的資料匯出功能,必須建立特殊類型的資料匯出控制記錄。該記錄是用來指示系統應該匯出該實體,並追蹤到目前為止的資料匯出日期及時間,好讓後續的匯出執行只會匯出增量變更。

增量資料匯出

特殊化匯出方法會以增量的方式,追蹤自上次匯出執行之後的變更,而不是使用變更資料擷取機制。因此,該方法會根據維護物件之主要資料表上的時間戳記欄位,指示資料新增或變更的時間。而每個後續的執行都只會匯出自上次匯出執行之後,受到新增或變更的實體。系統會在與每個維護物件相對應的「資料匯出控制」記錄中,記錄該維護物件的資料匯出日期及時間。

檔案的使用順序

特殊化資料匯出檔案應採用執行編號的順序,以確保資料的一致性且按時間順序排列。