設定轉換專案的資料載入批次控制

一般批次處理 K1-CNVLD 會將輸入資料檔以指定為其中一個批次參數的形式,將其載入目標資料表或維護物件中。

請考慮為每個物件 (資料表或維護物件) 建立個別的批次控制。

它可以運用系統的平行處理能力;所有物件的資料載入處理幾乎都能同時提交,因此將舊有資料上傳所需的時間降到最低,而這還只是整體資料轉換處理的初始步驟而已。

批次控制 K1-CNVLD 可用來排練各種資料表和 (或) 維護物件的載入批次執行,然後決定最佳載入策略:

  • 是否應將資料擷取並以單一資料表和 (或) 維護物件形式載入

  • 是否要分割資料檔及分割方式,以及批次的執行緒數

  • 可能的日誌檔大小和可行的日誌層級

針對每一項個別的資料表或維護物件設定資料載入批次控制。然後在 K1-CNVLD 之後建立組態模式,並為以下項目設定預設參數值:

  • 輸入、輸出及封存檔案儲存位置。必須預先在雲端物件儲存中定義位置 (區間和分組);批次參數目前參考與這些位置對應的「可延伸查尋」F1-FileStorage 值。參數值的組成應為 file-storage://<可延伸查尋值>/<物件儲存分組名稱>,例如:file-storage://OS-SHARED/CONV-Input
  • 目標資料表維護物件。必須植入這兩個參數的其中一個。

  • 副檔名。指定副檔名時,請包含所有提供的副檔名。例如,如果檔案名稱為 XXX.csv.gz,請輸入參數值 csv.gz

  • 日誌層級。指定值 LOG,強制 SQL 載入器產生最詳細的資料上傳處理日誌。

  • 保留輸入選項。此參數控制原始輸入資料檔是否應該在輸入資料位置保持「現狀」,還是從物件儲存永久刪除或移至封存資料位置。封存輸入資料時,時間戳記會附加在原始檔案名稱上。
    備註:如果批次處理無法上傳輸入資料檔,則此檔案會保留在輸入資料位置。
  • 最大上傳錯誤數

    此參數的值與 SQL 載入器所需的錯誤臨界值有關。載入處理會在達到指定的錯誤記錄數後停止。SQL 載入器日誌包含一則訊息 SKIPPED=NNN,其中 NNN 標示出輸入資料檔中發生錯誤之最後一筆記錄的位置。如果批次提交時所含的 skip 參數已植入日誌中的 SKIPPED 值,則處理會從這個位置繼續執行。

預設執行緒計數視上傳的資料表類型而定。一般資料表可使用單一或多個執行緒進行上傳。索引鍵資料表則必須使用單一執行緒來上傳