聚總測量資料匯出
系統會透過「特殊」匯出支援從「聚總測量」維護物件 (D1-AGGMSRMT) 匯出資料。如需有關特殊資料匯出的詳細資訊,請參閱 Application Framework 管理使用者指南中的特殊資料匯出。「聚總測量」維護物件設定為透過下列選項支援資料匯出:
選項類型 |
選項值 |
---|---|
資料匯出類別 |
F1SE (特殊) |
匯出批次控制 |
D1-SAMDC (特殊聚總測量擷取目前) |
初始與目前與歷史擷取
「聚總測量」維護物件使用三種類型的擷取:
-
初始擷取會收集聚總測量資料的初始擷取,藉由提供應擷取之測量的開始與結束日期時間來控制。在使用每日目前與每日歷史擷取之前,應使用此處理執行聚總測量資料的初始擷取。
-
每日目前擷取會收集過去 30 天內新增或變更之測量的聚總測量資料。此擷取是以「聚總測量」資料表上的「測量日期/時間」與「上次更新時間戳記」欄位,以及「資料匯出控制」記錄上的「匯出截止日期/時間」欄位為基準 (請參閱下方),僅包含自上次擷取後的變更。
-
每日歷史擷取會收集早於過去 30 天新增或變更之測量的聚總測量資料。為了避免需要掃描整個「聚總測量」資料表,此擷取是以「變更資料擷取」為基準。在初始測量資料處理期間,如果聚總測量的測量時間早於 30 天,則會在「一般處理」資料表中建立「變更資料擷取」記錄。
啟用聚總測量資料的歷史變更資料擷取需要設定下列演算法參數:
-
擷取歷史聚總變更:真
-
聚總歷史批次控制:D1-SAMDH (特殊聚總測量資料擷取歷史)
這些參數應按照下列演算法中的描述進行設定:
-
建立歷史動態聚總的一般處理記錄 (D1CGPHISAGG)
-
建立歷史靜態聚總的一般處理記錄 (D1CGPHISA)
資料匯出控制記錄
從「聚總測量」維護物件匯出資料需要「資料匯出控制」記錄。此記錄指定應匯出「聚總測量」維護物件,並追蹤到目前為止的資料匯出日期與時間,以便後續的匯出處理僅匯出增量變更。
如需有關建立「資料匯出控制」記錄的詳細資訊,請參閱 Application Framework 管理使用者指南中的定義資料匯出控制。
批次控制
匯出資料與建立匯出檔案是由下列批次控制執行:
-
特殊聚總測量初始 (D1-SAMDI):用於聚總測量資料的初始擷取。與目前擷取不同,此批次是直接透過提供應擷取之測量的開始與結束日期時間控制。在使用目前擷取 (D1-SAMDC) 和歷史擷取 (D1-SAMDH) 之前,應使用此處理執行聚總測量資料的初始擷取。為了獲得最佳效能,建議將初始擷取期間分成多個較小的期間,並為每個期間使用多個執行緒。系統會擷取測量日期/時間晚於輸入開始日期/時間,且早於或等於輸入結束日期/時間的所有聚總測量。
-
特殊聚總測量擷取目前 (D1-SAMDC):用於目前 (新的) 聚總測量資料的每日擷取。此處理會擷取自上次擷取處理執行後已變更的資料 (根據「資料匯出控制」記錄上的匯出截止日期/時間欄位)。此處理會在批次處理開始時更新匯出截止日期/時間欄位,以消除在處理時段未透過「變更資料擷取」將初始測量設定為歷史測量的可能性。
-
特殊聚總測量資料擷取歷史 (D1-SAMDH):用於歷史聚總測量資料的每日擷取。此處理會針對「一般處理」資料表中的「變更資料擷取」記錄執行
批次處理會依「測量元件 ID」進行執行緒處理,並根據處理的執行緒數與批次控制參數建立一或多個檔案。
檔案建立與命名
擷取處理使用兩個控制來決定要建立的檔案數:
-
每個執行緒至少建立 1 個檔案 (執行緒越多,檔案越小)。
-
檔案大小限制參數可用來指定要包含在任何指定檔案中的聚總測量資料列數。這可能會導致單一執行緒產生多個檔案。
每個檔案中的資料都未排序,每個執行緒都會擷取一組「測量元件 ID」的聚總測量資料,但除此之外,將無法控制資料載入檔案的方式。
檔案命名
由於每個執行緒可以產生多個檔案,且無法預測每個執行緒的檔案數,因此檔案名稱也會包含執行緒中第一個檔案以及最後一個檔案的指標。
-
MSRMT_EXPORT_<file prefix batch parameter>_<batch number>_<batch thread number>_<total thread count>_<thread file indicator>_<process date time>.csv.gz
其中:
-
<file prefix batch parameter> 是使用檔案名稱前綴批次控制參數定義的選擇性檔案前綴
-
<batch number> 是處理的批次編號
-
<batch thread number> 是建立檔案的執行緒編號
-
<total thread count> 是執行緒總數
-
<thread file Indicator>:是執行緒所建立的第一個與最後一個檔案的識別碼,S 代表第一個檔案,E 代表最後一個檔案
-
<process date tim> 是建立檔案的日期與時間,格式為 YYYYMMDDhhmmss (YYYY = 年、MM = 月、DD = 日、hh = 小時、mm = 分鐘、ss = 秒)
範例:批次編號 135 包含 10 個執行緒:
-
10 個執行緒中第 3 個執行緒的第 1 個檔案:MSRMT_EXPORT_PREFIX_135_3_10_S_20191104173233.csv.gz
-
10 個執行緒中第 3 個執行緒的最後 1 個檔案之前的所有檔案:MSRMT_EXPORT_PREFIX_135_3_10_20191104173233.csv.gz
-
10 個執行緒中第 3 個執行緒的最後 1 個檔案:MSRMT_EXPORT_PREFIX_135_3_10_E_20191104173233.csv.gz
檔案格式
擷取處理會產生含下表所述資料的逗號分隔值 (CSV) 檔案。如果批次控制上的包含標頭參數設為 "Y",則欄位資料欄中的欄位名稱會包含在輸出檔案中作為標頭資料列。
欄位 |
資料類型 |
範例內容 |
描述 |
---|---|---|---|
MEASR_COMP_ID |
CHAR(12) |
000004769213 |
計量表 (亦稱為裝置) 管道的主索引鍵 |
MSRMT_DTTM |
DATE |
2019-01-01T00:00:00Z |
測量涵蓋的期間結束。例如,如果這是每小時區間,則涵蓋 2018-12-31T23:00:00Z 到 2019-01-01T00:00:00Z。 |
PREV_MSRMT_DTTM |
DATE |
2018-12-31T00:00:00Z |
對於定量測量,這可識別測量期間的開始。備註:相同測量元件應還有另一個測量,其日期應為 MSRMT_DTTM。 |
MSRMT_COND_FLG |
CHAR(6) |
501000 |
定義測量的品質 (例如估算、正常、超級)。在 F1_ EXTENDABLE_LOOKUP_VAL 上為 BUS_OBJ_CD D1-MeasurementConditionLookup 定義的有效值。 |
MSRMT_USE_FLG |
CHAR(4) |
D101 |
指出測量是否可用。在 CI_LOOKUP 上定義的有效值。 |
USER_EDITED_FLG |
CHAR(4) |
D1UE |
指出使用者是否已編輯測量。在 CI_LOOKUP 上定義的有效值。 |
READING_VAL |
此欄位的值不會包含在聚總測量匯出中。 |
||
READING_COND_FLG |
此欄位的值不會包含在聚總測量匯出中。 |
||
COMBINED_MULTIPLIER |
此欄位的值不會包含在聚總測量匯出中。 |
||
MSRMT_VAL |
NUMBER(16,6) |
1.23 |
這是經過驗證、編輯和估算 (亦稱為計費就緒) 之後從計量表回報的耗用量。 |
MSRMT_VAL1 |
NUMBER(16,6) |
此值和後續測量值 (MSRMT_VAL 1 到 10) 是從核心 MSMRT_VAL 計算得出的導出值。例如,計量單位轉換 (CCF 轉換為 THERM) 或損失調整。 |
|
MSRMT_VAL2 |
NUMBER(16,6) |
||
MSRMT_VAL3 |
NUMBER(16,6) |
||
MSRMT_VAL4 |
NUMBER(16,6) |
||
MSRMT_VAL5 |
NUMBER(16,6) |
||
MSRMT_VAL6 |
NUMBER(16,6) |
||
MSRMT_VAL7 |
NUMBER(16,6) |
||
MSRMT_VAL8 |
NUMBER(16,6) |
||
MSRMT_VAL9 |
NUMBER(16,6) |
||
MSRMT_VAL10 |
NUMBER(16,6) |
||
CRE_DTTM |
DATE |
2019-10-31T11:09:31Z |
建立記錄的日期與時間。 |
LAST_UPDATE_DTTM |
DATE |
2019-11-09T16:35:02Z |
上次更新記錄的日期與時間。 |
範例檔案
以下是跨六小時期間之區間資料的範例匯出檔案。請注意,這並不包含標籤或資料欄標頭,但資料的順序與上述檔案格式小節中的資料欄描述相同。
000004769213,2019-01-01T08:00:00Z,,501000,,,,,1,1.3715,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:39:09Z,2019-08-09T20:39:09Z
000004769213,2019-01-01T09:00:00Z,,501000,,,,,1,1.882,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:39:09Z,2019-08-09T20:39:09Z
000004769213,2019-01-01T10:00:00Z,,501000,,,,,1,1.838,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:39:09Z,2019-08-09T20:39:09Z
000004769213,2019-01-01T11:00:00Z,,501000,,,,,1,1.8585,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:39:09Z,2019-08-09T20:39:09Z
000004769213,2019-01-01T12:00:00Z,,501000,,,,,1,1.836,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:39:09Z,2019-08-09T20:39:09Z
000004769213,2019-01-01T13:00:00Z,,501000,,,,,1,1.83,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:39:09Z,2019-08-09T20:39:09Z
000671510494,2019-01-01T08:00:00Z,,501000,,,,,1,0.486,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:56:47Z,2019-08-09T20:56:47Z
000671510494,2019-01-01T09:00:00Z,,501000,,,,,1,0.4965,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:56:47Z,2019-08-09T20:56:47Z
000671510494,2019-01-01T10:00:00Z,,501000,,,,,1,0.45,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:56:47Z,2019-08-09T20:56:47Z
000671510494,2019-01-01T11:00:00Z,,501000,,,,,1,0.4725,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:56:47Z,2019-08-09T20:56:47Z
000671510494,2019-01-01T12:00:00Z,,501000,,,,,1,0.4575,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:56:47Z,2019-08-09T20:56:47Z
000671510494,2019-01-01T13:00:00Z,,501000,,,,,1,0.447,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:56:47Z,2019-08-09T20:56:47Z
020643301975,2019-01-01T08:00:00Z,,501000,,,,,1,0.015,0,0,0,0,0,0,0,0,0,0,2019-08-09T21:04:28Z,2019-08-09T21:04:28Z
020643301975,2019-01-01T09:00:00Z,,501000,,,,,1,0.015,0,0,0,0,0,0,0,0,0,0,2019-08-09T21:04:28Z,2019-08-09T21:04:28Z
020643301975,2019-01-01T10:00:00Z,,501000,,,,,1,0.015,0,0,0,0,0,0,0,0,0,0,2019-08-09T21:04:28Z,2019-08-09T21:04:28Z
020643301975,2019-01-01T11:00:00Z,,501000,,,,,1,0.015,0,0,0,0,0,0,0,0,0,0,2019-08-09T21:04:28Z,2019-08-09T21:04:28Z
020643301975,2019-01-01T12:00:00Z,,501000,,,,,1,0.0165,0,0,0,0,0,0,0,0,0,0,2019-08-09T21:04:28Z,2019-08-09T21:04:28Z
020643301975,2019-01-01T13:00:00Z,,501000,,,,,1,0.015,0,0,0,0,0,0,0,0,0,0,2019-08-09T21:04:28Z,2019-08-09T21:04:28Z