パイプラインのモニターおよびトラブルシューティング
作成されたすべてのパイプラインは、DBMS_CLOUD_PIPELINEビューに記録されます。
パイプライン・ステータス情報の表示
パイプライン・ステータスを確認し、USER_CLOUD_PIPELINESまたはDBA_CLOUD_PIPELINESビューを使用して他のパイプライン情報を取得します。 たとえば、pipeline_nameにWHERE句述語を含む次のSELECT文は、MY_TREE_DATAがロード・パイプラインであり、パイプラインが開始されていることを示しています:
SELECT pipeline_name, pipeline_type, status FROM USER_CLOUD_PIPELINES
WHERE pipeline_name = 'MY_TREE_DATA';
PIPELINE_NAME PIPELINE_TYPE STATUS
------------- ------------- -------
MY_TREE_DATA LOAD STARTED詳細については、「DBMS_CLOUD_PIPELINEビュー」を参照してください。
パイプライン属性の表示
パイプライン属性は、USER_CLOUD_PIPELINE_ATTRIBUTESまたはDBA_CLOUD_PIPELINE_ATTRIBUTESビューを問い合せてモニターできます。 これらのビューを問い合せて、パイプライン属性情報を表示します。
たとえば:
SELECT pipeline_name, attribute_name, attribute_value FROM user_cloud_pipeline_attributes
WHERE pipeline_name = 'MY_TREE_DATA';
PIPELINE_NAME ATTRIBUTE_NAME ATTRIBUTE_VALUE
------------- --------------- ---------------------------------------------------------------------------------
MY_TREE_DATA credential_name DEF_CRED_OBJ_STORE
MY_TREE_DATA format {"type": "csv"}
MY_TREE_DATA interval 20
MY_TREE_DATA location https://objectstorage.us-ashburn-1.oraclecloud.com/n/namespace/b/treetypes/o/
MY_TREE_DATA priority high
MY_TREE_DATA table_name TREES詳細については、「DBMS_CLOUD_PIPELINEビュー」を参照してください。
パイプライン履歴の表示
USER_CLOUD_PIPELINE_HISTORYおよびDBA_CLOUD_PIPELINE_HISTORYビューには、実行中のジョブの状態が表示されます。 パイプライン履歴ビューを使用すると、パイプラインのヘルスを監視し、実行中のパイプラインの障害を検出できます。
たとえば:
SELECT pipeline_id, pipeline_name, status, error_message FROM user_cloud_pipeline_history
WHERE pipeline_name = 'MY_TREE_DATA';
PIPELINE_ID PIPELINE_NAME STATUS ERROR_MESSAGE
----------- ------------- --------- -------------
7 MY_TREE_DATA SUCCEEDED詳細については、「DBMS_CLOUD_PIPELINEビュー」を参照してください。
パイプライン・ステータス表: ロード・パイプラインの追加モニタリング
パイプライン・ステータス表には、ロード・パイプラインの各ファイル名とそのステータスが表示されます。 DBA_CLOUD_PIPELINESおよびUSER_CLOUD_PIPELINESのSTATUS_TABLE列には、ステータス表名が表示されます。
たとえば、pipeline_nameにWHERE句述語を含む次のSELECT文は、パイプラインのステータス表名を示します:
SELECT pipeline_name, status_table FROM user_cloud_pipelines
WHERE pipeline_name = 'MY_TREE_DATA';
PIPELINE_NAME STATUS_TABLE
------------- --------------------
MY_TREE_DATA PIPELINE$9$41_STATUSステータス表を表示して、次のようなパイプラインに関する情報を表示します:
-
特定のファイルに対する操作が失敗した場合、関連するエラー番号およびエラー・メッセージがステータス表に記録されます。
-
完了したパイプライン操作では、レポートされた
START_TIMEおよびEND_TIMEを使用して、各操作に必要な時間を計算できます。
たとえば、次の例は、2つのファイルのロード操作が失敗し、1つが完了したことを示しています:
SELECT id, name, status, error_code, error_message, sid FROM PIPELINE$9$41_STATUS;
ID NAME STATUS ERROR_CODE ERROR_MESSAGE SID
-- ---------- --------- ---------- -------------------------------- -----
1 trees1.txt FAILED 30653 ORA-30653: reject limit reached 18070
2 trees2.txt FAILED 30653 ORA-30653: reject limit reached 18070
3 trees3.txt COMPLETED 18070 データをロードするためのパイプライン(pipeline_typeが'LOAD'の場合)、USER_LOAD_OPERATIONSおよびDBA_LOAD_OPERATIONSに表示されるIDを予約します。 これらのビューのID値は、USER_CLOUD_PIPELINESおよびDBA_CLOUD_PIPELINESのパイプラインOPERATION_IDにマップされます。
ロード・パイプラインの詳細を取得するには、パイプラインOPERATION_IDを問い合せます:
SELECT PIPELINE_NAME, OPERATION_ID FROM USER_CLOUD_PIPELINES
WHERE PIPELINE_NAME = 'MY_TREE_DATA';
PIPELINE_NAME OPERATION_ID
------------- ------------
MY_TREE_DATA 41次に、(OPERATION_ID値を使用して)ID列にWHERE句述語を指定してUSER_LOAD_OPERATIONSまたはDBA_LOAD_OPERATIONSを問い合せます。
たとえば:
SELECT ID, TYPE, LOGFILE_TABLE, BADFILE_TABLE, STATUS_TABLE FROM USER_LOAD_OPERATIONS
WHERE ID = 41;
ID TYPE LOGFILE_TABLE BADFILE_TABLE STATUS_TABLE
-- -------- ----------------- ----------------- --------------------
41 PIPELINE PIPELINE$9$41_LOG PIPELINE$9$41_BAD PIPELINE$9$41_STATUSこの問合せでは、ID, TYPE, LOGFILE_TABLE, BADFILE_TABLE(存在する場合)およびSTATUS_TABLEが表示されます。 追加のパイプライン・ロード情報についてこれらの表を表示できます。
パイプライン・ステータス表詳細
| 列 | データ型 | 説明 |
|---|---|---|
ID |
NUMBER |
パイプラインに割り当てられた一意の番号。 |
NAME |
VARCHAR2(4000) |
パイプラインの名前。 |
BYTES |
NUMBER |
バイト |
CHECKSUM |
VARCHAR2(128) |
チェックサム |
LAST_MODIFIED |
TIMESTAMP(6) WITH TIME ZONE |
パイプラインの最終変更時間。 |
STATUS |
VARCHAR2(30) |
STATUS値は次のいずれかです:
|
ERROR_CODE |
NUMBER |
エラー・コード |
ERROR_MESSAGE |
VARCHAR2(4000) |
エラー・メッセージ |
START_TIME |
TIMESTAMP(6) WITH TIME ZONE |
パイプラインの開始時間。 |
END_TIME |
TIMESTAMP(6) WITH TIME ZONE |
パイプラインの終了時間。 |
SID |
NUMBER |
セッション |
SERIAL# |
NUMBER |
セッション |
ROWS_LOADED |
NUMBER |
ロードされた行数 |
OPERATION_ID |
NUMBER |
将来使用するために予約済 |
パイプライン・ログ・ファイルおよび不正なファイル表
ロード・パイプラインのログ・ファイルと不正なファイル名を取得するには、パイプラインOPERATION_IDを問い合せます。 たとえば:
SELECT PIPELINE_NAME, OPERATION_ID FROM USER_CLOUD_PIPELINES
WHERE PIPELINE_NAME = 'MY_TREE_DATA';
PIPELINE_NAME OPERATION_ID
------------- ------------
MY_TREE_DATA 41次に、(OPERATION_ID値を使用して)ID列にWHERE句述語を指定してUSER_LOAD_OPERATIONSまたはDBA_LOAD_OPERATIONSを問い合せます。
たとえば:
SELECT ID, TYPE, LOGFILE_TABLE, BADFILE_TABLE, STATUS_TABLE FROM USER_LOAD_OPERATIONS
WHERE ID = 41;
ID TYPE LOGFILE_TABLE BADFILE_TABLE STATUS_TABLE
-- -------- ----------------- ----------------- --------------------
41 PIPELINE PIPELINE$9$41_LOG PIPELINE$9$41_BAD PIPELINE$9$41_STATUSこの問合せでは、ID, TYPE, LOGFILE_TABLE, BADFILE_TABLE(存在する場合)およびSTATUS_TABLEが表示されます。 追加のパイプライン・ロード情報についてこれらの表を表示できます。
パイプライン・ログ・ファイル表を表示して、パイプライン・ロード操作の完全なログを確認します。
たとえば:
SELECT * FROM PIPELINE$9$41_LOG;パイプライン不良ファイル表を表示して、エラーのある入力フォーマット・レコードの詳細を表示します。 不良ファイル表には、ロード中のエラーを報告する行の情報が表示されます。 ログ・ファイル表に表示されるエラーおよびパイプラインの不良ファイル表に表示される行によっては、パイプラインのformat属性オプションを変更するか、ロードするファイル内のデータを変更することによって、エラーを修正できる場合があります。
たとえば:
SELECT * FROM PIPELINE$9$41_BAD;詳細については、「ロードのモニターおよびトラブルシューティング」を参照してください。