パイプラインのモニターおよびトラブルシューティング

作成されたすべてのパイプラインは、DBMS_CLOUD_PIPELINEビューに記録されます。

パイプライン・ステータス情報の表示

パイプライン・ステータスを確認し、USER_CLOUD_PIPELINESまたはDBA_CLOUD_PIPELINESビューを使用して他のパイプライン情報を取得します。たとえば、pipeline_nameに対するWHERE句述語を含む次のSELECT文は、MY_TREE_DATAがロード・パイプラインであり、パイプラインが開始されていることを示しています。

SELECT pipeline_name, pipeline_type, status FROM USER_CLOUD_PIPELINES
   WHERE pipeline_name = 'MY_TREE_DATA';


PIPELINE_NAME PIPELINE_TYPE STATUS
------------- ------------- -------
MY_TREE_DATA  LOAD          STARTED

詳細は、「DBMS_CLOUD_PIPELINEビュー」を参照してください。

パイプライン属性の表示

パイプライン属性は、USER_CLOUD_PIPELINE_ATTRIBUTESビューまたはDBA_CLOUD_PIPELINE_ATTRIBUTESビューを問い合せることで監視できます。パイプライン属性情報を表示するには、これらのビューを問い合せます。

たとえば:

SELECT pipeline_name, attribute_name, attribute_value FROM user_cloud_pipeline_attributes
     WHERE pipeline_name = 'MY_TREE_DATA';

PIPELINE_NAME ATTRIBUTE_NAME  ATTRIBUTE_VALUE
------------- --------------- ---------------------------------------------------------------------------------
MY_TREE_DATA  credential_name DEF_CRED_OBJ_STORE
MY_TREE_DATA  format          {"type": "csv"}
MY_TREE_DATA  interval        20
MY_TREE_DATA  location        https://objectstorage.us-ashburn-1.oraclecloud.com/n/namespace/b/treetypes/o/
MY_TREE_DATA  priority        high
MY_TREE_DATA  table_name      TREES

詳細は、「DBMS_CLOUD_PIPELINEビュー」を参照してください。

パイプライン履歴の表示

USER_CLOUD_PIPELINE_HISTORYビューおよびDBA_CLOUD_PIPELINE_HISTORYビューには、実行中のジョブの状態が表示されます。パイプライン履歴ビューを使用すると、パイプラインの健全性を監視し、実行中のパイプラインで障害を検出するのに役立ちます。

たとえば:

SELECT pipeline_id, pipeline_name, status, error_message  FROM user_cloud_pipeline_history
     WHERE pipeline_name = 'MY_TREE_DATA';

PIPELINE_ID PIPELINE_NAME STATUS    ERROR_MESSAGE
----------- ------------- --------- -------------
          7  MY_TREE_DATA SUCCEEDED

詳細は、「DBMS_CLOUD_PIPELINEビュー」を参照してください。

パイプライン・ステータス表: ロード・パイプラインの追加監視

パイプライン・ステータス表には、ロード・パイプラインの各ファイル名とそのステータスが表示されます。DBA_CLOUD_PIPELINESおよびUSER_CLOUD_PIPELINESのSTATUS_TABLE列には、ステータス表名が表示されます。

たとえば、pipeline_nameにWHERE句述語を含む次のSELECT文は、パイプラインのステータス表名を示します。

SELECT pipeline_name, status_table FROM user_cloud_pipelines
   WHERE pipeline_name = 'MY_TREE_DATA';

PIPELINE_NAME STATUS_TABLE
------------- --------------------
MY_TREE_DATA  PIPELINE$9$41_STATUS

ステータス表を表示して、次のようなパイプラインに関する情報を表示します。

• 特定のファイルに対する操作が失敗した場合、関連するエラー番号およびエラー・メッセージがステータス表に記録されます。

• 完了したパイプライン操作の場合、各操作に必要な時間は、レポートされたSTART_TIMEおよびEND_TIMEを使用して計算できます。

たとえば、2つのファイルのロード操作が失敗し、1つは完了したことを示しています。

SELECT id, name, status, error_code, error_message, sid FROM PIPELINE$9$41_STATUS;

ID NAME       STATUS    ERROR_CODE ERROR_MESSAGE                      SID
-- ---------- --------- ---------- -------------------------------- -----
 1 trees1.txt FAILED         30653 ORA-30653: reject limit reached  18070
 2 trees2.txt FAILED         30653 ORA-30653: reject limit reached  18070
 3 trees3.txt COMPLETED                                             18070

データをロードするためのパイプライン(pipeline_typeは'LOAD')は、USER_LOAD_OPERATIONSおよびDBA_LOAD_OPERATIONSに表示されるIDを予約します。これらのビューのID値は、USER_CLOUD_PIPELINESおよびDBA_CLOUD_PIPELINESのパイプラインのOPERATION_IDにマップされます。

ロード・パイプラインの詳細を取得するには、パイプラインのOPERATION_IDを問い合せます。

SELECT PIPELINE_NAME, OPERATION_ID FROM USER_CLOUD_PIPELINES
     WHERE PIPELINE_NAME = 'MY_TREE_DATA';

PIPELINE_NAME OPERATION_ID
------------- ------------
MY_TREE_DATA            41

次に、(OPERATION_ID値を使用して)ID列にWHERE句述語を指定してUSER_LOAD_OPERATIONSまたはDBA_LOAD_OPERATIONSを問い合せます。

たとえば:

SELECT ID, TYPE, LOGFILE_TABLE, BADFILE_TABLE, STATUS_TABLE FROM USER_LOAD_OPERATIONS
     WHERE ID = 41;

ID TYPE     LOGFILE_TABLE     BADFILE_TABLE     STATUS_TABLE
-- -------- ----------------- ----------------- --------------------
41 PIPELINE PIPELINE$9$41_LOG PIPELINE$9$41_BAD PIPELINE$9$41_STATUS

この問合せでは、ID、TYPE、LOGFILE_TABLE、BADFILE_TABLE (存在する場合)およびSTATUS_TABLEが表示されます。これらの表は、追加のパイプライン・ロード情報について表示できます。

パイプライン・ステータス表詳細

パイプライン・ログ・ファイルおよび不良ファイル表

ロード・パイプラインのログ・ファイルおよび不良ファイル名を取得するには、パイプラインのOPERATION_IDを問い合せます。次に例を示します。

SELECT PIPELINE_NAME, OPERATION_ID FROM USER_CLOUD_PIPELINES
     WHERE PIPELINE_NAME = 'MY_TREE_DATA';

PIPELINE_NAME OPERATION_ID
------------- ------------
MY_TREE_DATA            41

次に、(OPERATION_ID値を使用して)ID列にWHERE句述語を指定してUSER_LOAD_OPERATIONSまたはDBA_LOAD_OPERATIONSを問い合せます。

たとえば:

SELECT ID, TYPE, LOGFILE_TABLE, BADFILE_TABLE, STATUS_TABLE FROM USER_LOAD_OPERATIONS
     WHERE ID = 41;

ID TYPE     LOGFILE_TABLE     BADFILE_TABLE     STATUS_TABLE
-- -------- ----------------- ----------------- --------------------
41 PIPELINE PIPELINE$9$41_LOG PIPELINE$9$41_BAD PIPELINE$9$41_STATUS

この問合せでは、ID、TYPE、LOGFILE_TABLE、BADFILE_TABLE (存在する場合)およびSTATUS_TABLEが表示されます。これらの表は、追加のパイプライン・ロード情報について表示できます。

パイプライン・ログ・ファイル表を表示して、パイプラインのロード操作の完全なログを確認します。

たとえば:

SELECT * FROM PIPELINE$9$41_LOG;

パイプライン不良ファイル表を表示して、エラーのある入力フォーマット・レコードの詳細を表示します。不正なファイル表には、ロード中にエラーを報告する行の情報が表示されます。ログ・ファイル表に示されているエラーおよびパイプラインの不良ファイル表に示されている行によっては、パイプラインのformat属性オプションを変更するか、ロードするファイルのデータを変更することで、エラーを修正できる場合があります。

たとえば:

SELECT * FROM PIPELINE$9$41_BAD;

詳細は、COPY_DATAロードのモニターおよびトラブルシューティングを参照してください。