パイプラインのモニターおよびトラブルシューティング

作成されたすべてのパイプラインは、DBMS_CLOUD_PIPELINEビューに記録されます。

パイプライン・ステータス情報の表示

パイプライン・ステータスを確認し、USER_CLOUD_PIPELINESビューまたはDBA_CLOUD_PIPELINESビューを使用して他のパイプライン情報を取得します。たとえば、pipeline_nameWHERE句述語を含む次のSELECT文は、MY_TREE_DATAがロード・パイプラインであり、パイプラインが開始されることを示しています。

SELECT pipeline_name, pipeline_type, status FROM USER_CLOUD_PIPELINES
   WHERE pipeline_name = 'MY_TREE_DATA';


PIPELINE_NAME PIPELINE_TYPE STATUS  
------------- ------------- ------- 
MY_TREE_DATA  LOAD          STARTED

詳細は、DBMS_CLOUD_PIPELINEビューを参照してください。

パイプライン属性の表示

パイプライン属性は、USER_CLOUD_PIPELINE_ATTRIBUTESビューまたはDBA_CLOUD_PIPELINE_ATTRIBUTESビューを問い合せることで監視できます。これらのビューを問い合せて、パイプライン属性情報を表示します。

次に例を示します。

SELECT pipeline_name, attribute_name, attribute_value FROM user_cloud_pipeline_attributes
     WHERE pipeline_name = 'MY_TREE_DATA';

PIPELINE_NAME ATTRIBUTE_NAME  ATTRIBUTE_VALUE                                                                   
------------- --------------- --------------------------------------------------------------------------------- 
MY_TREE_DATA  credential_name DEF_CRED_OBJ_STORE                                                                
MY_TREE_DATA  format          {"type": "csv"}                                                                   
MY_TREE_DATA  interval        20                                                                                
MY_TREE_DATA  location        https://objectstorage.us-ashburn-1.oraclecloud.com/n/namespace/b/treetypes/o/ 
MY_TREE_DATA  priority        high                                                                              
MY_TREE_DATA  table_name      TREES

詳細は、DBMS_CLOUD_PIPELINEビューを参照してください。

パイプライン履歴の表示

USER_CLOUD_PIPELINE_HISTORYおよびDBA_CLOUD_PIPELINE_HISTORYビューには、実行中のジョブの状態が表示されます。パイプライン履歴ビューを使用すると、パイプラインの状態をモニターし、実行中のパイプラインの障害を検出できます。

次に例を示します。

SELECT pipeline_id, pipeline_name, status, error_message  FROM user_cloud_pipeline_history      
     WHERE pipeline_name = 'MY_TREE_DATA';

PIPELINE_ID PIPELINE_NAME STATUS    ERROR_MESSAGE 
----------- ------------- --------- ------------- 
          7  MY_TREE_DATA SUCCEEDED

詳細は、DBMS_CLOUD_PIPELINEビューを参照してください。

パイプライン・ステータス表: ロード・パイプラインの追加監視

パイプライン・ステータス表には、ロード・パイプラインの各ファイル名とそのステータスが表示されます。DBA_CLOUD_PIPELINESおよびUSER_CLOUD_PIPELINESSTATUS_TABLE列には、ステータス表名が表示されます。

たとえば、pipeline_nameWHERE句述語を含む次のSELECT文は、パイプラインのステータス表名を示します。

SELECT pipeline_name, status_table FROM user_cloud_pipelines
   WHERE pipeline_name = 'MY_TREE_DATA';

PIPELINE_NAME STATUS_TABLE
------------- --------------------
MY_TREE_DATA  PIPELINE$9$41_STATUS

次のようなパイプラインに関する情報を表示するには、ステータス表を表示します。

  • 特定のファイルに対する操作が失敗した場合、関連するエラー番号とエラー・メッセージがステータス表に記録されます。

  • 完了したパイプライン操作の場合、各操作に必要な時間は、レポートされたSTART_TIMEおよびEND_TIMEを使用して計算できます。

たとえば、次の例は、2つのファイルのロード操作が失敗し、1つが完了したことを示しています。

SELECT id, name, status, error_code, error_message, sid FROM PIPELINE$9$41_STATUS;

ID NAME       STATUS    ERROR_CODE ERROR_MESSAGE                      SID 
-- ---------- --------- ---------- -------------------------------- ----- 
 1 trees1.txt FAILED         30653 ORA-30653: reject limit reached  18070 
 2 trees2.txt FAILED         30653 ORA-30653: reject limit reached  18070 
 3 trees3.txt COMPLETED                                             18070 

データをロードするためのパイプライン(pipeline_type'LOAD')は、USER_LOAD_OPERATIONSおよびDBA_LOAD_OPERATIONSに示されているIDを予約します。これらのビューのID値は、USER_CLOUD_PIPELINESおよびDBA_CLOUD_PIPELINESのパイプラインのOPERATION_IDにマップされます。

ロード・パイプラインの詳細を取得するには、パイプラインのOPERATION_IDを問い合せます。

SELECT PIPELINE_NAME, OPERATION_ID FROM USER_CLOUD_PIPELINES
     WHERE PIPELINE_NAME = 'MY_TREE_DATA';

PIPELINE_NAME OPERATION_ID 
------------- ------------ 
MY_TREE_DATA            41

次に、(OPERATION_ID値を使用して)ID列でWHERE句述語を使用してUSER_LOAD_OPERATIONSまたはDBA_LOAD_OPERATIONSを問い合せます。

たとえば、次のとおりです。

SELECT ID, TYPE, LOGFILE_TABLE, BADFILE_TABLE, STATUS_TABLE FROM USER_LOAD_OPERATIONS
     WHERE ID = 41;

ID TYPE     LOGFILE_TABLE     BADFILE_TABLE     STATUS_TABLE
-- -------- ----------------- ----------------- --------------------
41 PIPELINE PIPELINE$9$41_LOG PIPELINE$9$41_BAD PIPELINE$9$41_STATUS

この問合せでは、IDTYPELOGFILE_TABLEBADFILE_TABLE (存在する場合)およびSTATUS_TABLEが表示されます。これらの表を表示して、追加のパイプライン・ロード情報を確認できます。

パイプライン・ステータス表詳細

Datatype 説明
ID NUMBER パイプラインに割り当てられる一意の番号。
NAME VARCHAR2(4000) パイプラインの名前。
BYTES NUMBER Bytes
CHECKSUM VARCHAR2(128) チェックサム
LAST_MODIFIED TIMESTAMP(6) WITH TIME ZONE パイプラインの最終変更時間。
STATUS VARCHAR2(30) STATUS値は、次のいずれかです。
  • COMPLETED: ファイル操作が正常に完了しました。
  • FAILED: ファイル操作に失敗しました。再試行を2回試行できます。
  • PENDING: ファイル操作はまだ開始されていません。
  • RUNNING: ファイル操作は現在進行中です。
  • SKIPPED: ファイル操作がスキップされました。
ERROR_CODE NUMBER エラー・コード
ERROR_MESSAGE VARCHAR2(4000) エラー・メッセージ
START_TIME TIMESTAMP(6) WITH TIME ZONE パイプラインの開始時間。
END_TIME TIMESTAMP(6) WITH TIME ZONE パイプラインの終了時間。
SID NUMBER

セッションSIDおよびSERIAL#は、パイプライン・ロード操作を実行していたジョブ・セッションを示します。

SERIAL# NUMBER

セッションSIDおよびSERIAL#は、パイプライン・ロード操作を実行していたジョブ・セッションを示します。

ROWS_LOADED NUMBER ロード済の行数
OPERATION_ID NUMBER

今後使用するために予約されています。

パイプライン・ログ・ファイルおよび不正なファイル表

ロード・パイプラインのログ・ファイルおよび不正なファイル名を取得するには、パイプラインのOPERATION_IDを問い合せます。たとえば:

SELECT PIPELINE_NAME, OPERATION_ID FROM USER_CLOUD_PIPELINES
     WHERE PIPELINE_NAME = 'MY_TREE_DATA';

PIPELINE_NAME OPERATION_ID 
------------- ------------ 
MY_TREE_DATA            41

次に、(OPERATION_ID値を使用して)ID列でWHERE句述語を使用してUSER_LOAD_OPERATIONSまたはDBA_LOAD_OPERATIONSを問い合せます。

たとえば:

SELECT ID, TYPE, LOGFILE_TABLE, BADFILE_TABLE, STATUS_TABLE FROM USER_LOAD_OPERATIONS
     WHERE ID = 41;

ID TYPE     LOGFILE_TABLE     BADFILE_TABLE     STATUS_TABLE
-- -------- ----------------- ----------------- --------------------
41 PIPELINE PIPELINE$9$41_LOG PIPELINE$9$41_BAD PIPELINE$9$41_STATUS

この問合せでは、IDTYPELOGFILE_TABLEBADFILE_TABLE (存在する場合)およびSTATUS_TABLEが表示されます。これらの表を表示して、追加のパイプライン・ロード情報を確認できます。

パイプライン・ログ・ファイル表を表示して、パイプラインのロード操作の完全なログを確認します。

たとえば:

SELECT * FROM PIPELINE$9$41_LOG;

パイプライン不良ファイル表を表示して、エラーのある入力フォーマット・レコードの詳細を表示します。不正なファイル表には、ロード中のエラーを報告する行の情報が表示されます。ログ・ファイル表に示されているエラーおよびパイプラインの不正なファイル表に示されている行によっては、パイプラインのformat属性オプションを変更するか、ロードするファイルのデータを変更することによって、エラーを修正できる場合があります。

次に例を示します。

SELECT * FROM PIPELINE$9$41_BAD;

詳細は、ロードのモニターおよびトラブルシューティングを参照してください。