Surveillance et dépannage des pipelines
Tous les pipelines créés sont journalisés dans les vues DBMS_CLOUD_PIPELINE
.
Afficher les informations sur le statut du pipeline
Vérifiez le statut du pipeline et obtenez d'autres informations sur le pipeline à l'aide des vues USER_CLOUD_PIPELINES
ou DBA_CLOUD_PIPELINES
. Par exemple, l'instruction SELECT
suivante avec un prédicat de clause WHERE
sur pipeline_name
indique que MY_TREE_DATA
est un pipeline de chargement et que le pipeline est démarré :
SELECT pipeline_name, pipeline_type, status FROM USER_CLOUD_PIPELINES
WHERE pipeline_name = 'MY_TREE_DATA';
PIPELINE_NAME PIPELINE_TYPE STATUS
------------- ------------- -------
MY_TREE_DATA LOAD STARTED
Pour plus d'informations, reportez-vous à la section DBMS_CLOUD_PIPELINE Views.
Visualiser les attributs de pipeline
Vous pouvez surveiller les attributs de pipeline en interrogeant les vues USER_CLOUD_PIPELINE_ATTRIBUTES
ou DBA_CLOUD_PIPELINE_ATTRIBUTES
. Interrogez ces vues pour afficher les informations d'attribut de pipeline.
Exemple :
SELECT pipeline_name, attribute_name, attribute_value FROM user_cloud_pipeline_attributes
WHERE pipeline_name = 'MY_TREE_DATA';
PIPELINE_NAME ATTRIBUTE_NAME ATTRIBUTE_VALUE
------------- --------------- ---------------------------------------------------------------------------------
MY_TREE_DATA credential_name DEF_CRED_OBJ_STORE
MY_TREE_DATA format {"type": "csv"}
MY_TREE_DATA interval 20
MY_TREE_DATA location https://objectstorage.us-ashburn-1.oraclecloud.com/n/namespace/b/treetypes/o/
MY_TREE_DATA priority high
MY_TREE_DATA table_name TREES
Pour plus d'informations, reportez-vous à la section DBMS_CLOUD_PIPELINE Views.
Visualiser l'historique du pipeline
Les vues USER_CLOUD_PIPELINE_HISTORY
et DBA_CLOUD_PIPELINE_HISTORY
indiquent l'état des travaux en cours d'exécution. Utilisez les vues d'historique de pipeline pour surveiller l'état d'un pipeline et détecter les défaillances dans un pipeline en cours d'exécution.
Exemple :
SELECT pipeline_id, pipeline_name, status, error_message FROM user_cloud_pipeline_history
WHERE pipeline_name = 'MY_TREE_DATA';
PIPELINE_ID PIPELINE_NAME STATUS ERROR_MESSAGE
----------- ------------- --------- -------------
7 MY_TREE_DATA SUCCEEDED
Pour plus d'informations, reportez-vous à la section DBMS_CLOUD_PIPELINE Views.
Table de statut de pipeline : Surveillance supplémentaire des pipelines de chargement
La table des statuts de pipeline affiche chaque nom de fichier et son statut pour un pipeline de chargement. La colonne STATUS_TABLE
dans DBA_CLOUD_PIPELINES
et USER_CLOUD_PIPELINES
indique le nom de la table de statut.
Par exemple, l'instruction SELECT
suivante avec un prédicat de clause WHERE
sur pipeline_name
affiche le nom de la table de statut d'un pipeline :
SELECT pipeline_name, status_table FROM user_cloud_pipelines
WHERE pipeline_name = 'MY_TREE_DATA';
PIPELINE_NAME STATUS_TABLE
------------- --------------------
MY_TREE_DATA PIPELINE$9$41_STATUS
Affichez la table des statuts pour afficher des informations sur le pipeline, notamment les informations suivantes :
-
Le numéro d'erreur et le message d'erreur pertinents sont enregistrés dans la table de statut en cas d'échec d'une opération sur un fichier spécifique.
-
Pour les opérations de pipeline terminées, le temps nécessaire à chaque opération peut être calculé à l'aide des éléments
START_TIME
etEND_TIME
signalés.
Par exemple, l'opération de chargement pour deux fichiers a échoué et l'une est terminée :
SELECT id, name, status, error_code, error_message, sid FROM PIPELINE$9$41_STATUS;
ID NAME STATUS ERROR_CODE ERROR_MESSAGE SID
-- ---------- --------- ---------- -------------------------------- -----
1 trees1.txt FAILED 30653 ORA-30653: reject limit reached 18070
2 trees2.txt FAILED 30653 ORA-30653: reject limit reached 18070
3 trees3.txt COMPLETED 18070
Pipelines pour le chargement des données, où pipeline_type
correspond à 'LOAD'
, réservez une valeur ID
affichée dans USER_LOAD_OPERATIONS
et dans DBA_LOAD_OPERATIONS
. La valeur ID
de ces vues est mise en correspondance avec OPERATION_ID
du pipeline dans USER_CLOUD_PIPELINES
et DBA_CLOUD_PIPELINES
.
Afin d'obtenir plus d'informations sur un pipeline de chargement, interrogez l'adresse OPERATION_ID
du pipeline :
SELECT PIPELINE_NAME, OPERATION_ID FROM USER_CLOUD_PIPELINES
WHERE PIPELINE_NAME = 'MY_TREE_DATA';
PIPELINE_NAME OPERATION_ID
------------- ------------
MY_TREE_DATA 41
Ensuite, interrogez USER_LOAD_OPERATIONS
ou DBA_LOAD_OPERATIONS
avec un prédicat de clause WHERE
sur la colonne ID
(à l'aide de la valeur OPERATION_ID
).
Par exemple :
SELECT ID, TYPE, LOGFILE_TABLE, BADFILE_TABLE, STATUS_TABLE FROM USER_LOAD_OPERATIONS
WHERE ID = 41;
ID TYPE LOGFILE_TABLE BADFILE_TABLE STATUS_TABLE
-- -------- ----------------- ----------------- --------------------
41 PIPELINE PIPELINE$9$41_LOG PIPELINE$9$41_BAD PIPELINE$9$41_STATUS
Cette requête affiche ID
, TYPE
, LOGFILE_TABLE
, BADFILE_TABLE
, le cas échéant, et STATUS_TABLE
. Vous pouvez visualiser ces tables pour obtenir des informations supplémentaires sur le chargement du pipeline.
Détails de la table des statuts de pipeline
Colonne | Type de données | Description |
---|---|---|
ID |
NUMBER |
Numéro unique affecté au pipeline. |
NAME |
VARCHAR2(4000) |
Nom du pipeline. |
BYTES |
NUMBER |
octets |
CHECKSUM |
VARCHAR2(128) |
Total de contrôle |
LAST_MODIFIED |
TIMESTAMP(6) WITH TIME ZONE |
Dernière heure de modification pour le pipeline. |
STATUS |
VARCHAR2(30) |
La valeur STATUS est l'une des suivantes :
|
ERROR_CODE |
NUMBER |
Code d'erreur |
ERROR_MESSAGE |
VARCHAR2(4000) |
Message d'erreur |
START_TIME |
TIMESTAMP(6) WITH TIME ZONE |
Heure de début du pipeline. |
END_TIME |
TIMESTAMP(6) WITH TIME ZONE |
Heure de fin du pipeline. |
SID |
NUMBER |
Les sessions |
SERIAL# |
NUMBER |
Les sessions |
ROWS_LOADED |
NUMBER |
Nombre de lignes chargées. |
OPERATION_ID |
NUMBER |
Réservé à une utilisation ultérieure. |
Fichier journal de pipeline et tables de fichiers incorrects
Afin d'obtenir le fichier journal et les noms de fichier incorrects pour un pipeline de chargement, interrogez le fichier OPERATION_ID
du pipeline. Exemple :
SELECT PIPELINE_NAME, OPERATION_ID FROM USER_CLOUD_PIPELINES
WHERE PIPELINE_NAME = 'MY_TREE_DATA';
PIPELINE_NAME OPERATION_ID
------------- ------------
MY_TREE_DATA 41
Ensuite, interrogez USER_LOAD_OPERATIONS
ou DBA_LOAD_OPERATIONS
avec un prédicat de clause WHERE
sur la colonne ID
(à l'aide de la valeur OPERATION_ID
).
Exemple :
SELECT ID, TYPE, LOGFILE_TABLE, BADFILE_TABLE, STATUS_TABLE FROM USER_LOAD_OPERATIONS
WHERE ID = 41;
ID TYPE LOGFILE_TABLE BADFILE_TABLE STATUS_TABLE
-- -------- ----------------- ----------------- --------------------
41 PIPELINE PIPELINE$9$41_LOG PIPELINE$9$41_BAD PIPELINE$9$41_STATUS
Cette requête affiche ID
, TYPE
, LOGFILE_TABLE
, BADFILE_TABLE
, le cas échéant, et STATUS_TABLE
. Vous pouvez visualiser ces tables pour obtenir des informations supplémentaires sur le chargement du pipeline.
Affichez la table des fichiers journaux du pipeline pour afficher un journal complet des opérations de chargement du pipeline.
Exemple :
SELECT * FROM PIPELINE$9$41_LOG;
Affichez la table des fichiers de pipeline incorrects pour afficher les détails des enregistrements de format d'entrée comportant des erreurs. Le tableau des fichiers incorrects affiche les informations relatives aux lignes signalant des erreurs lors du chargement. En fonction des erreurs affichées dans la table des fichiers journaux et des lignes affichées dans la table des fichiers incorrects du pipeline, vous pouvez corriger les erreurs en modifiant les options d'attribut format
du pipeline ou en modifiant les données du fichier que vous chargez.
Exemple :
SELECT * FROM PIPELINE$9$41_BAD;
Pour plus d'informations, reportez-vous à Surveillance et dépannage des chargements.