Détails relatifs à Data Flow
Détails de journalisation pour les journaux de diagnostic Spark Data Flow.
Ressources
- applications
Catégories de journal
| Valeur d'API (ID) : | Console (nom d'affichage) | Description |
|---|---|---|
| all | Diagnostic | Inclut tous les journaux générés par la structure Apache Spark (pilote et exécuteurs). |
Disponibilité
La journalisation Data Flow est disponible dans toutes les régions des domaines commerciaux.
Commentaires
Les journaux de diagnostic Spark peuvent être activés uniquement au niveau de l'application Data Flow et ne peuvent pas être remplacés.
Si vous activez la journalisation pour une application Data Flow, les journaux de diagnostic Spark sont transmis en continu pour toute nouvelle soumission d'exécution Data Flow. Les exécutions déjà acceptées ou en cours ne sont pas mises à jour.
Contenu d'un journal de diagnostic Spark Data Flow
| Propriété | Description |
|---|---|
| specversion | Version du schéma Oracle Cloud Infrastructure Logging du journal. |
| type | Catégorie de journal qui suit la convention com.oraclecloud.{service}.{resource-type}.{category}.com.oraclecloud.dataflow.run.driver com.oraclecloud.dataflow.run.executor |
| source | Nom de la ressource qui a généré le message. |
| subject | Sous-ressource spécifique qui a généré l'événement. |
| id | Identifiant unique de la source pour cette assimilation par lots. |
| time | Heure de génération de la sortie de la fonction, au format d'horodatage RFC 3339. |
| oracle.logid | OCID de l'objet de journal Oracle Cloud Infrastructure Logging. |
| oracle.loggroupid | OCID du groupe de journaux Oracle Cloud Infrastructure Logging. |
| oracle.compartmentid | OCID du compartiment dans lequel se trouve le groupe de journaux Oracle Cloud Infrastructure Logging. |
| oracle.tenantid | OCID du locataire. |
| oracle.ingestedtime | Heure à laquelle la ligne de journal a été ingérée par Oracle Cloud Infrastructure Logging, au format d'horodatage RFC 3339. |
| data[i].id | Identificateur unique de cet événement de journal. |
| data[i].time | Heure à laquelle cette entrée de journal spécifique a été générée. Doit respecter le format indiqué dans RFC 3339. |
| données[i].data | Données non vides représentant un événement de journal. |
| data.data[i].level | Niveau de journalisation de l'événement de journalisation. |
| Message data.data[i].message | Message : décrit les détails de l'événement. |
| data.data[i].opcRequestId | ID de demande unique affecté par Oracle généré lors de la soumission de l'exécution Data Flow et inclus dans la réponse createRun. |
| data.data[i].runId | OCID de l'exécution Data Flow dont la ressource (pilote ou exécuteur Spark) a généré ce message. |
| data.data[i].thread | Nom du thread ayant généré l'événement de journalisation. |
Exemple de journal de diagnostic Spark Data Flow
{
"datetime": 1687551602245,
"logContent": {
"data": {
"logLevel": "INFO",
"message": "Execution complete.",
"opcRequestId": "<unique_ID>",
"runId": "ocid1.dataflowrun.oc1.ca-toronto-1.<unique_ID>",
"thread": "shaded.dataflow.oracle.dfcs.spark.wrapper.DataflowWrapper"
},
"id": "<unique_ID>",
"oracle": {
"compartmentid": "ocid1.tenancy.oc1..<unique_ID>",
"ingestedtime": "2023-06-23T20:20:06.974Z",
"loggroupid": "ocid1.loggroup.oc1.ca-toronto-1.<unique_ID>",
"logid": "ocid1.log.oc1.ca-toronto-1.<unique_ID>",
"tenantid": "ocid1.tenancy.oc1..<unique_ID>"
},
"source": "Sample CSV Processing App",
"specversion": "1.0",
"subject": "spark-driver",
"time": "2023-06-23T20:20:02.245Z",
"type": "com.oraclecloud.dataflow.run.driver"
},
"regionId": "ca-toronto-1"
}Utilisation de la CLI
Pour obtenir un exemple de commande permettant d'activer la journalisation de diagnostic Spark Data Flow, reportez-vous à Activation des journaux de diagnostic Spark Oracle Cloud Infrastructure Logging.