Informations détaillées sur le service de flux de données
Détails de journalisation pour les journaux de diagnostic Spark du service de flux de données.
Ressources
- applications
Catégories de journaux
| Valeur d'API (ID) : | Console (Nom d'affichage) | Description |
|---|---|---|
| all | Diagnostic | Inclut tous les journaux générés par le cadre Apache Spark (pilotes et exécuteurs). |
Disponibilité
La journalisation du service de flux de données est disponible dans toutes les régions des domaines commerciaux.
Commentaires
Les journaux de diagnostic Spark ne peuvent être activés qu'au niveau de l'application de flux de données et ne peuvent pas être remplacés.
Si vous activez la journalisation pour une application de flux de données, les journaux de diagnostic Spark sont transmis en continu pour toute nouvelle soumission d'exécution de flux de données. Les exécutions déjà acceptées ou en cours ne sont pas mises à jour.
Contenu d'un journal de diagnostic Spark de flux de données
| Propriété | Description |
|---|---|
| specversion | Version du schéma du journal pour Oracle Cloud Infrastructure Logging. |
| type | Catégorie de journal qui respecte la convention com.oraclecloud.{service}.{resource-type}.{category}.com.oraclecloud.dataflow.run.driver com.oraclecloud.dataflow.run.executor |
| source | Nom de la ressource qui a généré le message. |
| subject | Sous-ressource spécifique qui a généré l'événement. |
| id | Identificateur unique de la source pour cette ingestion de lot. |
| time | Heure à laquelle la sortie de la fonction a été générée, dans le format d'horodatage RFC 3339. |
| oracle.logid | OCID de l'objet de journal du service de journalisation pour Oracle Cloud Infrastructure. |
| oracle.loggroupid | OCID du groupe de journaux du service de journalisation pour Oracle Cloud Infrastructure. |
| oracle.compartmentid | OCID du compartiment dans lequel se trouve le groupe de journaux du service Oracle Cloud Infrastructure Logging. |
| oracle.tenantid | OCID du locataire. |
| oracle.ingestedtime | Heure à laquelle la ligne de journal a été ingérée par Oracle Cloud Infrastructure Logging, dans le format d'heure RFC 3339. |
| data[i].id | Identificateur unique pour cet événement de journal. |
| données[i].temps | Heure à laquelle cette entrée de journal spécifique a été générée. Doit respecter le format spécifié dans RFC 3339. |
| données[i].données | Données non vides représentant un événement de journal. |
| data.data[i].level | Niveau de journalisation de l'événement de journalisation. |
| data.data[i].message | Message décrivant les détails de l'événement. |
| data.data[i].opcRequestId | ID demande unique affecté par Oracle généré lors de la soumission de l'exécution du flux de données et inclus dans la réponse createRun. |
| data.data[i].runId | OCID de l'exécution du flux de données dont la ressource (pilote ou exécuteur Spark) a généré ce message. |
| data.data[i].thread | Nom de l'unité d'exécution qui a généré l'événement de journalisation. |
Exemple de journal de diagnostic Spark pour le service de flux de données
{
"datetime": 1687551602245,
"logContent": {
"data": {
"logLevel": "INFO",
"message": "Execution complete.",
"opcRequestId": "<unique_ID>",
"runId": "ocid1.dataflowrun.oc1.ca-toronto-1.<unique_ID>",
"thread": "shaded.dataflow.oracle.dfcs.spark.wrapper.DataflowWrapper"
},
"id": "<unique_ID>",
"oracle": {
"compartmentid": "ocid1.tenancy.oc1..<unique_ID>",
"ingestedtime": "2023-06-23T20:20:06.974Z",
"loggroupid": "ocid1.loggroup.oc1.ca-toronto-1.<unique_ID>",
"logid": "ocid1.log.oc1.ca-toronto-1.<unique_ID>",
"tenantid": "ocid1.tenancy.oc1..<unique_ID>"
},
"source": "Sample CSV Processing App",
"specversion": "1.0",
"subject": "spark-driver",
"time": "2023-06-23T20:20:02.245Z",
"type": "com.oraclecloud.dataflow.run.driver"
},
"regionId": "ca-toronto-1"
}Utilisation de la CLI
Voir Activer les journaux de diagnostic Spark pour Oracle Cloud Infrastructure Logging pour un exemple de commande permettant d'activer la journalisation de diagnostic Spark pour le service de flux de données.