Details für Data Flow

Loggingdetails für Data Flow-Spark-Diagnoselogs.

Ressourcen

Anwendungen

Logkategorien


API-Wert (ID):	Konsole (Anzeigename)	Beschreibung
alle	Diagnostic	Enthält alle Logs, die vom Apache Spark-Framework (Treiber und Executors) generiert wurden.

Verfügbarkeit

Data Flow-Logging ist in allen Regionen der kommerziellen Realms verfügbar.

Kommentare

Spark-Diagnoselogs können nur auf Data Flow-Anwendungsebene aktiviert und nicht überschrieben werden.

Wenn Sie das Logging für eine Datenflussanwendung aktivieren, werden Spark-Diagnoselogs für jede neue Datenflussausführungsweiterleitung gestreamt. Bereits akzeptierte oder laufende Ausführungen werden nicht aktualisiert.

Inhalt eines Datenfluss-Spark-Diagnoselogs


Eigenschaft	Beschreibung
specversion	Oracle Cloud Infrastructure Logging-Schemaversion des Logs.
type	Logkategorie, die der `com.oraclecloud.{service}.{resource-type}.{category}`-Konvention folgt. com.oraclecloud.dataflow.run.driver com.oraclecloud.dataflow.run.executor
source	Name der Ressource, die die Nachricht generiert hat.
subject	Eine bestimmte Unterressource, die das Ereignis generiert hat.
id	Eine eindeutige Quell-ID für diese Batchaufnahme.
time	Uhrzeit, zu der die Funktionsausgabe generiert wurde, im RFC 3339-Zeitstempelformat.
oracle.logid	OCID des Oracle Cloud Infrastructure Logging-Logobjekts.
oracle.loggroupid	OCID der Oracle Cloud Infrastructure Logging-Loggruppe.
oracle.compartmentid	OCID des Compartments, in dem sich die Oracle Cloud Infrastructure Logging-Loggruppe befindet.
oracle.tenantid	OCID des Mandanten.
oracle.ingestedtime	Zeit, zu der die Logzeile von Oracle Cloud Infrastructure Logging im Zeitstempelformat RFC 3339 aufgenommen wurde.
data[i].id	Eine eindeutige ID für dieses Logereignis.
Daten[i].Zeit	Zeit, zu der dieser spezifische Log-Eintrag generiert wurde. Sie muss dem in RFC 3339 angegebenen Format entsprechen.
Daten[i].data	Nicht leere Daten, die ein Logereignis darstellen.
data.data[i].level	Die Logebene des Loggingereignisses.
data.data[i].message	Eine Meldung mit einer Beschreibung der Ereignisdetails.
data.data[i].opcRequestId	Eine eindeutige von Oracle zugewiesene Anforderungs-ID, die generiert wurde, als die Datenflussausführung weitergeleitet und in die createRun-Antwort aufgenommen wurde.
data.data[i].runId	Die OCID der Datenflussausführung, deren Ressource (ein Spark-Treiber oder -Executor) diese Nachricht generiert hat.
data.data[i].thread	Der Name des Threads, der das Loggingereignis generiert hat.

Beispiel-Datenfluss-Spark-Diagnoselog

{
  "datetime": 1687551602245,
  "logContent": {
    "data": {
      "logLevel": "INFO",
      "message": "Execution complete.",
      "opcRequestId": "<unique_ID>",
      "runId": "ocid1.dataflowrun.oc1.ca-toronto-1.<unique_ID>",
      "thread": "shaded.dataflow.oracle.dfcs.spark.wrapper.DataflowWrapper"
    },
    "id": "<unique_ID>",
    "oracle": {
      "compartmentid": "ocid1.tenancy.oc1..<unique_ID>",
      "ingestedtime": "2023-06-23T20:20:06.974Z",
      "loggroupid": "ocid1.loggroup.oc1.ca-toronto-1.<unique_ID>",
      "logid": "ocid1.log.oc1.ca-toronto-1.<unique_ID>",
      "tenantid": "ocid1.tenancy.oc1..<unique_ID>"
    },
    "source": "Sample CSV Processing App",
    "specversion": "1.0",
    "subject": "spark-driver",
    "time": "2023-06-23T20:20:02.245Z",
    "type": "com.oraclecloud.dataflow.run.driver"
  },
  "regionId": "ca-toronto-1"
}

CLI verwenden

Ein Beispielbefehl zum Aktivieren des Data Flow-Spark-Diagnoselogs finden Sie unter Oracle Cloud Infrastructure Logging-Spark-Diagnoselogging aktivieren.

Oracle Cloud Infrastructure-Dokumentation