Detalles de Data Flow

Detalles de registro para logs de diagnóstico de Spark de Data Flow.

Recursos

applications

Categorías de log


Valor de API (ID):	Consola (nombre mostrado)	Descripción
all	Diagnóstico	Incluye todos los logs generados por el marco de Apache Spark (controlador y ejecutores).

Disponibilidad

El registro de Data Flow está disponible en todas las regiones de los dominios comerciales.

Comentarios

Los logs de diagnóstico de Spark solo se pueden activar en el nivel de aplicación de Data Flow y no se pueden sustituir.

Si activa el registro para una aplicación de Data Flow, los logs de diagnóstico de Spark se transmiten para cualquier nuevo envío de ejecución de Data Flow. No se actualizaron las ejecuciones ya aceptadas o en curso.

Contenido de un log de diagnóstico de Spark de Data Flow


Propiedad	Descripción
specversion	Versión de esquema de Oracle Cloud Infrastructure Logging del log.
type	Categoría de log que sigue la convención `com.oraclecloud.{service}.{resource-type}.{category}`. com.oraclecloud.dataflow.run.driver com.oraclecloud.dataflow.run.executor
source	Nombre del recurso que ha generado el mensaje.
subject	Subrecurso específico que generó el evento.
Identificador	Identificador único de origen para esta ingestión por lotes.
time	Hora a la que se generó la salida de la función en formato de registro de hora de RFC 3339.
oracle.logid	OCID del objeto de log de registro de Oracle Cloud Infrastructure.
oracle.loggroupid	OCID del grupo de logs de registro de Oracle Cloud Infrastructure.
oracle.compartmentid	OCID del compartimento en el que está el grupo de logs de Oracle Cloud Infrastructure Logging.
oracle.tenantid	OCID del arrendatario.
oracle.ingestedtime	Hora a la ingestión de la línea de log por parte de Oracle Cloud Infrastructure Logging en formato de registro de hora de RFC 3339.
data[i].id	Identificador único para este evento de log.
data[i].time	Hora en la que se generó esta entrada de log específica. Debe cumplir con el formato especificado en RFC 3339.
datos[i].datos	Datos no vacíos que representan un evento de log.
data.data[i].nivel	El nivel de registro del evento de registro.
data.data[i].mensaje	Un mensaje que describe los detalles del evento.
data.data[i].opcRequestId	ID de solicitud único asignado por Oracle generado cuando se ejecutó la ejecución de Data Flow e incluido en la respuesta createRun.
data.data[i].runId	OCID de la ejecución de Data Flow cuyo recurso (un controlador o ejecutor de Spark) ha generado este mensaje.
data.data[i].thread	Nombre del thread que ha generado el evento de registro.

Ejemplo de log de diagnóstico de Spark de Data Flow

{
  "datetime": 1687551602245,
  "logContent": {
    "data": {
      "logLevel": "INFO",
      "message": "Execution complete.",
      "opcRequestId": "<unique_ID>",
      "runId": "ocid1.dataflowrun.oc1.ca-toronto-1.<unique_ID>",
      "thread": "shaded.dataflow.oracle.dfcs.spark.wrapper.DataflowWrapper"
    },
    "id": "<unique_ID>",
    "oracle": {
      "compartmentid": "ocid1.tenancy.oc1..<unique_ID>",
      "ingestedtime": "2023-06-23T20:20:06.974Z",
      "loggroupid": "ocid1.loggroup.oc1.ca-toronto-1.<unique_ID>",
      "logid": "ocid1.log.oc1.ca-toronto-1.<unique_ID>",
      "tenantid": "ocid1.tenancy.oc1..<unique_ID>"
    },
    "source": "Sample CSV Processing App",
    "specversion": "1.0",
    "subject": "spark-driver",
    "time": "2023-06-23T20:20:02.245Z",
    "type": "com.oraclecloud.dataflow.run.driver"
  },
  "regionId": "ca-toronto-1"
}

Uso de la CLI

Consulte Activación de logs de diagnóstico de Spark de Oracle Cloud Infrastructure Logging para obtener un comando de ejemplo para activar el registro de diagnóstico de Spark de Data Flow.

Documentación de Oracle Cloud Infrastructure