Detalles para Data Flow

Detalles de registro para los logs de diagnóstico de Spark de Data Flow.

Recursos

applications

Categorías de log


Valor de API (ID):	Consola (nombre mostrado)	Descripción
all	Diagnóstico	Incluye todos los logs generados por el marco de Apache Spark (controlador y ejecutores).

Disponibilidad

El registro de Data Flow está disponible en todas las regiones de los dominios comerciales.

Comentarios

Los logs de diagnóstico de Spark solo se pueden activar en el nivel de aplicación de Data Flow y no se pueden sustituir.

Si activa el registro para una aplicación de Data Flow, los logs de diagnóstico de Spark se transmiten para cualquier nuevo envío de ejecución de Data Flow. Las ejecuciones ya aceptadas o en curso no se actualizan.

Contenido de un log de diagnóstico de Spark de flujo de datos


Propiedad	Descripción
specversion	Versión de esquema del log de Oracle Cloud Infrastructure Logging.
type	Categoría de log que sigue la convención `com.oraclecloud.{service}.{resource-type}.{category}`. com.oraclecloud.dataflow.run.driver com.oraclecloud.dataflow.run.executor
source	Nombre del recurso que ha generado el mensaje.
subject	Subrecurso específico que generó el evento.
Identificador	Identificador único de origen para esta ingestión por lotes.
time	Hora a la que se generó la salida de la función en formato de registro de hora de RFC 3339.
oracle.logid	OCID del objeto de log de Oracle Cloud Infrastructure Logging.
oracle.loggroupid	OCID del grupo de logs de Oracle Cloud Infrastructure Logging.
oracle.compartmentid	OCID del compartimento en el que está el grupo de logs de Oracle Cloud Infrastructure Logging.
oracle.tenantid	OCID del arrendatario.
oracle.ingestedtime	Hora a la que Oracle Cloud Infrastructure Logging ingirió la línea de log en formato de registro de hora de RFC 3339.
data[i].id	Identificador único para este evento de log.
data[i].time	Hora en la que se generó esta entrada de log específica. Debe cumplir el formato especificado en RFC 3339.
datos[i].datos	Datos no vacíos que representan un evento de log.
data.data[i].nivel	El nivel de registro del evento de registro.
data.data[i].mensaje	Un mensaje que describe los detalles del evento.
data.data[i].opcRequestId	ID de solicitud único asignado por Oracle que se genera cuando se envía la ejecución de Data Flow y se incluye en la respuesta createRun.
data.data[i].runId	OCID de Data Flow ejecutado cuyo recurso (un controlador o ejecutor de Spark) ha generado este mensaje.
data.data[i].thread	Nombre del thread que ha generado el evento de registro.

Ejemplo de log de diagnóstico de Spark de flujo de datos

{
  "datetime": 1687551602245,
  "logContent": {
    "data": {
      "logLevel": "INFO",
      "message": "Execution complete.",
      "opcRequestId": "<unique_ID>",
      "runId": "ocid1.dataflowrun.oc1.ca-toronto-1.<unique_ID>",
      "thread": "shaded.dataflow.oracle.dfcs.spark.wrapper.DataflowWrapper"
    },
    "id": "<unique_ID>",
    "oracle": {
      "compartmentid": "ocid1.tenancy.oc1..<unique_ID>",
      "ingestedtime": "2023-06-23T20:20:06.974Z",
      "loggroupid": "ocid1.loggroup.oc1.ca-toronto-1.<unique_ID>",
      "logid": "ocid1.log.oc1.ca-toronto-1.<unique_ID>",
      "tenantid": "ocid1.tenancy.oc1..<unique_ID>"
    },
    "source": "Sample CSV Processing App",
    "specversion": "1.0",
    "subject": "spark-driver",
    "time": "2023-06-23T20:20:02.245Z",
    "type": "com.oraclecloud.dataflow.run.driver"
  },
  "regionId": "ca-toronto-1"
}

Uso de CLI

Consulte Activación de logs de diagnóstico de Spark de Oracle Cloud Infrastructure Logging para obtener un comando de ejemplo para activar el registro de diagnóstico de Spark de Data Flow.

Documentación de Oracle Cloud Infrastructure