Detalhes do Serviço Data Flow
Detalhes de log para logs de diagnóstico do Spark do serviço Data Flow.
Recursos
- aplicativos
Categoria de Log
| Valor da API (ID): | Console (Nome para Exibição) | Descrição |
|---|---|---|
| all | Diagnóstico | Inclui todos os logs gerados pela estrutura do Apache Spark (driver e executores). |
Disponibilidade
O registro em log do serviço Data Flow está disponível em todas as regiões dos realms comerciais.
Comentários
Os logs de diagnóstico do Spark só podem ser ativados no nível do aplicativo Data Flow e não podem ser substituídos.
Se você ativar o registro em log de um aplicativo Data Flow, os logs de diagnóstico do Spark serão transmitidos para qualquer nova submissão de execução do serviço Data Flow. Execuções já aceitas ou em andamento não são atualizadas.
Conteúdo de um Log de Diagnóstico do Spark do Serviço Data Flow
| Propriedade | Descrição |
|---|---|
| specversion | Versão do esquema do Oracle Cloud Infrastructure Logging do log. |
| type | Categoria de log que segue a convenção com.oraclecloud.{service}.{resource-type}.{category}.com.oraclecloud.dataflow.run.driver com.oraclecloud.dataflow.run.executor |
| source | Nome do recurso que gerou a mensagem. |
| subject | Um recurso específico que gerou o evento. |
| id | Um identificador exclusivo de origem para esta ingestão de lote. |
| time | A hora em que a saída da função foi gerada, no formato de timestamp RFC 3339. |
| oracle.logid | OCID do objeto de log do Oracle Cloud Infrastructure Logging. |
| oracle.loggroupid | OCID do grupo de logs do Oracle Cloud Infrastructure Logging. |
| oracle.compartmentid | OCID do compartimento no qual o grupo de logs do Oracle Cloud Infrastructure Logging está. |
| oracle.tenantid | OCID do tenant. |
| oracle.ingestedtime | Hora em que a linha de log foi ingerida pelo Oracle Cloud Infrastructure Logging, no formato de timestamp RFC 3339. |
| data[i].id | Identificador Exclusivo para este evento de log. |
| data[i].time | Horário em que essa entrada de log específica foi gerada. Deve seguir o formato especificado em RFC 3339. |
| dados[i].dados | Dados não vazios que representam um evento de log. |
| data.data[i].level | O nível de log do evento de log. |
| data.data[i].mensagem | Uma mensagem descrevendo os detalhes do evento. |
| data.data[i].opcRequestId | Um ID de solicitação exclusivo designado pela Oracle gerado quando a execução do serviço Data Flow foi enviada e incluída na resposta createRun. |
| data.data[i].runId | O OCID da execução do serviço Data Flow cujo recurso (um driver ou executor do Spark) gerou essa mensagem. |
| data.data[i].thread | O nome do thread que gerou o evento de log. |
Exemplo de Log de Diagnóstico do Spark do Serviço Data Flow
{
"datetime": 1687551602245,
"logContent": {
"data": {
"logLevel": "INFO",
"message": "Execution complete.",
"opcRequestId": "<unique_ID>",
"runId": "ocid1.dataflowrun.oc1.ca-toronto-1.<unique_ID>",
"thread": "shaded.dataflow.oracle.dfcs.spark.wrapper.DataflowWrapper"
},
"id": "<unique_ID>",
"oracle": {
"compartmentid": "ocid1.tenancy.oc1..<unique_ID>",
"ingestedtime": "2023-06-23T20:20:06.974Z",
"loggroupid": "ocid1.loggroup.oc1.ca-toronto-1.<unique_ID>",
"logid": "ocid1.log.oc1.ca-toronto-1.<unique_ID>",
"tenantid": "ocid1.tenancy.oc1..<unique_ID>"
},
"source": "Sample CSV Processing App",
"specversion": "1.0",
"subject": "spark-driver",
"time": "2023-06-23T20:20:02.245Z",
"type": "com.oraclecloud.dataflow.run.driver"
},
"regionId": "ca-toronto-1"
}Usando a CLI
Consulte Ativar Logs de Diagnóstico do Spark do Oracle Cloud Infrastructure Logging para obter um exemplo de comando para ativar o log de diagnóstico do Spark do serviço Data Flow.