Dettagli per flusso di dati
Dettagli di log per i log di diagnostica Spark di Data Flow.
Risorse
- applicazioni
Categorie di log
| Valore API (ID): | Console (nome visualizzato) | descrizione; |
|---|---|---|
| tutte | Diagnostica | Include tutti i log generati dal framework Apache Spark (driver ed esecutori). |
Disponibilità
La registrazione del flusso di dati è disponibile in tutte le aree dei regimi commerciali.
commenti
I log di diagnostica Spark possono essere abilitati solo a livello di applicazione Flusso dati e non possono essere sostituiti.
Se si abilita il log per un'applicazione Flusso dati, i log di diagnostica Spark vengono trasmessi in streaming per qualsiasi nuova sottomissione dell'esecuzione del flusso dati. Le esecuzioni già accettate o in corso non vengono aggiornate.
Contenuto di un log di diagnostica Spark di flusso di dati
| Proprietà | descrizione; |
|---|---|
| specversione | Versione dello schema di Oracle Cloud Infrastructure Logging del log. |
| Tipo | Categoria di log che segue la convenzione com.oraclecloud.{service}.{resource-type}.{category}.com.oraclecloud.dataflow.run.driver com.oraclecloud.dataflow.run.executor |
| origine | Nome della risorsa che ha generato il messaggio. |
| soggetto | Una risorsa secondaria specifica che ha generato l'evento. |
| id | Un identificativo unico di origine per questa inclusione batch. |
| tempo | Ora di generazione dell'output della funzione, nel formato dell'indicatore orario RFC 3339. |
| oracle.logid | OCID dell'oggetto log di Oracle Cloud Infrastructure Logging. |
| oracle.loggroupid | OCID del gruppo di log di Oracle Cloud Infrastructure Logging. |
| oracle.compartmentid | OCID del compartimento in cui si trova il gruppo di log di Oracle Cloud Infrastructure Logging. |
| oracle.tenantid | OCID del tenant. |
| oracle.ingestedtime | Ora in cui la riga di log è stata inserita da Oracle Cloud Infrastructure Logging, nel formato indicatore orario RFC 3339. |
| dati[i].id | Identificativo univoco per questo evento di log. |
| data[i].ora | L'ora in cui questa specifica voce registro è stata generata. Deve essere conforme al formato specificato in RFC 3339. |
| dati[i].dati | Dati non vuoti che rappresentano un evento di log. |
| data.data[i].livello | Il livello di log dell'evento di log. |
| data.data[i].messaggio | Messaggio che descrive i dettagli dell'evento. |
| data.data[i].opcRequestId | Un ID richiesta assegnato da Oracle univoco generato quando l'esecuzione del flusso di dati è stata sottomessa e inclusa nella risposta createRun. |
| data.data[i].runId | OCID dell'esecuzione del flusso di dati la cui risorsa (un driver o un esecutore Spark) ha generato questo messaggio. |
| data.data[i].thread | Il nome del thread che ha generato l'evento di log. |
Log di diagnostica Spark del flusso di dati di esempio
{
"datetime": 1687551602245,
"logContent": {
"data": {
"logLevel": "INFO",
"message": "Execution complete.",
"opcRequestId": "<unique_ID>",
"runId": "ocid1.dataflowrun.oc1.ca-toronto-1.<unique_ID>",
"thread": "shaded.dataflow.oracle.dfcs.spark.wrapper.DataflowWrapper"
},
"id": "<unique_ID>",
"oracle": {
"compartmentid": "ocid1.tenancy.oc1..<unique_ID>",
"ingestedtime": "2023-06-23T20:20:06.974Z",
"loggroupid": "ocid1.loggroup.oc1.ca-toronto-1.<unique_ID>",
"logid": "ocid1.log.oc1.ca-toronto-1.<unique_ID>",
"tenantid": "ocid1.tenancy.oc1..<unique_ID>"
},
"source": "Sample CSV Processing App",
"specversion": "1.0",
"subject": "spark-driver",
"time": "2023-06-23T20:20:02.245Z",
"type": "com.oraclecloud.dataflow.run.driver"
},
"regionId": "ca-toronto-1"
}Uso dell'interfaccia CLI
Per un comando di esempio per abilitare il log di diagnostica di Data Flow Spark, vedere Abilita log di diagnostica Oracle Cloud Infrastructure Logging Spark.