Journaux d'exportation

Si vous voulez stocker les résultats de recherche hors ligne, Oracle Log Analytics vous permet d'exporter les résultats de la recherche au format CSV (Valeurs séparées par des virgules), JavaScript Object Notation (JSON) ou Parquet.

Rubriques :

Pour exporter des résultats de requête à l'aide de l'interface de ligne de commande, reportez-vous à Référence de ligne de commande.

Pour exporter des résultats de recherche à partir de la console :

Recherchez dans les journaux pour obtenir le résultat souhaité.
Cliquez sur Actions, puis sur Exporter.
Pour le format de fichier, sélectionnez Valeurs séparées par des virgules ou JavaScript Object Notation.
En outre, vous pouvez exporter les résultats de recherche au format Parquet à l'aide de l'interface de ligne de commande et de l'API REST. Pour obtenir un exemple, reportez-vous à Exemples d'exportation de journaux.
Entrez le nom du fichier, puis cliquez sur Exporter.

Dans le cas des visualisations Enregistrements et Histogramme, les résultats de recherche sont exportés en fonction de l'heure, du contenu de journal d'origine et de tous les champs d'affichage sélectionnés. Dans le cas de la visualisation Table, les résultats de recherche sont exportés en fonction de l'heure et des champs d'affichage sélectionnés. Pour toute autre visualisation, les résultats de la requête affichée dans la visualisation sélectionnée sont exportés.

Limites d'export

Si le résultat de l'export peut être transmis en continu, le nombre maximal de résultats extraits de la source de données est de 1 000 000. S'il n'est pas transmis en continu, le nombre maximal est :

500 si la requête inclut la commande link
10 000 si la requête n'inclut pas la commande link
10 000 si la requête inclut des commandes telles que head, tail ou stats.

Exportations importantes

Oracle Log Analytics est optimisé pour la recherche et l'agrégation de journaux, mais pas pour l'exportation de grandes quantités de données. Les exportations importantes sont limitées et limitées afin de minimiser l'impact sur le système.

Limites et restrictions de requête d'export

Limites:
- Un export maximum par seconde
- 7 exportations maximum par minute
- Un maximum de 100 exportations par 15 minutes
Commandes non autorisées :

Un champ Large est celui qui est utilisé pour stocker une grande quantité de données. Les commandes suivantes ne peuvent pas être utilisées avec des champs volumineux dans les requêtes utilisées pour exporter les journaux en raison d'une utilisation élevée des ressources.
```
extract
jsonextract
xmlextract

eval/where
   substr
   replace
   reverse
```
En outre, évitez d'utiliser LIKE avec des champs volumineux dans votre requête.

Vous trouverez ci-dessous des exemples de champs volumineux :
```
Arguments
Call Stack Trace
Data Received
Data Sent
Environment
Error Stack Dump
Error Text
Exception
Message
Original Log Content
Resource Limit Settings
SQL Bind Variables
SQL Statement
Stack Trace
Supplemental Detail
URI
```
N'affectez pas de champs volumineux à des variables temporaires et utilisez-les avec les commandes ci-dessus. Un champ dérivé d'opérations telles que ci-dessous ne peut pas être utilisé avec les commandes ci-dessus :
```
message
message || a, 
a || message, 
concat(message, a), 
concat(a, message), 
upper(message), 
lower(message), 
trim(message), 
ltrim(message), 
rtrim(message)
```
Au lieu d'utiliser des requêtes avec caractères génériques et des commandes telles que extract ou regex dans votre requête d'export, définissez des champs étendus et utilisez ces champs pour répondre à ces exigences. Reportez-vous à Utilisation de champs étendus dans les sources.
Si vous utilisez le partitionnement des journaux :

Si vous avez activé le partitionnement de journal dans votre locataire, vous pouvez inclure un maximum de 5 ensembles de journaux dans la requête d'export.
Requêtes pour l'export en continu :

La commande sort n'est pas prise en charge dans les requêtes d'export de transmission en continu.

Exemples d'export de journaux

Exporter les journaux avec des champs spécifiques au format CSV : modifiez la chaîne de requête pour inclure uniquement les champs obligatoires avec fields -,* 'User ID', 'Host IP Address', Status, Time et utilisez le paramètre --output-format. Par exemple :
```
oci log-analytics query export --output-format CSV --compartment-id $compartment_id --namespace-name $namespace_name --query-string "fields -,* 'User ID', 'Host IP Address', Status, Time" --file $file
```
Exporter un grand nombre de journaux (50 000 enregistrements de journal) : utilisez le paramètre --max-total-count avec oci log-analytics query export pour limiter la sortie à 50 000 enregistrements. Par exemple :
```
oci log-analytics query export --compartment-id $compartment_id --namespace-name $namespace_name --query-string $query_string --max-total-count 50000 --file $file
```

Exporter les journaux pour une plage de dates spécifique : utilisez les paramètres --time-start et --time-end dans oci log-analytics query export. Par exemple :

oci log-analytics query export --compartment-id $compartment_id --namespace-name $namespace_name --query-string $query_string --time-start 2024-12-15T20:30Z --time-end 2025-03-15T20:29Z --file $file

Exporter les journaux au format parquet (pq) : reportez-vous à API : référence ExportDetails et à CLI : export de requête.

oci log-analytics query export --output-format PARQUET --compartment-id $compartment_id --namespace-name $namespace_name --query-string $query_string --file $file

Lire le fichier de parquet exporté :

import pandas as pd
table = pd.read_parquet('example.parquet')

La table Parquet utilise des noms internes de colonne de requête. Les noms d'affichage des colonnes sont stockés dans les métadonnées du fichier de parquet.

import json
import pyarrow.parquet as pq
metadata = pq.read_metadata('example.parquet').metadata
fields = json.loads(metadata[b'parquet.avro.schema'])['fields']
table.rename(columns={ field['name'] : field['doc'] for field in fields })

Documentation Oracle Cloud Infrastructure

Journaux d'exportation