Téléchargement de journaux à la demande
Si vous voulez inclure des fichiers journaux dans Oracle Logging Analytics sans les collecter en continu à l'aide de l'agent de gestion, vous pouvez effectuer un téléchargement à la demande. Vous pouvez effectuer autant de téléchargements à la demande que nécessaire pour télécharger les journaux à analyser.
Les fonctionnalités du téléchargement à la demande sont les suivantes :
-
Vous pouvez télécharger un seul fichier journal brut ou un fichier d'archive (
.zip
,.gz
,.tgz
,.tar
) contenant plusieurs fichiers journaux. Le nombre de fichiers dans une archive doit être inférieur à 2 000, répertoires inclus le cas échéant. -
La taille de fichier maximale pour un téléchargement (fichier unique ou fichier ZIP) est de 1 Go. La taille non compressée du fichier doit être inférieure à 10 Go.
-
Vous pouvez attribuer un nom à chaque téléchargement pour y faire référence facilement. En réutilisant le nom, vous pouvez télécharger des fichiers à différents moments avec le même nom de téléchargement.
-
Le nombre de noms de téléchargement uniques autorisés par location dans une région est limité à 10 000.
-
Vous pouvez attacher des métadonnées supplémentaires à chaque enregistrement de journal en fournissant un fichier de métadonnées avec les données de journal.
-
Les informations de configuration de téléchargement et le statut de traitement correspondant sont disponibles pendant 90 jours.
-
Nombre de fichiers de téléchargement affichés dans la console ou répertoriés à l'aide de la CLI :
Dans la console, 200 fichiers au maximum sont affichés par défaut. Vous pouvez rechercher un fichier spécifique dans votre téléchargement à la demande en indiquant le nom du fichier ou du groupe de journaux dans le filtre.
A l'aide de la CLI, vous pouvez spécifier la limite de liste pour une page à l'aide de la commande suivante :
oci log-analytics upload list-upload-files limit <new_listing_limit> page <page_number>
- limite : nombre maximal de fichiers de téléchargement à répertorier. La valeur par défaut est 50 et la valeur maximale autorisée est 200.
- page : jeton de page représentant la page sur laquelle commencer à extraire les résultats. Il est généralement extrait d'un appel de liste précédent.
Reportez-vous à la section CLI Documentation : list-upload-files.
Prérequis : avant de commencer à télécharger des données de journal à la demande, veillez à collecter les informations suivantes :
- Nom de la nouvelle source de journal ou d'une source de journal définie par Oracle correspondant au format de journal. Reportez-vous à Sources définies par Oracle et à Création d'une source.
Pour effectuer un téléchargement à la demande, la source doit être du type Messages d'événement système (Syslog), Fichier ou Journaux de diagnostic Oracle (ODL).
- OCID du groupe de journaux dans lequel stocker ces journaux pour contrôler les accès utilisateur aux journaux. Reportez-vous à Création de groupes de journaux pour stocker vos journaux.
- OCID d'entité si vous voulez mettre en correspondance les journaux que vous téléchargez (facultatif). Reportez-vous à Création d'une entité pour représenter la ressource émettrice de journal.
Droit d'accès requis pour le téléchargement à la demande
Rubriques :
- Autoriser les utilisateurs à effectuer des opérations de création, d'obtention et de liste de chargement à la demande
- Autoriser les utilisateurs à effectuer une opération de suppression de chargement à la demande
Autoriser les utilisateurs à effectuer des opérations de création, d'obtention et de liste de chargement à la demande
Vous pouvez permettre aux utilisateurs d'effectuer des opérations de téléchargement à la demande de type Créer, Obtenir et Liste en accordant de manière sélective uniquement les droits d'accès requis pour effectuer ces tâches de téléchargement à la demande, en accordant des droits d'accès individuels au type de ressource ou en accordant des droits d'accès de niveau agrégé plus étendus. Vous pouvez donc sélectionner l'un des trois ensembles d'instructions de stratégie fournis ci-dessous, en fonction de votre cas d'emploi.
Les instructions de stratégie IAM suivantes permettent de fournir les droits d'accès spécifiques au groupe d'utilisateurs pour les opérations de création, d'obtention et de liste lors du téléchargement à la demande :
allow group <group_name> to {LOG_ANALYTICS_LOG_GROUP_UPLOAD_LOGS} in compartment <log_group_compartment>
allow group <group_name> to {LOG_ANALYTICS_ENTITY_UPLOAD_LOGS} in compartment <entity_compartment>
allow group <group_name> to {LOG_ANALYTICS_SOURCE_READ} in tenancy
allow group <group_name> to use loganalytics-ondemand-upload in tenancy
Les instructions de stratégie IAM suivantes permettent d'accorder des droits d'accès au niveau des types individuels de ressource afin d'utiliser le téléchargement à la demande :
allow group <group_name> to use loganalytics-ondemand-upload in tenancy
allow group <group_name> to use loganalytics-log-group in compartment <log_group_compartment>
allow group <group_name> to read loganalytics-source in tenancy
allow group <group_name> to {LOG_ANALYTICS_ENTITY_UPLOAD_LOGS} in compartment <entity_compartment>
D'autre part, les instructions de stratégie IAM suivantes permettent de fournir des droits d'accès au niveau des ressources agrégées Oracle Logging Analytics afin d'utiliser le téléchargement à la demande :
allow group <group_name> to use loganalytics-features-family in tenancy
allow group <group_name> to use loganalytics-resources-family in tenancy/compartment
Dans toutes les instructions de stratégie ci-dessus, group_name
fait référence au groupe d'utilisateurs auquel les droits d'accès requis doivent être accordés.
Autoriser les utilisateurs à effectuer une opération de suppression de chargement à la demande
Vous pouvez permettre aux utilisateurs d'effectuer l'opération de téléchargement à la demande Supprimer en accordant de manière sélective uniquement les droits d'accès requis pour effectuer la tâche de suppression de téléchargement à la demande, en accordant des droits d'accès de type de ressource individuels ou en accordant des droits d'accès de niveau agrégé plus étendus. Vous pouvez donc sélectionner l'un des trois ensembles d'instructions de stratégie fournis ci-dessous, en fonction de votre cas d'emploi.
Les instructions de stratégie IAM suivantes sont spécifiquement destinées à fournir le droit d'accès au groupe d'utilisateurs pour l'opération de suppression :
allow group <group_name> to use loganalytics-ondemand-upload in tenancy
allow group <group_name> to {LOG_ANALYTICS_LOG_GROUP_DELETE_LOGS} in compartment <log_group_compartment>
allow group <group_name> to {LOG_ANALYTICS_QUERY_VIEW} in tenancy
allow group <group_name> to {COMPARTMENT_QUERY} in tenancy
Les instructions de stratégie IAM suivantes permettent de fournir des droits d'accès au niveau des types individuels de ressource pour l'opération de suppression de téléchargement à la demande :
allow group <group_name> to use loganalytics-ondemand-upload in tenancy
allow group <group_name> to manage loganalytics-log-group in compartment <log_group_compartment>
allow group <group_name> to read loganalytics-query in tenancy
allow group <group_name> to read compartments in tenancy
Les instructions de stratégie IAM suivantes permettent de fournir des droits d'accès au niveau des ressources agrégées Oracle Logging Analytics pour l'opération de suppression de téléchargement à la demande :
allow group <group_name> to use loganalytics-features-family in tenancy
allow group <group_name> to manage loganalytics-resources-family in tenancy/compartment
allow group <group_name> to read compartments in tenancy
Dans toutes les instructions de stratégie ci-dessus, group_name
fait référence au groupe d'utilisateurs auquel les droits d'accès requis doivent être accordés.
Téléchargement à la demande à l'aide de la console
Vous pouvez télécharger les fichiers journaux à l'aide de l'assistant Téléchargement à la demande disponible sur la console de service d'Oracle Logging Analytics.
Téléchargement à la demande à l'aide de l'interface de ligne de commande
Vous pouvez utiliser l'interface de ligne de commande OCI pour télécharger les fichiers journaux vers Oracle Logging Analytics. Cette interface simple permet d'automatiser les téléchargements en intégrant l'interface de ligne de commande à votre application.
Pour plus d'informations sur l'utilisation de l'interface de ligne de commande, reportez-vous à Interface de ligne de commande (CLI).
Afin d'obtenir la liste complète des indicateurs et des options disponibles pour les commandes d'interface de ligne de commande, reportez-vous à Référence de ligne de commande : Logging Analytics - Téléchargement.
Exécutez les commandes d'interface de ligne de commande suivantes pour gérer loganalytics-ondemand-upload :
-
Télécharger le fichier journal :
oci log-analytics upload upload-log-file --namespace-name <namespace_name> --log-source-name <log-source-name> --upload-name <upload-name> --filename <file_name> --opc-meta-loggrpid <opc-meta-loggrpid> --file <path_to_log_file>
Exemple de réponse à la commande ci-dessus :
{ "data": { "name": null, “reference” : “32817130200562135", “timeCreated” : “2020-06-01T12:00:00.000Z”, "time-earliest-log-entry": null, "time-latest-log-entry": null, "time-updated": null, "warnings-count": null } }
-
Supprimer le téléchargement :
oci log-analytics upload delete --namespace-name <namespace_name> --upload-reference <upload-reference>
-
Répertorier les téléchargements :
oci log-analytics upload list --namespace-name <namespace_name>
-
Obtenir le téléchargement :
oci log-analytics upload get --namespace-name <namespace_name> --upload-reference <upload-reference>
-
Répertorier les fichiers de téléchargement :
oci log-analytics upload list-upload-files --namespace-name <namespace_name> --upload-reference <upload-reference>
-
Supprimer le fichier de téléchargement :
oci log-analytics upload delete-upload-file --namespace-name <namespace_name> --upload-reference <upload-reference> --file-reference <file-reference>
Vérification d'un téléchargement à la demande à l'aide de la console
Une fois le téléchargement à la demande des données de journal terminé, vous pouvez visualiser le récapitulatif des téléchargements et vérifier le statut de fichier.
- Ouvrez le menu de navigation et cliquez sur Observation et gestion. Sous Logging Analytics, cliquez sur Administration. La page Présentation de l'administration apparaît.
- Sur le panneau de gauche, sous Ressources, cliquez sur Téléchargements. Les derniers téléchargements à la demande sont affichés.
- Pour visualiser les données traitées du téléchargement, cliquez sur l'icône de menu
correspondant au téléchargement, puis sélectionnez Afficher dans l'explorateur de journaux.
- Pour afficher la liste des fichiers du téléchargement, ainsi que leur statut de traitement, cliquez sur le nom du téléchargement.
Suppression des fichiers journaux téléchargés à l'aide de la console
Une fois le téléchargement à la demande des données de journal terminé, vous pouvez visualiser le récapitulatif des téléchargements et vérifier le statut de fichier. Si vous constatez l'échec du téléchargement de fichier ou que vous ne voulez plus conserver les fichiers pour ce téléchargement, vous pouvez les supprimer.
Ajout de métadonnées supplémentaires au téléchargement
Créez un fichier JSON de métadonnées et nommez-le uploads_metadata.json
. Voici un exemple de fichier de métadonnées :
{
"field1":"value1",
"field2":"value2"
}
Dans le fichier ci-dessus, field1 et field2 sont des champs définis par Oracle ou par l'utilisateur. Reportez-vous à Création d'un champ. Tous ces champs et les valeurs fournies sont ajoutés à chaque enregistrement de journal analysé.
Créez un fichier d'archive ZIP contenant les données de journal réelles dans l'un des formats de fichier pris en charge, ainsi que le fichier uploads_metadata.json
. Le fichier uploads_metadata.json
doit se trouver dans la hiérarchie supérieure du fichier ZIP.