Gestion du stockage

Les données de journal incluses dans Oracle Logging Analytics sont disponibles dans le stockage actif pour analyse. Vous pouvez effectuer les activités de stockage suivantes en fonction de vos besoins :

  • Archiver les journaux : si vous voulez utiliser vos anciens journaux pour analyse à l'avenir, activez l'archivage et indiquez le nombre de jours à partir de l'horodatage du journal au bout duquel les données de journal doivent être déplacées automatiquement du stockage actif vers le stockage d'archive, disponible à moindre coût. Vous pouvez également rappeler les données de journal archivées pour les utiliser activement. Reportez-vous à Archivage des données de journal.

    • Rappeler les journaux archivés : une fois les données de journal archivées, vous pouvez rappeler les données de journal sélectionnées pour les utiliser activement. Les journaux sont sélectionnés pour rappel selon la période spécifiée pour les horodatages des journaux. Vous pouvez libérer les journaux rappelés dans le pool d'archivage après leur utilisation active. Les données rappelées sont prises en compte dans votre utilisation active du stockage jusqu'à ce que vous les libériez. Reportez-vous à Rappel de journaux archivés.

    • Libérer les journaux rappelés : utilisez cette option pour renvoyer les journaux rappelés dans le stockage d'archive afin d'optimiser vos coûts de stockage. Reportez-vous à l'étape 8 dans Rappel de journaux archivés.

  • Purger les journaux : vous pouvez purger les données de journal inutilisées ou anciennes pour réduire la taille du stockage actif consommé. Vous pouvez effectuer une purge à la demande ou créer une stratégie de purge. Reportez-vous à Purge des données de journal.

  • Visualiser le rapport d'activité de stockage : utilisez cette fenêtre à panneau unique pour assurer le suivi de toutes vos activités de gestion du stockage et pour effectuer d'autres tâches de gestion. Reportez-vous à Visualisation du rapport d'activité de stockage.

Vous pouvez utiliser le prédicat Recall dans votre requête pour filtrer les journaux rappelés, les journaux actifs ou les deux. Reportez-vous à Requête de prédicat pour filtrer les journaux rappelés.

Remarque

Votre stratégie d'archivage et votre activité de rappel peuvent ne pas se terminer si les chronologies se chevauchent avec la stratégie de purge. Vérifiez la stratégie de purge et le paramètre d'archivage afin d'éviter la perte des données de journal à archiver.

Archivage des données de journal

Si vous utilisez uniquement les journaux récents pour vos tâches de recherche et d'analyse dans Oracle Logging Analytics, activez l'archivage afin d'optimiser les coûts de stockage.

Remarque

  • Vous pouvez activer l'archivage uniquement si vous disposez de la taille minimale spécifiée de données dans le stockage actif. Actuellement, cette taille est de 1 To.

  • La durée de stockage actif (jours) minimale pour les journaux avant qu'ils ne puissent être archivés est de 30 jours.

  1. Ouvrez le menu de navigation et cliquez sur Observation et gestion. Sous Logging Analytics, cliquez sur Administration. La page Présentation de l'administration apparaît.

  2. Les ressources d'administration sont répertoriées dans le panneau de navigation de gauche sous Ressources. Cliquez sur Stockage.

    La page Stockage apparaît.

  3. Cliquez sur Activer l'archivage. Dans la boîte de dialogue Activer l'archivage,

    • Dans le champ Durée de stockage active (jours), entrez le nombre de jours au bout desquels doivent être archivées les données du journal du stockage active.

      Le nombre de jours est calculé en fonction de l'horodatage des journaux. Par exemple, si l'horodatage des journaux est November 4, 2020 23:43:12 et que vous avez défini la durée de stockage actif sur 30 jours, les journaux sont déplacés vers le stockage d'archive à la date December 3, 2020.

      Remarque

      Même si vous indiquez la durée de stockage actif des journaux pour déterminer les journaux à déplacer vers le stockage d'archive, la structure d'index de journal est basée sur les buckets utilisés pour le stockage des journaux. Dans un scénario classique, un bucket entier est déplacé vers le stockage d'archive lorsque l'ancienneté de tous les journaux qu'il contient est supérieure à la valeur spécifiée.

      Par exemple, supposons que le champ Durée de stockage actif est défini sur 30 jours :

      • Bucket_1 contient des journaux d'une ancienneté de 40 à 80 jours : les données de journal sont compatibles et déplacées vers le stockage d'archive.
      • Bucket_2 contient des journaux d'une ancienneté de 25 à 40 jours : même si certaines données de journal sont admissibles à l'archivage, elles ne sont pas archivées tant que tous les journaux ne présentent pas l'ancienneté définie.
      • Bucket_3 contient des journaux d'une ancienneté de 0 à 25 jours : aucun des journaux n'est admissible à l'archivage. Le bucket entier est archivé lorsque tous les journaux deviennent admissibles.

      Dans le scénario ci-dessus, une fois les journaux de Bucket_1 archivés, si d'autres journaux sont collectés et datent de plus de 40 jours, ils sont généralement ajoutés à Bucket_2.

    • Par défaut, les données de journal restent dans le stockage d'archivage pendant une durée indéterminée. La case à cocher Indéfiniment est activée en regard du champ Durée de stockage d'archivage (jours).

      Vous pouvez modifier la durée en désactivant la case à cocher et en saisissant le nombre de jours après lesquels les données de journal dans le stockage d'archivage doivent être purgées dans le champ Durée du stockage d'archivage (jours).

    Cliquez sur Activer.

  4. Si vous avez déjà activé l'archivage et que vous voulez en modifier les paramètres, cliquez sur Modifier les paramètres d'archivage. Vous pouvez effectuer les tâches suivantes :

    • Vous pouvez modifier le nombre de jours spécifié pour l'archivage sous Durée de stockage actif (jours).
    • Vous pouvez modifier la valeur du nombre de jours indiqué pour la purge des journaux du stockage d'archivage sous Durée du stockage d'archivage (jours) ou activer la case à cocher Indéfiniment pour conserver définitivement les journaux dans le stockage d'archivage.
    • Cliquez sur Désactiver l'archivage pour arrêter l'archivage.

    Cliquez sur Enregistrer les modifications.

Rappel de journaux archivés

Vous pouvez rappeler les journaux archivés à des fins d'affichage et d'analyse. Une fois rappelées, les données sont comptabilisées dans votre utilisation du stockage actif jusqu'à leur libération dans l'archive.

Vous pouvez rappeler et libérer les mêmes jeux de journaux plusieurs fois. Il n'y a aucune dépendance entre les rappels, même si leurs plages de temps ou leurs requêtes se chevauchent.

Remarque

Chaque rappel est facturé en fonction de l'utilisation du stockage actif qu'il génère.

  1. Ouvrez le menu de navigation et cliquez sur Observation et gestion. Sous Logging Analytics, cliquez sur Administration. La page Présentation de l'administration apparaît.

  2. Les ressources d'administration sont répertoriées dans le panneau de navigation de gauche sous Ressources. Cliquez sur Stockage.

    La page Stockage apparaît.

  3. Sur la page Stockage, sur le panneau de gauche sous Ressources, cliquez sur Demandes de rappel d'archivage.

    La page Demandes de rappel d'archivage affiche les demandes de rappel précédemment lancées.

  4. Cliquez sur Créer une demande de rappel. La boîte de dialogue Créer une demande de rappel apparaît.

  5. Indiquez le objectif du rappel. Cela peut vous aider à identifier votre demande de rappel.

  6. Si vous avez défini un ensemble de journaux, vous pouvez éventuellement indiquer des ensembles de journaux pour filtrer les données rappelées. Pour spécifier plusieurs ensembles de journaux, utilisez la séparation par virgule.

  7. Sélectionnez la période des journaux à rappeler, en indiquant l'heure de début définie par l'utilisateur et l'heure de fin définie par l'utilisateur.

  8. Cliquez sur Estimer la taille du journal de rappel. La section Ensemble de données recommandé pour l'analyse s'ouvre. La taille des journaux que vous avez sélectionnés pour rappel est affichée en regard de l'en-tête Taille maximale des données rappelées avant le filtrage.

    Les heures de début et de fin sont étendues pour s'aligner sur la structure d'index de journal en fonction des buckets. Par conséquent, lorsque vous affichez la liste des rappels actifs ou que vous accédez à l'onglet de l'activité, vous pouvez obtenir des heures de début et de fin étendues au-delà de la période choisie.

  9. Une autre période est recommandée en fonction de la disponibilité des données. Pour sélectionner la période que vous avez indiquée précédemment au lieu de la période recommandée, cochez la case Ne pas utiliser l'ensemble de données recommandé pour le rappel

  10. Indiquez la requête pour filtrer l'ensemble de données. Excluez l'heure et l'ensemble de journaux de la requête.

    La spécification des filtres réduit la taille réelle des données rappelées. Cependant, le filtre n'a pas d'impact sur cette estimation.

    Remarque

    Seuls les filtres de recherche ou les expressions régulières sont pris en charge dans la requête. Evitez d'ajouter des barres verticales, des agrégats ou des fonctions statistiques à la requête.

    Vous pouvez utiliser n'importe quel champ de journal pour filtrer les données avec la requête, à l'exception de l'heure et de l'ensemble de journaux.

    Voici quelques exemples de recherches non valides :

    • Entity = ‘test1’ | search ‘xyz’

      A la place, vous pouvez utiliser Entity = 'test1' and 'xyz', qui est valide. De même, des exemples plus valides incluent 'Entity = 'test1' et 'Log Source' = 'AVDF Alert Linux Syslog' and 'xyz'.

    • Entity = ‘test1’ | stats count

      La requête ci-dessus n'a pas de solution de contournement car elle a une fonction statistique et un pipe. Cependant, l'utilisation du filtre d'entité uniquement est valide : Entity = ‘test1’.

  11. Cliquez sur Créer une demande de rappel pour poursuivre le rappel des journaux sélectionnés.

    L'activité de rappel est répertoriée sur la page Demandes de rappel d'archivage. Le tableau indique le statut, la période, la taille des données et la date et l'heure de demande de l'activité de rappel, l'utilisateur qui a lancé le rappel et l'objectif du rappel.

    Vérifiez le statut de l'activité de rappel. Vous pouvez utiliser les journaux rappelés pour consultation et analyse une fois l'activité de rappel terminée.

    Remarque

    Si le statut de votre rappel est PARTIAL_RECALLED, libérez-le et relancez-le car le rappel en cours n'inclut pas de données complètes à analyser.

    Si l'icône de taille des données d'une collection est affichée en orange, de nouvelles données de journal supplémentaires sont disponibles pour rappel. Cliquez sur l'icône de données icône de nouvelles données, puis sur Rappeler de nouvelles données pour lancer le rappel des nouvelles données. La boîte de dialogue Rappeler les nouvelles données s'ouvre. La requête permettant de filtrer l'ensemble de données et la période de rappel des données sont prédéfinies. Indiquez l'objectif du rappel et cliquez sur Créer une demande de rappel.

  12. Après une utilisation active des journaux rappelés, si vous voulez les libérer dans le pool d'archivage, cliquez sur l'icône de menu d'actions Icône Actions de la ligne correspondant aux journaux rappelés, puis sélectionnez Libérer.

    Les journaux rappelés sont libérés dans le pool d'archivage. Vous pouvez ainsi optimiser la taille et les coûts de stockage.

    Remarque

    Lors de la libération des journaux rappelés à l'aide de l'API REST, notez la période de rappel à partir de la console ou de la CLI, et formatez l'heure comme suit :

    • Heure de début du rappel : arrondissez à la valeur inférieure (plancher). Si l'heure de début du rappel est From Mon, Mar 7, 2022, 05:45:33 UTC, arrondissez-la à la valeur inférieure et indiquez-la en tant que from_time=2022-03-07T5:45:32.000Z.
    • Heure de fin du rappel : arrondissez la valeur à la valeur supérieure (plafond). Si l'heure de fin du rappel est To Wed, Mar 15, 2023, 17:26:53 UTC, arrondissez-la à la valeur supérieure et indiquez-la en tant que to_time=2023-03-15T17:26:54.000Z.

Si vous obtenez des données de journal en double dans l'explorateur de journaux ou les tableaux de bord en raison de plusieurs rappels qui se chevauchent, vous pouvez ajouter le prédicat de requête recall purpose dans votre recherche pour voir uniquement le rappel approprié. Reportez-vous à Requête de prédicat pour filtrer les journaux rappelés

Purge des données de journal

Oracle Logging Analytics permet de purger les événements de journal chargés par un agent ou par un téléchargement à la demande afin de réduire la taille d'index des données de journal.

La purge permet de réduire votre utilisation du stockage afin d'éviter des frais supplémentaires. Oracle Logging Analytics peut purger automatiquement les données de journal selon une programmation définie ou manuellement en fonction de vos besoins. Avant de purger les données de journal, créez des stratégies IAM afin de configurer les droits d'accès pour la tâche. Reportez-vous à Autoriser les utilisateurs à purger les données de journal.

Il existe plusieurs moyens de purger les données de journal.

  • Purge à la demande : toutes les données de journal du compartiment spécifié créées avant la période sélectionnée sont purgées.

    Pour utiliser l'interface de ligne de commande pour purger à la demande, reportez-vous à purge-storage-data.

    Afin d'utiliser l'API REST pour purger à la demande, reportez-vous à PurgeStorageData.

  • Création d'une stratégie de purge : vous pouvez purger les anciennes données de journal en spécifiant une programmation pour la purge et une requête afin de filtrer les données à purger. Si vous voulez automatiser l'activité de purge, vous pouvez créer une stratégie de purge en indiquant la programmation de la purge, en sélectionnant les données de journal à purger et en activant la stratégie.

    Pour utiliser l'interface de ligne de commande pour créer une stratégie de purge, reportez-vous à create-standard-task.

    Afin d'utiliser l'API REST pour créer une stratégie de purge, reportez-vous à CreateScheduledTask.

    Lorsque vous utilisez l'interface de ligne de commande ou l'API REST pour créer une stratégie de purge, la valeur du paramètre task-type doit être définie sur PURGE.

  1. Ouvrez le menu de navigation et cliquez sur Observation et gestion. Sous Logging Analytics, cliquez sur Administration. La page Présentation de l'administration apparaît.

    Les ressources d'administration sont répertoriées dans le panneau de navigation de gauche sous Ressources. Cliquez sur Stockage.

    La page Stockage apparaît.

  2. Sur la page Stockage, vous pouvez purger les données de journal selon l'une des méthodes suivantes :
    • Exécuter une purge à la demande :

      Cliquez sur Purger les journaux. La boîte de dialogue Purger les journaux apparaît.

      • Sélectionnez le compartiment dans lequel les journaux doivent être purgés.

      • Indiquez si les sous-compartiments doivent également être concernés par la purge.

      • Sélectionnez la date et l'heure avant lesquelles les données de journal à purger ont été collectées.

        L'action de purge est exécutée sur les données de journal de tous les buckets du compartiment sélectionné qui ont été collectées avant la période indiquée. Par exemple, si vous indiquez la date et l'heure November 2, 2020 12:00:00 et le compartiment Analyze, les données de journal dont l'horodatage est antérieur à November 2, 2020 12:00:00 stockées dans le compartiment Analyze sont supprimées.

      • Dans le champ Requête, entrez la requête permettant de sélectionner un ensemble spécifique de données de journal. Par exemple, pour sélectionner les journaux des entités de type Hôte Linux, spécifiez la requête 'Entity Type'='Host (Linux)'.

        Reportez-vous à Exemples de requête pour la purge des données de journal.

      • Cliquez sur Estimer le stockage récupéré pour déterminer la taille du stockage pouvant être récupéré en fonction de la sélection effectuée dans les champs précédents.

      • Cliquez sur Purger.

    • Créer une stratégie de purge pour purger les journaux en fonction d'une requête ou de l'ancienneté :

      Sous Stratégies de purge, cliquez sur Créer. La boîte de dialogue Créer une stratégie de purge apparaît.

      • Saisissez le nom de la nouvelle stratégie de purge.

      • Sélectionnez le compartiment du groupe de journaux à interroger pour les journaux. Vous pouvez éventuellement indiquer si les sous-compartiments doivent également être interrogés pour les journaux indiqués.

      • Sous Purger les journaux antérieurs à, sélectionnez la période à partir de laquelle les données de journal doivent être purgées.

      • Sous Intervalle de programmation, sélectionnez la périodicité et l'heure de l'action de purge.

      • Dans le champ Requête, entrez la requête permettant de sélectionner un ensemble spécifique de données de journal. Par exemple, pour sélectionner les journaux de la source Apache HTTP Server Access Logs, indiquez la requête 'Log Source'='Apache HTTP Server Access Logs'.

        Reportez-vous à Exemples de requête pour la purge des données de journal.

      • Cliquez sur Estimer le stockage récupéré pour déterminer la taille du stockage qui serait récupéré si les sélections que vous avez effectuées dans les champs précédents devaient être appliquées maintenant.

      • Vous pouvez également cliquer sur Afficher les options avancées et ajouter des balises à la stratégie de purge.

      • Cliquez sur Créer.

      La stratégie de purge est créée et sera exécutée périodiquement comme défini dans les étapes précédentes.

      Remarque

      Si une stratégie de purge est mise en pause en raison d'un manque de droits d'accès, après avoir modifié les instructions de stratégie selon les besoins, reprenez manuellement la tâche de purge.

    Pour supprimer une stratégie, cliquez sur l'icône Actions Icône Actions en regard du nom de la stratégie, puis sur Supprimer.

    Pour visualiser les activités de purge effectuées, sur la page Stockage, sous Ressources, cliquez sur Rapport d'activité. La page Rapport d'activité apparaît et récapitule toutes les activités de stockage. Utilisez les filtres Statut et Heure pour visualiser les activités de purge préférées.

Autoriser les utilisateurs à purger les données de journal

Pour purger les données de journal, configurez d'abord les droits d'accès appropriés en créant les stratégies IAM suivantes :

  1. Créez un groupe dynamique afin d'autoriser les purges pour les compartiments dans lesquels vous voulez autoriser les purges :

    ALL {resource.type='loganalyticsscheduledtask', resource.compartment.id='<compartment ocid>'}

    Vous pouvez également autoriser les purges sur tous les compartiments :

    ALL {resource.type='loganalyticsscheduledtask'}
  2. Créez des stratégies pour autoriser le groupe dynamique à effectuer une opération de purge :

    allow dynamic-group <group_name> to read compartments in tenancy
    allow dynamic-group <group_name> to {LOG_ANALYTICS_STORAGE_PURGE} in tenancy
    allow dynamic-group <group_name> to {LOG_ANALYTICS_QUERY_VIEW} in tenancy
    allow dynamic-group <group_name> to {LOG_ANALYTICS_STORAGE_WORK_REQUEST_CREATE} in tenancy
    allow dynamic-group <group_name> to {LOG_ANALYTICS_LOG_GROUP_DELETE_LOGS} in tenancy
    allow dynamic-group <group_name> to {LOG_ANALYTICS_QUERYJOB_WORK_REQUEST_READ} in tenancy
    Remarque

    • Pour que la stratégie de purge fonctionne correctement, les droits d'accès read compartments, LOG_ANALYTICS_STORAGE_PURGE et LOG_ANALYTICS_QUERY_VIEW doivent être créés au niveau de la location. Pour limiter le droit d'accès de l'action de purge à des compartiments spécifiques, vous pouvez définir les droits d'accès LOG_ANALYTICS_STORAGE_WORK_REQUEST_CREATE, LOG_ANALYTICS_LOG_GROUP_DELETE_LOGS et LOG_ANALYTICS_QUERYJOB_WORK_REQUEST_READ au niveau du compartiment requis.

    • Dans les instructions de stratégie ci-dessus impliquant un groupe dynamique, si le groupe dynamique se trouve dans un domaine autre que Par défaut, l'instruction de stratégie doit avoir le format suivant :

      allow dynamic-group '<domain>'/'<group_name>' to ...

      Placez le nom de domaine et le nom de groupe dynamique entre apostrophes.

  3. En outre, assurez-vous que l'utilisateur dispose de l'autorisation MANAGE sur loganalytics-features-family et loganalytics-resources-family. Si l'utilisateur qui crée la purge à la demande ou planifiée dispose des privilèges Administrateur, les droits d'accès requis sont déjà disponibles :

    allow group <group_name> to MANAGE loganalytics-features-family in tenancy
    allow group <group_name> to MANAGE loganalytics-resources-family in tenancy

Certaines des instructions de stratégie ci-dessus sont incluses dans les modèles de stratégie facilement disponibles définis par Oracle. Vous pouvez envisager d'utiliser le modèle pour votre cas d'emploi. Reportez-vous à Modèles de stratégie définis par Oracle pour les cas d'utilisation courants.

Pour plus d'informations sur les groupes dynamiques et les stratégies IAM, reportez-vous à Documentation OCI : gestion des groupes dynamiques et à Documentation OCI : gestion des stratégies.

Exemples de requêtes pour la purge des données de journal

Indiquez une requête de filtre simple pour identifier les données de journal à purger. En cas de caractères génériques dans la requête, tels que *, ? et %, évitez de les utiliser dans la stratégie de purge. Oracle recommande d'utiliser les définitions de champ étendu pour les données futures dans les tâches de purge.

Pour obtenir des instructions sur la création de requêtes de filtrage des données de journal, reportez-vous à Recherche de requête.

Supprimez les toutes les données datant de plus de 30 jours tous les dimanches à minuit :

  • Purger les journaux antérieurs à : 30 Days
  • Intervalle de programmation : Every Week, jour : Sunday, heure : 00:00, fuseau horaire : Asia/Calcutta
  • Query : *

Supprimez les journaux des journaux d'audit OCI source datant de plus de 2 mois :

  • Purger les journaux antérieurs à : 2 Months
  • Requête : 'Log Source' = 'OCI Audit Logs'

Purgez le journal pour une source de journal et des entités spécifiques associées à cette source dont l'ancienneté est supérieure à 1 an :

  • Purger les journaux antérieurs à : 1 Year
  • Requête : 'Log Source' = 'OCI VCN Flow Unified Schema Logs' and Entity in ('Entity1', 'Entity2')

Prédicat de requête pour filtrer les journaux rappelés

Vous pouvez utiliser le prédicat Recall pour filtrer uniquement les journaux rappelés, uniquement les données actives ou les deux. Indiquez une valeur correspondant au nom du rappel. Vous pouvez utiliser des opérateurs booléens et de comparaison tels que =, !=, IN, NOT IN, LIKE et NOT LIKE dans la requête.

Par exemple :

  • Pour filtrer uniquement les données de l'analyse des incidents 2025-03-01, procédez comme suit :

    Recall = 'Outage Analysis 2025-03-01'
  • Pour filtrer les données de Network Traffic Analysis 2024 et de Labor Day Traffic 2024, procédez comme suit :

    Recall IN ('Network Traffic Analysis', 'Labor Day Sale')
  • Pour filtrer les données de tous les rappels dont le nom/l'objectif est semblable à Analyse des incidents 2025..., procédez comme suit :

    Recall like 'Outage Analysis 2025*'
  • Pour filtrer toutes les données autres que Trafic de jour de travail 2024 et Trafic de Noël 2024, procédez comme suit :

    Recall not in ('Labor Day Traffic 2024', 'Christmas Traffic 2024')
  • Pour afficher uniquement les données actives :

    Recall = null

Visualisation du rapport d'activité de stockage

Vous pouvez visualiser le récapitulatif de vos activités d'archivage, de rappel, de libération et de purge afin de conserver un contrôle étroit sur votre utilisation du stockage, ainsi que pour suivre le statut des journaux clés qui ont fait partie de vos activités.

  1. Ouvrez le menu de navigation et cliquez sur Observation et gestion. Sous Logging Analytics, cliquez sur Administration. La page Présentation de l'administration apparaît.

  2. Les ressources d'administration sont répertoriées dans le panneau de navigation de gauche sous Ressources. Cliquez sur Stockage.

    La page Stockage apparaît.

  3. Dans le panneau de gauche, sous Ressources, cliquez sur Rapport d'activité.

    La page affiche le récapitulatif des activités de stockage lancées, telles que les stratégies de purge, les purges à la demande, les archivages, les demandes de rappel d'archivage et les libérations de rappel.

  4. Utilisez les filtres Type d'activité, Statut et Heure du panneau de gauche pour affiner la recherche des activités de stockage.

  5. Développez la ligne d'une activité de stockage pour visualiser plus de détails la concernant.