Téléchargement de journaux à la demande

Si vous voulez inclure des fichiers journaux dans Oracle Logging Analytics sans les collecter en continu à l'aide de l'agent de gestion, vous pouvez effectuer un téléchargement à la demande. Vous pouvez effectuer autant de téléchargements à la demande que nécessaire pour télécharger les journaux à analyser.

Les fonctionnalités du téléchargement à la demande sont les suivantes :

  • Vous pouvez télécharger un seul fichier journal brut ou un fichier d'archive (.zip, .gz, .tgz, .tar) contenant plusieurs fichiers journaux. Le nombre de fichiers dans une archive doit être inférieur à 2 000, répertoires inclus le cas échéant.

  • La taille de fichier maximale pour un téléchargement (fichier unique ou fichier ZIP) est de 1 Go. La taille non compressée du fichier doit être inférieure à 10 Go.

  • Vous pouvez attribuer un nom à chaque téléchargement pour y faire référence facilement. En réutilisant le nom, vous pouvez télécharger des fichiers à différents moments avec le même nom de téléchargement.

  • Le nombre de noms de téléchargement uniques autorisés par location dans une région est limité à 10 000.

  • Vous pouvez attacher des métadonnées supplémentaires à chaque enregistrement de journal en fournissant un fichier de métadonnées avec les données de journal.

  • Les informations de configuration de téléchargement et le statut de traitement correspondant sont disponibles pendant 90 jours.

  • Nombre de fichiers de téléchargement affichés dans la console ou répertoriés à l'aide de la CLI :

    Dans la console, 200 fichiers au maximum sont affichés par défaut. Vous pouvez rechercher un fichier spécifique dans votre téléchargement à la demande en indiquant le nom du fichier ou du groupe de journaux dans le filtre.

    A l'aide de la CLI, vous pouvez spécifier la limite de liste pour une page à l'aide de la commande suivante :

    oci log-analytics upload list-upload-files limit <new_listing_limit> page <page_number>
    • limite : nombre maximal de fichiers de téléchargement à répertorier. La valeur par défaut est 50 et la valeur maximale autorisée est 200.
    • page : jeton de page représentant la page sur laquelle commencer à extraire les résultats. Il est généralement extrait d'un appel de liste précédent.

    Reportez-vous à la section CLI Documentation : list-upload-files.

Prérequis : avant de commencer à télécharger des données de journal à la demande, veillez à collecter les informations suivantes :

Droit d'accès requis pour le téléchargement à la demande

Rubriques :

Autoriser les utilisateurs à effectuer des opérations de création, d'obtention et de liste de chargement à la demande

Vous pouvez permettre aux utilisateurs d'effectuer des opérations de téléchargement à la demande de type Créer, Obtenir et Liste en accordant de manière sélective uniquement les droits d'accès requis pour effectuer ces tâches de téléchargement à la demande, en accordant des droits d'accès individuels au type de ressource ou en accordant des droits d'accès de niveau agrégé plus étendus. Vous pouvez donc sélectionner l'un des trois ensembles d'instructions de stratégie fournis ci-dessous, en fonction de votre cas d'emploi.

Les instructions de stratégie IAM suivantes permettent de fournir les droits d'accès spécifiques au groupe d'utilisateurs pour les opérations de création, d'obtention et de liste lors du téléchargement à la demande :

allow group <group_name> to {LOG_ANALYTICS_LOG_GROUP_UPLOAD_LOGS} in compartment <log_group_compartment>
allow group <group_name> to {LOG_ANALYTICS_ENTITY_UPLOAD_LOGS} in compartment <entity_compartment>
allow group <group_name> to {LOG_ANALYTICS_SOURCE_READ} in tenancy
allow group <group_name> to use loganalytics-ondemand-upload in tenancy

Les instructions de stratégie IAM suivantes permettent d'accorder des droits d'accès au niveau des types individuels de ressource afin d'utiliser le téléchargement à la demande :

allow group <group_name> to use loganalytics-ondemand-upload in tenancy
allow group <group_name> to use loganalytics-log-group in compartment <log_group_compartment>
allow group <group_name> to read loganalytics-source in tenancy
allow group <group_name> to {LOG_ANALYTICS_ENTITY_UPLOAD_LOGS} in compartment <entity_compartment>

D'autre part, les instructions de stratégie IAM suivantes permettent de fournir des droits d'accès au niveau des ressources agrégées Oracle Logging Analytics afin d'utiliser le téléchargement à la demande :

allow group <group_name> to use loganalytics-features-family in tenancy
allow group <group_name> to use loganalytics-resources-family in tenancy/compartment

Dans toutes les instructions de stratégie ci-dessus, group_name fait référence au groupe d'utilisateurs auquel les droits d'accès requis doivent être accordés.

Autoriser les utilisateurs à effectuer une opération de suppression de chargement à la demande

Vous pouvez permettre aux utilisateurs d'effectuer l'opération de téléchargement à la demande Supprimer en accordant de manière sélective uniquement les droits d'accès requis pour effectuer la tâche de suppression de téléchargement à la demande, en accordant des droits d'accès de type de ressource individuels ou en accordant des droits d'accès de niveau agrégé plus étendus. Vous pouvez donc sélectionner l'un des trois ensembles d'instructions de stratégie fournis ci-dessous, en fonction de votre cas d'emploi.

Les instructions de stratégie IAM suivantes sont spécifiquement destinées à fournir le droit d'accès au groupe d'utilisateurs pour l'opération de suppression :

allow group <group_name> to use loganalytics-ondemand-upload in tenancy
allow group <group_name> to {LOG_ANALYTICS_LOG_GROUP_DELETE_LOGS} in compartment <log_group_compartment>
allow group <group_name> to {LOG_ANALYTICS_QUERY_VIEW} in tenancy
allow group <group_name> to {COMPARTMENT_QUERY} in tenancy

Les instructions de stratégie IAM suivantes permettent de fournir des droits d'accès au niveau des types individuels de ressource pour l'opération de suppression de téléchargement à la demande :

allow group <group_name> to use loganalytics-ondemand-upload in tenancy
allow group <group_name> to manage loganalytics-log-group in compartment <log_group_compartment>
allow group <group_name> to read loganalytics-query in tenancy
allow group <group_name> to read compartments in tenancy

Les instructions de stratégie IAM suivantes permettent de fournir des droits d'accès au niveau des ressources agrégées Oracle Logging Analytics pour l'opération de suppression de téléchargement à la demande :

allow group <group_name> to use loganalytics-features-family in tenancy
allow group <group_name> to manage loganalytics-resources-family in tenancy/compartment
allow group <group_name> to read compartments in tenancy

Dans toutes les instructions de stratégie ci-dessus, group_name fait référence au groupe d'utilisateurs auquel les droits d'accès requis doivent être accordés.

Téléchargement à la demande à l'aide de la console

Vous pouvez télécharger les fichiers journaux à l'aide de l'assistant Téléchargement à la demande disponible sur la console de service d'Oracle Logging Analytics.

L'assistant Téléchargement à la demande constitue une méthode simple et pratique de télécharger les fichiers via une interface utilisateur conviviale. Suivez les étapes intuitives proposées par l'assistant pour sélectionner les fichiers à télécharger, définir les propriétés des fichiers et effectuer une dernière vérification avant de les télécharger.
  1. Accédez à la page Téléchargements à partir d'Oracle Logging Analytics :

    Ouvrez le menu de navigation et cliquez sur Observation et gestion. Sous Logging Analytics, cliquez sur Administration. La page Présentation de l'administration apparaît.

    Les ressources d'administration sont répertoriées dans le panneau de navigation de gauche sous Ressources. Cliquez sur Téléchargements.

  2. Sur la page Téléchargements, cliquez sur Télécharger des fichiers.
    La page Télécharger des fichiers apparaît.
  3. Sélectionner des fichiers:
    • Entrez le nom du téléchargement. Il s'agit du nom qui va permettre de suivre le statut des fichiers journaux téléchargés. Vous pouvez effectuer plusieurs téléchargements à différents moments en utilisant le même nom de téléchargement si vous voulez rassembler un ensemble de téléchargements.
    • Sélectionnez le compartiment du groupe de journaux pour définir la portée de localisation du groupe de journaux.
    • Sélectionnez le groupe de journaux dans lequel les journaux doivent être stockés.

      Pour créer un groupe de journaux, sélectionnez le compartiment, puis cliquez sur Créer un groupe de journaux. Dans la boîte de dialogue, entrez le nom et une description. Cliquez sur Créer.

    • Cliquez sur le bouton Sélectionner des fichiers et sélectionnez les fichiers journaux à télécharger. Les types de fichier tels que ZIP, TAR, TGZ et tous les fichiers de texte brut sont acceptés pour téléchargement. Vous pouvez sélectionner plusieurs fichiers pour un même téléchargement.

    Un récapitulatif des fichiers sélectionnés pour téléchargement apparaît. La taille de fichier individuel maximale est de 100 Mo. Vous pouvez sélectionner jusqu'à 25 fichiers individuels par téléchargement. Les fichiers sans contenu ne sont pas valides et ne sont pas pris en compte pour le téléchargement lorsque plusieurs fichiers sont sélectionnés.

    Cliquez sur Suivant.

  4. Définissez les propriétés : la page affiche la liste des fichiers sélectionnés à la première étape. Il est obligatoire de spécifier la source à utiliser pour traiter chaque fichier. Vous pouvez éventuellement fournir des propriétés supplémentaires. Pour définir les propriétés de tous les fichiers, cochez la case dans l'en-tête et cliquez sur Définir les propriétés. Pour définir les propriétés d'un fichier spécifique, cliquez sur l'icône de menu Actions icône du menu Actions en regard du nom du fichier, puis sur Définir les propriétés. La boîte de dialogue Définir les propriétés apparaît.
    1. Sélectionnez la source à utiliser pour traiter les fichiers journaux dans le menu déroulant Source.

      Pour effectuer un téléchargement à la demande, la source doit être du type Messages d'événement système (Syslog), Fichier ou Journaux de diagnostic Oracle (ODL).

    2. (Facultatif) Si vous voulez mettre en correspondance ces fichiers téléchargés avec une entité, sélectionnez le compartiment dans lequel se trouve l'entité dans le menu déroulant Compartiment d'entité.
    3. Vous pouvez éventuellement spécifier l'entité. En fonction du compartiment d'entité que vous avez sélectionné et du type d'entité défini dans la source sélectionnée, le menu déroulant Entité est alimenté. Sélectionnez l'entité.
    4. Il se peut que vous deviez définir les propriétés avancées lorsque les informations requises ne sont pas disponibles dans l'entrée de journal pour un traitement approprié. Développez la section Afficher les options avancées. Dans le menu déroulant, sélectionnez les valeurs des paramètres Fuseau horaire du journal, Encodage de caractères, Format de date et Année du contenu du journal. Cliquez sur Enregistrer les modifications.
      • Fuseau horaire du journal : informations de fuseau horaire à utiliser pour le traitement des entrées de journal. Par défaut, les informations de fuseau horaire présentes dans l'entrée de journal sont utilisées pour le traitement. Lorsque ces informations ne sont pas disponibles dans l'entrée de journal, la valeur que vous sélectionnez dans le menu est prise en compte. Si la valeur n'est pas disponible dans ce menu ou directement à partir de l'entrée de journal, le fuseau horaire de l'entité est pris en compte. Si aucune information n'est disponible sur le fuseau horaire, la valeur par défaut utilisée est UTC.
      • Encodage de caractères : encodage de caractères des fichiers journaux en cours de téléchargement. Oracle Logging Analytics tente de détecter automatiquement l'encodage de caractères, mais dans des cas d'emploi spécifiques, il peut être nécessaire de remplacer cette valeur.
      • Format de date : format des informations de date disponibles dans les fichiers journaux. Lorsque vous utilisez la macro {TIMEDATE}, appuyez-vous sur ce paramètre pour lever toute ambiguïté lors de l'identification du format de la date dans l'entrée de journal concernée. Par exemple, lorsque la date est 12/10, ce qui peut être interprétée comme 12th October ou 10th December, vous pouvez utiliser DAY_MONTH ou MONTH_DAY pour lever l'ambiguïté. Si la date est 12/10/08, vous pouvez utiliser DAY_MONTH_YEAR, MONTH_DAY_YEAR ou YEAR_MONTH_DAY.

        Si l'analyseur recourt à l'extraction de composant de temps, aucune ambiguïté n'existe et vous pouvez donc ignorer la spécification du format de date.

      • Année du contenu du journal : informations d'année à utiliser pour le traitement des entrées de journal lorsqu'elles ne comportent aucune information sur l'année dans l'horodatage.

      Développez la ligne concernée de la table pour afficher les propriétés indiquées. Si nécessaire, vous pouvez enlever des fichiers sélectionnés de la liste de téléchargement.

      Veillez à sélectionner une source pour chaque fichier à télécharger avant de poursuivre le téléchargement.

    5. Cliquez sur Suivant.
  5. Vérifier : vérifiez les propriétés des fichiers sélectionnés pour téléchargement. Pour confirmer les propriétés et lancer le téléchargement, cliquez sur Télécharger.

    Oracle Logging Analytics indexe et traite les fichiers. Une fois le téléchargement terminé, cliquez sur Fermer pour accéder à la page de liste des téléchargements.

    En cas d'échec du téléchargement d'un fichier, cliquez sur l'icône Réessayer en regard du nom du fichier pour le télécharger à nouveau. Une fois le téléchargement terminé, cliquez sur Fermer pour accéder à la page de liste des téléchargements.

Sur la page Téléchargements, cliquez sur le nom du téléchargement pour accéder à la page Détails de téléchargement, qui contient le récapitulatif du téléchargement et les avertissements qui lui sont associés.

Téléchargement à la demande à l'aide de l'interface de ligne de commande

Vous pouvez utiliser l'interface de ligne de commande OCI pour télécharger les fichiers journaux vers Oracle Logging Analytics. Cette interface simple permet d'automatiser les téléchargements en intégrant l'interface de ligne de commande à votre application.

Pour plus d'informations sur l'utilisation de l'interface de ligne de commande, reportez-vous à Interface de ligne de commande (CLI).

Afin d'obtenir la liste complète des indicateurs et des options disponibles pour les commandes d'interface de ligne de commande, reportez-vous à Référence de ligne de commande : Logging Analytics - Téléchargement.

Exécutez les commandes d'interface de ligne de commande suivantes pour gérer loganalytics-ondemand-upload :

  • Télécharger le fichier journal :

    oci log-analytics upload upload-log-file --namespace-name <namespace_name> --log-source-name <log-source-name> --upload-name <upload-name> --filename <file_name> --opc-meta-loggrpid <opc-meta-loggrpid> --file <path_to_log_file>

    Exemple de réponse à la commande ci-dessus :

    {
      "data": {
      "name": null,   
      “reference” : “32817130200562135",
      “timeCreated” : “2020-06-01T12:00:00.000Z”,
      "time-earliest-log-entry": null,
      "time-latest-log-entry": null,
      "time-updated": null,
      "warnings-count": null
      }
    }
  • Supprimer le téléchargement :

    oci log-analytics upload delete --namespace-name <namespace_name> --upload-reference <upload-reference>
  • Répertorier les téléchargements :

    oci log-analytics upload list --namespace-name <namespace_name>
  • Obtenir le téléchargement :

    oci log-analytics upload get --namespace-name <namespace_name> --upload-reference <upload-reference>
  • Répertorier les fichiers de téléchargement :

    oci log-analytics upload list-upload-files --namespace-name <namespace_name> --upload-reference <upload-reference>
  • Supprimer le fichier de téléchargement :

    oci log-analytics upload delete-upload-file --namespace-name <namespace_name> --upload-reference <upload-reference> --file-reference <file-reference>

Vérification d'un téléchargement à la demande à l'aide de la console

Une fois le téléchargement à la demande des données de journal terminé, vous pouvez visualiser le récapitulatif des téléchargements et vérifier le statut de fichier.

  1. Ouvrez le menu de navigation et cliquez sur Observation et gestion. Sous Logging Analytics, cliquez sur Administration. La page Présentation de l'administration apparaît.
  2. Sur le panneau de gauche, sous Ressources, cliquez sur Téléchargements. Les derniers téléchargements à la demande sont affichés.
  3. Pour visualiser les données traitées du téléchargement, cliquez sur l'icône de menu icône de menu correspondant au téléchargement, puis sélectionnez Afficher dans l'explorateur de journaux.
  4. Pour afficher la liste des fichiers du téléchargement, ainsi que leur statut de traitement, cliquez sur le nom du téléchargement.

Suppression des fichiers journaux téléchargés à l'aide de la console

Une fois le téléchargement à la demande des données de journal terminé, vous pouvez visualiser le récapitulatif des téléchargements et vérifier le statut de fichier. Si vous constatez l'échec du téléchargement de fichier ou que vous ne voulez plus conserver les fichiers pour ce téléchargement, vous pouvez les supprimer.

  1. Ouvrez le menu de navigation et cliquez sur Observation et gestion. Sous Logging Analytics, cliquez sur Administration. La page Présentation de l'administration apparaît.
  2. Sur le panneau de gauche, sous Ressources, cliquez sur Téléchargements. Les derniers téléchargements à la demande sont affichés.
  3. Pour supprimer un téléchargement à la demande, cliquez sur l'icône de menu icône de menu correspondant au téléchargement, puis sélectionnez Supprimer.
  4. Pour supprimer un fichier dans un téléchargement à la demande, cliquez sur le nom du téléchargement afin d'accéder à sa page de détails.

    La liste des fichiers inclus dans le téléchargement spécifié est affichée. Vous pouvez visualiser le statut de chaque fichier en regard de son nom.

    Pour supprimer un fichier, cliquez sur l'icône de menu icône de menu en regard de son nom et sélectionnez Supprimer.

Ajout de métadonnées supplémentaires au téléchargement

Créez un fichier JSON de métadonnées et nommez-le uploads_metadata.json. Voici un exemple de fichier de métadonnées :

{
    "field1":"value1",
    "field2":"value2"
}

Dans le fichier ci-dessus, field1 et field2 sont des champs définis par Oracle ou par l'utilisateur. Reportez-vous à Création d'un champ. Tous ces champs et les valeurs fournies sont ajoutés à chaque enregistrement de journal analysé.

Créez un fichier d'archive ZIP contenant les données de journal réelles dans l'un des formats de fichier pris en charge, ainsi que le fichier uploads_metadata.json. Le fichier uploads_metadata.json doit se trouver dans la hiérarchie supérieure du fichier ZIP.