Charger des journaux sur demande

Si vous voulez ingérer des fichiers journaux dans Oracle Logging Analytics sans les collecter en continu à l'aide de l'agent de gestion, vous pouvez effectuer un chargement sur demande. Vous pouvez effectuer autant de chargements sur demande que nécessaire pour charger les journaux que vous voulez analyser.

Voici les fonctions de chargement sur demande :

  • Vous pouvez charger un seul fichier journal brut ou tout fichier d'archive (.zip, .gz, .tgz, .tar) contenant plusieurs fichiers journaux. Le nombre de fichiers d'une archive doit être inférieur à 2 000, y compris les répertoires, le cas échéant.

  • La taille maximale des fichiers pour un seul chargement (un seul fichier ou un fichier ZIP) est de 1 Go. La taille non compressée du fichier doit être inférieure à 10 Go.

  • Vous pouvez nommer chaque chargement pour pouvoir facilement les retrouver. En réutilisant le nom, vous pouvez charger des fichiers à différents moments sous le même nom de chargement.

  • Une limite de 10 000 noms de chargement uniques autorisés s'applique par location dans une région.

  • Vous pouvez joindre des métadonnées supplémentaires à chaque enregistrement de journal en fournissant un fichier de métadonnées avec les données de journal.

  • Les informations de configuration de chargement et le statut de traitement correspondant sont disponibles pendant 90 jours.

  • Nombre de fichiers de chargement affichés dans la console ou répertoriés à l'aide de l'interface de ligne de commande :

    Dans la console, un maximum de 200 fichiers sont affichés par défaut. Vous pouvez rechercher un fichier spécifique dans votre chargement sur demande en indiquant le nom du fichier ou le nom du groupe de journaux dans le filtre.

    À l'aide de l'interface de ligne de commande, vous pouvez spécifier la limite de liste pour une page avec la commande suivante :

    oci log-analytics upload list-upload-files limit <new_listing_limit> page <page_number>
    • limit (Limite) : Nombre maximal de fichiers de chargement à lister. La valeur par défaut est 50 et la valeur maximale autorisée est 200.
    • page : Jeton de page représentant la page à laquelle commencer l'extraction des résultats. Il est généralement extrait d'un appel de liste précédent.

    Voir la documentation sur l'interface de ligne de commande : list-upload-files.

Préalables : Avant de commencer à charger des données de journal sur demande, assurez-vous de collecter les informations suivantes :

Autorisation requise pour le chargement sur demande

Rubriques :

Permettre aux utilisateurs d'effectuer des opérations de création, d'obtention et de liste de chargement sur demande

Vous pouvez permettre aux utilisateurs d'effectuer des opérations de chargement sur demande Créer, Obtenir et Lister en ne donnant que les autorisations requises pour effectuer ces tâches de chargement sur demande, en accordant des autorisations de type de ressource individuel ou en accordant des autorisations de niveau agrégé plus larges. Vous pouvez donc sélectionner l'un des trois ensembles d'énoncés de politique indiqués ci-dessous, selon votre cas d'utilisation.

Les énoncés de politique IAM suivants fournissent les autorisations spécifiques au groupe d'utilisateurs pour les opérations de création, de obtention et de liste lors du chargement sur demande :

allow group <group_name> to {LOG_ANALYTICS_LOG_GROUP_UPLOAD_LOGS} in compartment <log_group_compartment>
allow group <group_name> to {LOG_ANALYTICS_ENTITY_UPLOAD_LOGS} in compartment <entity_compartment>
allow group <group_name> to {LOG_ANALYTICS_SOURCE_READ} in tenancy
allow group <group_name> to use loganalytics-ondemand-upload in tenancy

Les énoncés de politique IAM suivants permettent de fournir des autorisations au niveau des types de ressource individuels pour utiliser le chargement sur demande :

allow group <group_name> to use loganalytics-ondemand-upload in tenancy
allow group <group_name> to use loganalytics-log-group in compartment <log_group_compartment>
allow group <group_name> to read loganalytics-source in tenancy
allow group <group_name> to {LOG_ANALYTICS_ENTITY_UPLOAD_LOGS} in compartment <entity_compartment>

D'autre part, les énoncés de politique IAM suivants permettent de fournir des autorisations au niveau des ressources agrégées d'Oracle Logging Analytics pour utiliser le chargement sur demande :

allow group <group_name> to use loganalytics-features-family in tenancy
allow group <group_name> to use loganalytics-resources-family in tenancy/compartment

group_name dans tous les énoncés de politique ci-dessus fait référence au groupe d'utilisateurs qui doit disposer des autorisations requises.

Autoriser les utilisateurs à effectuer une opération de suppression de chargement sur demande

Vous pouvez permettre aux utilisateurs d'effectuer une opération de suppression de chargement sur demande en ne donnant que les autorisations requises pour effectuer la tâche de suppression de chargement sur demande, en accordant des autorisations de type de ressource individuel ou en accordant des autorisations de niveau agrégé plus larges. Vous pouvez donc sélectionner l'un des trois ensembles d'énoncés de politique indiqués ci-dessous, selon votre cas d'utilisation.

Les énoncés de politique IAM suivants servent spécifiquement à fournir l'autorisation au groupe d'utilisateurs pour l'opération de suppression :

allow group <group_name> to use loganalytics-ondemand-upload in tenancy
allow group <group_name> to {LOG_ANALYTICS_LOG_GROUP_DELETE_LOGS} in compartment <log_group_compartment>
allow group <group_name> to {LOG_ANALYTICS_QUERY_VIEW} in tenancy
allow group <group_name> to {COMPARTMENT_QUERY} in tenancy

Les énoncés de politiques IAM suivants permettent de fournir des autorisations au niveau des types de ressource individuels pour l'opération de suppression de chargement sur demande :

allow group <group_name> to use loganalytics-ondemand-upload in tenancy
allow group <group_name> to manage loganalytics-log-group in compartment <log_group_compartment>
allow group <group_name> to read loganalytics-query in tenancy
allow group <group_name> to read compartments in tenancy

Les énoncés de politiques IAM suivants permettent de fournir des autorisations au niveau des ressources agrégées d'Oracle Logging Analytics pour l'opération de suppression de chargement sur demande :

allow group <group_name> to use loganalytics-features-family in tenancy
allow group <group_name> to manage loganalytics-resources-family in tenancy/compartment
allow group <group_name> to read compartments in tenancy

group_name dans tous les énoncés de politique ci-dessus fait référence au groupe d'utilisateurs qui doit disposer des autorisations requises.

Chargement sur demande à l'aide de la console

Vous pouvez charger vos fichiers journaux à l'aide de l'assistant Chargement sur demande (ODU) disponible dans la console de service d'Oracle Logging Analytics.

L'assistant ODU est une méthode simple et pratique pour charger les fichiers au moyen d'une interface utilisateur conviviale. Suivez les étapes intuitives demandées par l'assistant pour sélectionner les fichiers à charger, définir les propriétés des fichiers et les vérifier avant de les charger.
  1. Accédez à la page Chargements à partir d'Oracle Logging Analytics :

    Ouvrez le menu de navigation et cliquez sur Observabilité et gestion. Sous Logging Analytics, cliquez sur Administration. La page Aperçu de l'administration s'ouvre.

    Les ressources d'administration sont répertoriées dans le volet de navigation de gauche sous Ressources. Cliquez sur Chargements.

  2. Dans la page Chargements, cliquez sur Charger des fichiers.
    La page Charger les fichiers apparaît.
  3. Sélectionner des fichiers :
    • Entrez le nom du chargement. Il s'agit du nom qui vous permet de suivre le statut des fichiers journaux chargés. Vous pouvez effectuer plusieurs chargements à des moments différents en utilisant le même nom de chargement si vous souhaitez conserver un jeu de chargements ensemble.
    • Sélectionnez le compartiment du groupe de journaux pour définir la portée où se trouve le groupe de journaux.
    • Sélectionnez le groupe de journaux dans lequel les journaux doivent être stockés.

      Pour créer un nouveau groupe de journaux, sélectionnez le compartiment, puis cliquez sur Créer un groupe de journaux. Dans la boîte de dialogue, entrez le nom et la description. Cliquez sur Créer.

    • Cliquez sur le bouton Sélectionner des fichiers et sélectionnez les fichiers journaux à charger. Les types de fichier tels quezip, tar, tgz et les fichiers de texte brut sont acceptés pour le chargement. Vous pouvez sélectionner plusieurs fichiers dans un seul chargement.

    Un sommaire des fichiers sélectionnés pour le chargement s'affiche. Notez que la taille maximale des fichiers individuels est 100 Mo. Vous pouvez charger un maximum de 25 fichiers individuels par chargement. Un fichier sans contenu n'est pas valide et n'est pas pris en compte pour le chargement lorsque plusieurs fichiers sont sélectionnés.

    Cliquez sur Suivant.

  4. Définir les propriétés : La page affiche la liste des fichiers sélectionnés à la première étape. Il est obligatoire de préciser la source à utiliser pour le traitement de chaque fichier. Vous pouvez éventuellement fournir d'autres propriétés supplémentaires. Pour définir les propriétés de tous les fichiers, cochez la case dans l'en-tête et cliquez sur Définir les propriétés. Pour définir les propriétés d'un fichier spécifique, cliquez sur l'icône de menu Actions icône du menu Actions à côté du nom du fichier > cliquez sur Définir les propriétés. La boîte de dialogue Définir des propriétés apparaît.
    1. Sélectionnez la source à utiliser pour traiter les fichiers journaux dans le menu déroulant Source.

      Pour effectuer un chargement sur demande, la source doit être de type Messages d'événement du système (Syslog), Fichier ou Journaux de diagnostic Oracle.

    2. Facultativement, si vous voulez mapper ces fichiers chargés à une entité, sélectionnez le compartiment dans lequel l'entité se trouve dans le menu déroulant Compartiment de l'entité.
    3. Vous pouvez éventuellement spécifier l'entité. Selon le compartiment de l'entité que vous avez sélectionné et le type d'entité défini dans la source sélectionnée, le menu déroulant Entité est alimenté. Sélectionnez l'entité.
    4. Facultativement, vous devrez peut-être spécifier les propriétés avancées si les informations requises ne sont pas disponibles dans l'entrée de journal pour un traitement approprié. Développez la section Afficher les options avancées. Dans le menu déroulant, sélectionnez les valeurs des paramètres Fuseau horaire des journaux, Encodage de caractères, Format de date et Année de contenu du journal. Cliquez sur Enregistrer les modifications.
      • Fuseau horaire des journaux : Informations sur le fuseau horaire à utiliser pour le traitement des entrées de journal. Par défaut, les informations sur le fuseau horaire de l'entrée de journal sont utilisées pour le traitement. Lorsque les informations ne sont pas disponibles dans l'entrée de journal, la valeur que vous sélectionnez dans le menu est prise en compte. Si la valeur n'est pas disponible à partir de ce menu ou directement à partir de l'entrée de journal, le fuseau horaire de l'entité est pris en compte. Lorsqu'aucune information n'est disponible sur le fuseau horaire, la valeur par défaut prise en compte est UTC.
      • Encodage de caractères : Encodage de caractère des fichiers journaux en cours de chargement. Oracle Logging Analytics tente de détecter automatiquement l'encodage de caractères, mais dans des cas d'utilisation spécifiques, il peut être nécessaire de remplacer cette valeur.
      • Format de date : Format des informations de date disponibles dans les fichiers journaux. Lorsque vous utilisez la macro {TIMEDATE}, utilisez ce paramètre pour supprimer toute ambiguïté lors de l'identification du format de la date dans l'entrée de journal indiquée. Par exemple, lorsque la date est 12/10, où elle peut être interprétée comme 12th October (12 octobre) ou 10th December (10 décembre), vous pouvez utiliser DAY_MONTH ou MONTH_DAY pour lever l'ambiguïté. Si la date est 12/10/08, vous pouvez utiliser DAY_MONTH_YEAR, MONTH_DAY_YEAR ou YEAR_MONTH_DAY.

        Si votre analyseur utilise l'extraction des composants de temps, il n'y a aucune ambiguïté et vous pouvez donc ignorer la définition du format de date.

      • Année de contenu du journal : Informations sur l'année à utiliser pour traiter les entrées de journal lorsque celles-ci n'ont pas les informations sur l'année dans l'horodatage.

      Développez la rangée du tableau pour afficher les propriétés que vous avez indiquées. Vous pouvez supprimer les fichiers sélectionnés de la liste de chargement, au besoin.

      Assurez-vous de sélectionner une source pour chaque fichier de chargement avant de poursuivre le chargement.

    5. Cliquez sur Suivant.
  5. Vérifier : Vérifiez les propriétés des fichiers que vous avez sélectionnés pour le chargement. Pour confirmer les propriétés et lancer le chargement, cliquez sur Charger.

    Oracle Logging Analytics indexe et traite les fichiers. Une fois le chargement terminé, cliquez sur Fermer pour naviguer jusqu'à la page de liste des chargements.

    Si le chargement d'un fichier échoue, cliquez sur l'icône Réessayer située à côté du nom du fichier pour le recharger. Une fois le chargement réussi, cliquez sur Fermer pour naviguer jusqu'à la page de liste des chargements.

Dans la page Chargements, cliquez sur le nom du chargement pour accéder à la page Détails de chargement, où vous pouvez consulter un sommaire du chargement et les avertissements qui lui sont associés.

Chargement sur demande à l'aide de l'interface de ligne de commande

Vous pouvez utiliser l'interface de ligne de commande OCI pour charger vos fichiers journaux dans Oracle Logging Analytics au moyen d'une interface de ligne de commande. Cette interface simple vous permet d'automatiser vos chargements en intégrant l'interface de ligne de commande dans votre application.

Pour des informations sur l'utilisation de l'interface de ligne de commande, voir Interface de ligne de commande.

Pour la liste complète des indicateurs et options disponibles pour les commandes de l'interface de ligne de commande, voir Informations de référence sur la ligne de commande : Logging Analytics - Chargement.

Exécutez les commandes d'interface de ligne de commande suivantes pour gérer loganalytics-ondemand-upload :

  • Charger le fichier journal :

    oci log-analytics upload upload-log-file --namespace-name <namespace_name> --log-source-name <log-source-name> --upload-name <upload-name> --filename <file_name> --opc-meta-loggrpid <opc-meta-loggrpid> --file <path_to_log_file>

    Exemple de réponse de la commande ci-dessus :

    {
      "data": {
      "name": null,   
      “reference” : “32817130200562135",
      “timeCreated” : “2020-06-01T12:00:00.000Z”,
      "time-earliest-log-entry": null,
      "time-latest-log-entry": null,
      "time-updated": null,
      "warnings-count": null
      }
    }
  • Supprimer le chargement :

    oci log-analytics upload delete --namespace-name <namespace_name> --upload-reference <upload-reference>
  • Lister les chargements :

    oci log-analytics upload list --namespace-name <namespace_name>
  • Obtenir le chargement :

    oci log-analytics upload get --namespace-name <namespace_name> --upload-reference <upload-reference>
  • Lister les fichiers de chargement :

    oci log-analytics upload list-upload-files --namespace-name <namespace_name> --upload-reference <upload-reference>
  • Supprimer le fichier de chargement :

    oci log-analytics upload delete-upload-file --namespace-name <namespace_name> --upload-reference <upload-reference> --file-reference <file-reference>

Vérifier un chargement sur demande à l'aide de la console

Une fois le chargement sur demande des données de journal terminé, vous pouvez consulter le sommaire des chargements et vérifier le statut du fichier.

  1. Ouvrez le menu de navigation et cliquez sur Observabilité et gestion. Sous Logging Analytics, cliquez sur Administration. La page Aperçu de l'administration s'ouvre.
  2. Dans le panneau de gauche, sous Ressources, cliquez sur Chargements. Les derniers chargements sur demande s'affichent.
  3. Pour voir les données traitées du chargement, cliquez sur l'icône de menu icône de menu correspondant au chargement > sélectionnez Voir dans l'explorateur de journaux.
  4. Pour voir la liste des fichiers chargés avec leur statut de traitement, cliquez sur le nom du chargement.

Supprimer les fichiers journaux chargés à l'aide de la console

Une fois le chargement sur demande des données de journal terminé, vous pouvez consulter le sommaire des chargements et vérifier le statut du fichier. Si vous constatez l'échec du chargement du fichier ou si vous ne voulez plus conserver les fichiers pour ce chargement, vous pouvez les supprimer.

  1. Ouvrez le menu de navigation et cliquez sur Observabilité et gestion. Sous Logging Analytics, cliquez sur Administration. La page Aperçu de l'administration s'ouvre.
  2. Dans le panneau de gauche, sous Ressources, cliquez sur Chargements. Les derniers chargements sur demande s'affichent.
  3. Pour supprimer un chargement sur demande, cliquez sur l'icône de menu icône de menu correspondant au chargement > sélectionnez Supprimer.
  4. Pour supprimer un fichier dans un chargement sur demande, cliquez sur le nom du chargement pour aller à la page des détails de chargement.

    La liste des fichiers inclus dans le chargement spécifié s'affiche. Vous pouvez voir le statut de chaque fichier à côté de son nom.

    Pour supprimer un fichier, cliquez sur l'icône de menu icône de menu à côté du nom du fichier et sélectionnez Supprimer.

Ajouter des métadonnées supplémentaires au chargement

Créez un fichier json de métadonnées et nommez-le uploads_metadata.json. Voici un exemple de fichier de métadonnées :

{
    "field1":"value1",
    "field2":"value2"
}

Dans le fichier ci-dessus, field1 et field2 sont des champs définis par Oracle ou par l'utilisateur. Voir Créer un champ. Tous ces champs ainsi que les valeurs fournies seront ajoutés à chaque enregistrement de journal analysé.

Créez un fichier d'archive zip contenant les données de journal réelles dans l'un des formats de fichier pris en charge et un fichier uploads_metadata.json. Le fichier uploads_metadata.json doit se trouver dans la hiérarchie supérieure du fichier zip.