Charger des journaux sur demande
Si vous voulez ingérer des fichiers journaux dans Oracle Logging Analytics sans les collecter en continu à l'aide de l'agent de gestion, vous pouvez effectuer un chargement sur demande. Vous pouvez effectuer autant de chargements sur demande que nécessaire pour charger les journaux que vous voulez analyser.
Voici les fonctions de chargement sur demande :
-
Vous pouvez charger un seul fichier journal brut ou tout fichier d'archive (
.zip
,.gz
,.tgz
,.tar
) contenant plusieurs fichiers journaux. Le nombre de fichiers d'une archive doit être inférieur à 2 000, y compris les répertoires, le cas échéant. -
La taille maximale des fichiers pour un seul chargement (un seul fichier ou un fichier ZIP) est de 1 Go. La taille non compressée du fichier doit être inférieure à 10 Go.
-
Vous pouvez nommer chaque chargement pour pouvoir facilement les retrouver. En réutilisant le nom, vous pouvez charger des fichiers à différents moments sous le même nom de chargement.
-
Une limite de 10 000 noms de chargement uniques autorisés s'applique par location dans une région.
-
Vous pouvez joindre des métadonnées supplémentaires à chaque enregistrement de journal en fournissant un fichier de métadonnées avec les données de journal.
-
Les informations de configuration de chargement et le statut de traitement correspondant sont disponibles pendant 90 jours.
-
Nombre de fichiers de chargement affichés dans la console ou répertoriés à l'aide de l'interface de ligne de commande :
Dans la console, un maximum de 200 fichiers sont affichés par défaut. Vous pouvez rechercher un fichier spécifique dans votre chargement sur demande en indiquant le nom du fichier ou le nom du groupe de journaux dans le filtre.
À l'aide de l'interface de ligne de commande, vous pouvez spécifier la limite de liste pour une page avec la commande suivante :
oci log-analytics upload list-upload-files limit <new_listing_limit> page <page_number>
- limit (Limite) : Nombre maximal de fichiers de chargement à lister. La valeur par défaut est 50 et la valeur maximale autorisée est 200.
- page : Jeton de page représentant la page à laquelle commencer l'extraction des résultats. Il est généralement extrait d'un appel de liste précédent.
Voir la documentation sur l'interface de ligne de commande : list-upload-files.
Préalables : Avant de commencer à charger des données de journal sur demande, assurez-vous de collecter les informations suivantes :
- Nom de source de journaux d'une nouvelle source de journaux ou utilisez une source de journaux définie par Oracle correspondant à votre format de journal. Voir Sources définies par Oracle et Créer une source.
Pour effectuer un chargement sur demande, la source doit être de type Messages d'événement du système (Syslog), Fichier ou Journaux de diagnostic Oracle.
- OCID du groupe de journaux où vous stockerez ces journaux pour contrôler l'accès des utilisateurs aux journaux. Voir Créer des groupes de journaux pour stocker vos journaux.
- Facultativement, si vous voulez mapper les journaux que vous chargez, l'OCID de l'entité. Voir Créer une entité pour représenter votre ressource émettrice de journaux.
Autorisation requise pour le chargement sur demande
Rubriques :
- Permettre aux utilisateurs d'effectuer des opérations de création, d'obtention et de liste de chargement sur demande
- Autoriser les utilisateurs à effectuer une opération de suppression de chargement sur demande
Permettre aux utilisateurs d'effectuer des opérations de création, d'obtention et de liste de chargement sur demande
Vous pouvez permettre aux utilisateurs d'effectuer des opérations de chargement sur demande Créer, Obtenir et Lister en ne donnant que les autorisations requises pour effectuer ces tâches de chargement sur demande, en accordant des autorisations de type de ressource individuel ou en accordant des autorisations de niveau agrégé plus larges. Vous pouvez donc sélectionner l'un des trois ensembles d'énoncés de politique indiqués ci-dessous, selon votre cas d'utilisation.
Les énoncés de politique IAM suivants fournissent les autorisations spécifiques au groupe d'utilisateurs pour les opérations de création, de obtention et de liste lors du chargement sur demande :
allow group <group_name> to {LOG_ANALYTICS_LOG_GROUP_UPLOAD_LOGS} in compartment <log_group_compartment>
allow group <group_name> to {LOG_ANALYTICS_ENTITY_UPLOAD_LOGS} in compartment <entity_compartment>
allow group <group_name> to {LOG_ANALYTICS_SOURCE_READ} in tenancy
allow group <group_name> to use loganalytics-ondemand-upload in tenancy
Les énoncés de politique IAM suivants permettent de fournir des autorisations au niveau des types de ressource individuels pour utiliser le chargement sur demande :
allow group <group_name> to use loganalytics-ondemand-upload in tenancy
allow group <group_name> to use loganalytics-log-group in compartment <log_group_compartment>
allow group <group_name> to read loganalytics-source in tenancy
allow group <group_name> to {LOG_ANALYTICS_ENTITY_UPLOAD_LOGS} in compartment <entity_compartment>
D'autre part, les énoncés de politique IAM suivants permettent de fournir des autorisations au niveau des ressources agrégées d'Oracle Logging Analytics pour utiliser le chargement sur demande :
allow group <group_name> to use loganalytics-features-family in tenancy
allow group <group_name> to use loganalytics-resources-family in tenancy/compartment
group_name
dans tous les énoncés de politique ci-dessus fait référence au groupe d'utilisateurs qui doit disposer des autorisations requises.
Autoriser les utilisateurs à effectuer une opération de suppression de chargement sur demande
Vous pouvez permettre aux utilisateurs d'effectuer une opération de suppression de chargement sur demande en ne donnant que les autorisations requises pour effectuer la tâche de suppression de chargement sur demande, en accordant des autorisations de type de ressource individuel ou en accordant des autorisations de niveau agrégé plus larges. Vous pouvez donc sélectionner l'un des trois ensembles d'énoncés de politique indiqués ci-dessous, selon votre cas d'utilisation.
Les énoncés de politique IAM suivants servent spécifiquement à fournir l'autorisation au groupe d'utilisateurs pour l'opération de suppression :
allow group <group_name> to use loganalytics-ondemand-upload in tenancy
allow group <group_name> to {LOG_ANALYTICS_LOG_GROUP_DELETE_LOGS} in compartment <log_group_compartment>
allow group <group_name> to {LOG_ANALYTICS_QUERY_VIEW} in tenancy
allow group <group_name> to {COMPARTMENT_QUERY} in tenancy
Les énoncés de politiques IAM suivants permettent de fournir des autorisations au niveau des types de ressource individuels pour l'opération de suppression de chargement sur demande :
allow group <group_name> to use loganalytics-ondemand-upload in tenancy
allow group <group_name> to manage loganalytics-log-group in compartment <log_group_compartment>
allow group <group_name> to read loganalytics-query in tenancy
allow group <group_name> to read compartments in tenancy
Les énoncés de politiques IAM suivants permettent de fournir des autorisations au niveau des ressources agrégées d'Oracle Logging Analytics pour l'opération de suppression de chargement sur demande :
allow group <group_name> to use loganalytics-features-family in tenancy
allow group <group_name> to manage loganalytics-resources-family in tenancy/compartment
allow group <group_name> to read compartments in tenancy
group_name
dans tous les énoncés de politique ci-dessus fait référence au groupe d'utilisateurs qui doit disposer des autorisations requises.
Chargement sur demande à l'aide de la console
Vous pouvez charger vos fichiers journaux à l'aide de l'assistant Chargement sur demande (ODU) disponible dans la console de service d'Oracle Logging Analytics.
Chargement sur demande à l'aide de l'interface de ligne de commande
Vous pouvez utiliser l'interface de ligne de commande OCI pour charger vos fichiers journaux dans Oracle Logging Analytics au moyen d'une interface de ligne de commande. Cette interface simple vous permet d'automatiser vos chargements en intégrant l'interface de ligne de commande dans votre application.
Pour des informations sur l'utilisation de l'interface de ligne de commande, voir Interface de ligne de commande.
Pour la liste complète des indicateurs et options disponibles pour les commandes de l'interface de ligne de commande, voir Informations de référence sur la ligne de commande : Logging Analytics - Chargement.
Exécutez les commandes d'interface de ligne de commande suivantes pour gérer loganalytics-ondemand-upload :
-
Charger le fichier journal :
oci log-analytics upload upload-log-file --namespace-name <namespace_name> --log-source-name <log-source-name> --upload-name <upload-name> --filename <file_name> --opc-meta-loggrpid <opc-meta-loggrpid> --file <path_to_log_file>
Exemple de réponse de la commande ci-dessus :
{ "data": { "name": null, “reference” : “32817130200562135", “timeCreated” : “2020-06-01T12:00:00.000Z”, "time-earliest-log-entry": null, "time-latest-log-entry": null, "time-updated": null, "warnings-count": null } }
-
Supprimer le chargement :
oci log-analytics upload delete --namespace-name <namespace_name> --upload-reference <upload-reference>
-
Lister les chargements :
oci log-analytics upload list --namespace-name <namespace_name>
-
Obtenir le chargement :
oci log-analytics upload get --namespace-name <namespace_name> --upload-reference <upload-reference>
-
Lister les fichiers de chargement :
oci log-analytics upload list-upload-files --namespace-name <namespace_name> --upload-reference <upload-reference>
-
Supprimer le fichier de chargement :
oci log-analytics upload delete-upload-file --namespace-name <namespace_name> --upload-reference <upload-reference> --file-reference <file-reference>
Vérifier un chargement sur demande à l'aide de la console
Une fois le chargement sur demande des données de journal terminé, vous pouvez consulter le sommaire des chargements et vérifier le statut du fichier.
- Ouvrez le menu de navigation et cliquez sur Observabilité et gestion. Sous Logging Analytics, cliquez sur Administration. La page Aperçu de l'administration s'ouvre.
- Dans le panneau de gauche, sous Ressources, cliquez sur Chargements. Les derniers chargements sur demande s'affichent.
- Pour voir les données traitées du chargement, cliquez sur l'icône de menu
correspondant au chargement > sélectionnez Voir dans l'explorateur de journaux.
- Pour voir la liste des fichiers chargés avec leur statut de traitement, cliquez sur le nom du chargement.
Supprimer les fichiers journaux chargés à l'aide de la console
Une fois le chargement sur demande des données de journal terminé, vous pouvez consulter le sommaire des chargements et vérifier le statut du fichier. Si vous constatez l'échec du chargement du fichier ou si vous ne voulez plus conserver les fichiers pour ce chargement, vous pouvez les supprimer.
Ajouter des métadonnées supplémentaires au chargement
Créez un fichier json de métadonnées et nommez-le uploads_metadata.json
. Voici un exemple de fichier de métadonnées :
{
"field1":"value1",
"field2":"value2"
}
Dans le fichier ci-dessus, field1 et field2 sont des champs définis par Oracle ou par l'utilisateur. Voir Créer un champ. Tous ces champs ainsi que les valeurs fournies seront ajoutés à chaque enregistrement de journal analysé.
Créez un fichier d'archive zip contenant les données de journal réelles dans l'un des formats de fichier pris en charge et un fichier uploads_metadata.json
. Le fichier uploads_metadata.json
doit se trouver dans la hiérarchie supérieure du fichier zip.