Création d'une programmation pour exécuter automatiquement une requête de recherche enregistrée

Pour créer des tâches programmées, configurez d'abord les droits d'accès appropriés en créant les stratégies IAM suivantes :

1. Créez un groupe dynamique pour autoriser les tâches programmées à publier des mesures sur le service de surveillance à partir d'un compartiment spécifique :

   ALL {resource.type='loganalyticsscheduledtask', resource.compartment.id='<compartment ocid>'}

   Vous pouvez également autoriser la publication de mesures à partir de tous les compartiments :

   ALL {resource.type='loganalyticsscheduledtask'}

2. Créez des stratégies pour autoriser le groupe dynamique à effectuer des opérations de tâche programmée dans la location :

   allow group <group_name> to use loganalytics-scheduled-task in tenancy
   allow dynamic-group <dynamic_group_name> to use metrics in tenancy
   allow dynamic-group <dynamic_group_name> to read management-saved-search in tenancy
   allow dynamic-group <dynamic_group_name> to {LOG_ANALYTICS_QUERY_VIEW} in tenancy
   allow dynamic-group <dynamic_group_name> to {LOG_ANALYTICS_QUERYJOB_WORK_REQUEST_READ} in tenancy
   allow dynamic-group <dynamic_group_name> to READ loganalytics-log-group in tenancy
   allow dynamic-group <dynamic_group_name> to {LOG_ANALYTICS_LOOKUP_READ} in tenancy
   allow dynamic-group <dynamic_group_name> to read compartments in tenancy

• Certaines des instructions de stratégie ci-dessus sont incluses dans les modèles de stratégie facilement disponibles définis par Oracle. Vous pouvez envisager d'utiliser le modèle pour votre cas d'emploi. Reportez-vous à Modèles de stratégie définis par Oracle pour les cas d'utilisation courants.

• Pour plus d'informations sur les groupes dynamiques et les stratégies IAM, reportez-vous à Documentation OCI : Gestion des groupes dynamiques et à Documentation OCI : Gestion des stratégies.

• Pour plus de détails sur la stratégie, reportez-vous à Construction de requêtes de mesure - Prérequis dans la documentation Oracle Cloud Infrastructure.

• Pour obtenir la référence d'API des tâches programmées, reportez-vous à Référence ScheduledTask dans la documentation d'API Oracle Cloud Infrastructure.

Afin d'afficher les tâches programmées pour une recherche enregistrée spécifique, vous pouvez accéder à la page de détails de cette recherche. Toutefois, si vous voulez la liste de toutes les tâches programmées dans un compartiment spécifique sans référence aux recherches enregistrées pour lesquelles les tâches programmées ont été créées, utilisez l'API pour exécuter une requête de liste des tâches programmées. Reportez-vous à ListScheduledTasks.

Indiquez les paramètres suivants dans la commande GET :

• taskType=SAVED_SEARCH
• compartmentId=<compartment_OCID>
• limit=1000
• sortOrder=DESC
• sortBy=timeUpdated

Pour exécuter la commande, vous avez besoin des éléments suivants :

• Espace de noms : espace de noms Log Analytics indiqué lors de la création des tâches programmées.
• OCID de compartiment : OCID du compartiment à interroger pour obtenir la liste des tâches programmées qui y sont créées

Vous pouvez surveiller l'état des tâches programmées de la recherche enregistrée via les mesures Statut d'exécution de tâche programmée dans le service Monitoring. En cas d'échec ou d'échec de l'exécution d'une tâche en raison d'une anomalie d'infrastructure ou si une ressource ou une configuration dépendante est modifiée, la mesure fournit des détails sur l'échec pour vous aider à la rectifier.

Pour connaître les étapes permettant d'accéder à la mesure Statut d'exécution de tâche programmée, reportez-vous à Surveillance de Log Analytics à l'aide des mesures de service.

Chaque tâche planifiée de recherche enregistrée a son propre intervalle tel que spécifié dans sa programmation de tâche. Une mesure est émise vers votre location pour chaque exécution de tâche programmée. Positionnez le curseur sur les points de données du graphique pour afficher plus d'informations sur la tâche. Vous pouvez filtrer les données de mesure en fonction de l'une des dimensions Status, DisplayName ou ResourceId.

1. Dans Log Analytics, cliquez sur Administration. La page Présentation de l'administration apparaît.

2. Dans le menu Ressources de gauche, cliquez sur Règles de détection. Dans la page de liste des règles de détection, cliquez sur le nom de la règle de détection de recherche enregistrée à ouvrir. La page de détails de la règle de détection s'ouvre.

3. Dans les liens de gauche, cliquez sur Mesures.

   
   
   
   
   

4. Cliquez sur le menu Options dans l'angle supérieur droit de la mesure Statut d'exécution de tâche programmée, puis sélectionnez Afficher la requête dans l'explorateur de mesures.

   
   
   
   
   

   La mesure est maintenant affichée dans l'explorateur de mesures. Vous pouvez ainsi visualiser le graphique en détail.

   
   
   
   
   

   Faites glisser le bouton Afficher la table de données pour afficher les détails des mesures :

   
   
   
   
   

5. Cliquez sur Modifier les requêtes, et sélectionnez Nom de dimension et Valeur de dimension pour la mesure. Vous pouvez filtrer les données de mesure en fonction de taskResult, du résultat de l'exécution de la tâche programmée, Status de l'exécution de la tâche, DisplayName de la tâche, queryExecTimeRange ou ResourceId.

   Remarque
   
   

   Pour afficher des graphiques et des données tabulaires à partir de l'explorateur de mesures en indiquant un nom de dimension et une valeur de dimension, évitez d'utiliser des champs avec des parenthèses ou d'autres caractères spéciaux dans le nom. Si le champ sélectionné pour le nom de dimension comporte des caractères spéciaux, créez un champ virtuel à l'aide de la commande eval ou renommez le champ existant à l'aide de la commande rename, de sorte que les parenthèses ou les caractères spéciaux soient supprimés. Par exemple, si le champ utilisé pour le nom de dimension est Host Name (Server), vous pouvez créer un champ virtuel hostname avec | eval hostname=“Host Name (Server)”.

   La dimension queryExecTimeRange est utile pour déterminer le temps nécessaire à l'exécution de la requête de tâche programmée. Les valeurs disponibles sont < 5s, >= 5s and < 10s, >= 10s and < 30s et > 30s. En général, les requêtes qui prennent plus de 30 secondes à être exécutées sont considérées comme coûteuses en termes de temps d'exécution. Reportez-vous à How to Make Your Queries Performant.

   La dimension taskResult peut avoir les valeurs Succeeded, Failed et Paused. La dimension Status fournit des détails supplémentaires sur taskResult. Par exemple, si la valeur de taskResult est Paused, la valeur de Status peut être Paused by User.

   Cliquez sur Mettre le graphique à jour pour actualiser la visualisation du graphique. Le graphique affiche désormais uniquement les points de données pour lesquels vous avez appliqué le filtre.

   Vous pouvez basculer sur la vue Table des données pour bénéficier d'une représentation sous forme de tableau des points de données collectés.

6. Modifiez le nom de la dimension pour afficher différentes perspectives dans le graphique.

Vous pouvez configurer des alertes pour vous informer du statut via un courriel, un SMS, Slack, PagerDuty, une URL endpoint HTTPS ou une fonction. Reportez-vous à Créer des alertes pour les événements détectés.

Voici les différentes valeurs de la dimension status indiquées via cette mesure pour des valeurs taskResult spécifiques :

Notez les facteurs suivants pour la création de tâches planifiées :

• Conditions requises pour la composition de requêtes :

  Lorsque vous composez des requêtes pour créer des tâches planifiées, assurez-vous de respecter les exigences suivantes :

  • Notez les limites suivantes pour les requêtes de règle de détection :

    • N'effectuez pas de recherche avec des caractères génériques dans le champ Contenu du journal d'origine de votre requête de tâche planifiée. Pour plus d'informations sur les recherches avec caractères génériques, reportez-vous à la section Use Keywords, Phrases, and Wildcards.

    • La commande timestats ne peut pas être suivie de eval, extract, jsonextract, xmlextract et lookup.

    • La commande regex ne doit pas être utilisée sur des champs volumineux tels que Message pour éviter de rendre les requêtes coûteuses en traitement.

      Les commandes de comparaison like et extract, jsonextract et xmlextract ne sont pas prises en charge sur les champs volumineux tels que Message.

      Les champs de lien ou les champs utilisés dans la clause BY ne peuvent pas être utilisés sur des champs volumineux tels que Message.

    • The commands which are not supported in the queries for scheduled tasks are cluster, clustercompare, clusterdetails, clustersplit, compare, createview, delta, fieldsummary, highlightgroups, geostats, linkdetails, map, nlp and timecompare.

  • Limites maximales:

    Le nombre maximum de champs pris en charge pour la clause by est 3.

    Le nombre maximal de champs pris en charge pour la commande timestats est 3.

    Le nombre maximal de fonctions d'agrégation prises en charge dans une requête de tâche planifiée est 1.

  • Utilisez les valeurs des champs link en tant que dimensions pour l'imputation des mesures :

    Sélectionnez jusqu'à trois champs de dimension et une mesure numérique à publier dans le service de surveillance. Pour indiquer les champs à publier dans la surveillance, les requêtes doivent se terminer par :

    ... | link ... | fields -*, dim1, dim2, dim3, metric1

    Par défaut, la commande link comporte plusieurs colonnes dans la sortie, telles que Heure de début, Heure de fin, Nombre, etc. Utilisez -* dans la commande fields pour enlever ces champs et indiquez éventuellement jusqu'à trois champs de dimension et un champ de mesure obligatoire.

    Vous pouvez avoir plusieurs instructions eval après la commande stats et plusieurs fonctions stats pour le calcul des résultats intermédiaires. Toutefois, la requête doit se terminer par fields -*, dim1, dim2, dim3, metric1 indiquant les dimensions et la mesure à publier. Utilisez les instructions suivantes pour les requêtes de règle de détection :

    • Utilisez jusqu'à la commande 2 addfields.
    • Utilisez jusqu'à 3 fonctions stats.
    • Les instructions eval sont requises pour le calcul des résultats intermédiaires et finaux.

    Exemples de requête :

    'Log Source' = 'OCI Email Delivery'
     | link 'Entity'
     | addfields [ * | where deliveryEventType = r and bounceType = hard | stats count as 'hard bounces' ],
                 [ * | where deliveryEventType = e and length(ipPoolName) > 0 | stats count as 'total sent messages' ]
     | eval 'Total Rate' = ('hard bounces' / 'total sent messages') * 100
     | fields -*, 'Entity', 'Total Rate'

    'Log Source' = 'My Network Logs'
     | stats sum(Success) as TotalSuccess, sum(Failure) as TotalFailure
     | eval SuccessRate = (TotalSuccess / (TotalSuccess + TotalFailure)) * 100 | fields -*, SuccessRate

• Arrivée tardive des journaux :

  Si les tâches planifiées sont exécutées avant l'arrivée des journaux, il est possible que les tâches planifiées ne renvoient pas les résultats comme prévu. Pour éviter de manquer de tels journaux dans les tâches planifiées en raison de leur arrivée tardive, la requête doit en tenir compte en utilisant un ajustement de la période.

  Par exemple, si la tâche programmée est exécutée toutes les 5 minutes pour vérifier le nombre d'erreurs d'authentification et s'il y a un délai de 3 minutes entre l'heure de génération des journaux et l'heure à laquelle ils atteignent Oracle Log Analytics, la tâche programmée ne détecte pas les journaux. Considérez que la tâche planifiée s'exécute toutes les 5 minutes, par exemple 01:00, 01:05, 01:10, etc. Si l'enregistrement de journal L1 généré à 01:04 atteint Oracle Log Analytics à 01:07. L1 n'est pas détecté dans la tâche programmée exécutée à 1:05 car le journal n'est pas arrivé à Oracle Log Analytics pour le moment. Lors de la prochaine exécution à 01:10, la requête recherche les journaux avec des horodatages compris entre 01:05 et 01:10. Dans ce cycle également, L1 n'est pas détecté car son horodatage est 01:04. La requête suivante peut ne pas voir tous les enregistrements de journal si les journaux arrivent en retard :

  Label = 'Authentication Error' | stats count as logrecords by 'Log Source'

  Pour déterminer le délai d'arrivée des journaux dans Oracle Log Analytics, calculez la différence entre l'horodatage mentionné dans l'enregistrement de journal et l'heure de publication du processeur de journal. L'exemple de requête suivant peut être utilisé pour vérifier s'il y a un délai :

  Label = 'Authentication Error' and 'Log Processor Posting Time (OMC INT)' != null | fields 'Agent Collection Time (OMC INT)', 'Data Services Load Time', 'Process Time', 'Log Processor Posting Time (OMC INT)'

  La requête suivante utilise la fonction dateRelative pour ajuster le délai de 3 minutes dans une tâche qui s'exécute à un intervalle de 5 minutes :

  Label = 'Authentication Error' and Time between dateRelative(8minute, minute) and dateRelative(3minute, minute) | stats count as logrecords by 'Log Source'

• Autres facteurs :

  • Pour comprendre l'élaboration des requêtes dans le service Monitoring, reportez-vous à Construction de requêtes de mesure dans la documentation Oracle Cloud Infrastructure.

  • Notez les informations relatives aux limites pour la publication des données de mesure dans le service Monitoring. Les limites correspondent aux mesures pour une tâche programmée. Reportez-vous à PostMetricData API dans la documentation Oracle Cloud Infrastructure.

    Lorsque votre recherche enregistrée peut générer plus de 200 unique par champ valeurs, les résultats partiels sont publiés en raison des limites imposées par le service Monitoring. Dans ce cas, pour afficher les résultats top ou bottom 200, utilisez la commande sort.