Remarques :

Intégrer Oracle Cloud Infrastructure et Datadog à l'aide de pipelines d'observabilité Datadog

Introduction

Oracle Cloud Infrastructure (OCI) est une infrastructure en tant que service (IaaS) et une plate-forme en tant que service (PaaS) approuvées par les grandes entreprises. Il offre une gamme complète de services gérés comprenant l'hébergement, le stockage, la mise en réseau, les bases de données, etc.

Oracle Cloud Observability and Management Platform est conçu pour s'aligner sur les préférences de nos clients. Beaucoup ont adopté des pratiques opérationnelles établies en utilisant des outils d'observabilité tiers. Notre objectif est d'assurer une intégration transparente avec ces outils, permettant à nos clients de tirer parti de leurs investissements existants aux côtés d'OCI.

Selon Datadog, leurs pipelines d'observabilité vous permettent de collecter, de traiter et d'acheminer des journaux de n'importe quelle source vers n'importe quelle destination de l'infrastructure que vous possédez ou gérez.

Pipelines Datadog Observability

Observability Pipelines Worker est le logiciel qui s'exécute dans votre infrastructure. Il agrège et traite et achemine vos données de manière centralisée. Pour l'inclusion de journaux OCI dans Datadog, le logiciel Observability Pipelines Worker est exécuté sur une instance de calcul dans OCI. Plus précisément, le travailleur des pipelines d'observation :

Représentation de haut niveau de l'architecture de la solution, comme illustré dans l'image suivante.

Diagramme d'architecture

Objectifs

Prérequis

Tâche 1 : configurer les journaux à capturer

Le service Oracle Cloud Infrastructure Logging est une interface unique entièrement gérée et évolutive pour tous les journaux de votre location. OCI Logging permet d'accéder aux journaux à partir des ressources Oracle Cloud Infrastructure. Un journal est une ressource Oracle Cloud Infrastructure de première classe qui stocke et capture les événements de journal collectés dans un contexte donné. Un groupe de journaux est un ensemble de journaux stockés dans un compartiment. Les groupes de journaux sont des conteneurs logiques pour les journaux. Utilisez des groupes de logs pour organiser et rationaliser la gestion des logs en appliquant une stratégie Oracle Cloud Infrastructure Identity and Access Management (OCI IAM) ou en regroupant les logs à des fins d'analyse.

Pour commencer, activez un journal pour une ressource. Les services fournissent des catégories de journaux pour les différents types de journal disponibles pour les ressources. Par exemple, le service OCI Object Storage prend en charge les catégories de journal suivantes pour les buckets de stockage : événements d'accès en lecture et en écriture. Les événements d'accès en lecture capturent les événements de téléchargement, tandis que les événements d'accès en écriture capturent les événements d'écriture. Chaque service peut comporter différentes catégories de journal pour les ressources.

  1. Connectez-vous à la console OCI, accédez à Observation & gestion, à Journalisation et à Groupes de journaux.

  2. Sélectionnez votre compartiment, cliquez sur Créer un groupe de journaux et entrez les informations suivantes.

    • Nom : entrez Datadog_log_group.
    • Description (facultatif) : saisissez la description.
    • Balises (facultatif) : entrez les balises.

  3. Cliquez sur Créer pour créer un groupe de journaux.

  4. Sous Ressources, cliquez sur Journaux.

  5. Cliquez sur Créer un journal personnalisé ou sur Activer le journal de service selon vos besoins.

    Par exemple, afin d'activer l'écriture de journaux pour un bucket OCI Object Storage, procédez comme suit :

    1. Cliquez sur Activer le journal de service.

    2. Sélectionnez votre compartiment de ressource et entrez Object Storage dans Services de recherche.

    3. Cliquez sur Activer les journaux et sélectionnez le nom du bucket OCI Object Storage dans la ressource.

    4. Sélectionnez le groupe de journaux (Datadog_log_group) créé dans la tâche 1.2 et Evénements d'accès en écriture dans la catégorie de journal. Vous pouvez éventuellement saisir Datadog_bucket_write en tant que nom de journal.

    5. Cliquez sur Activer pour créer le journal OCI.

Tâche 2 : créer un flux à l'aide d'OCI Streaming

Le service Oracle Cloud Infrastructure (OCI) Streaming est une plate-forme de diffusion d'événements en temps réel, sans serveur et compatible avec Apache Kafka pour les développeurs et les data scientists. Elle fournit une solution entièrement gérée, évolutive et durable pour l'inclusion et l'utilisation de flux de données volumineux en temps réel, tels que des journaux. Nous pouvons utiliser OCI Streaming pour tout cas d'emploi dans lequel des données sont produites et traitées de manière continue et séquentielle dans un modèle d'échange de messages de type publication/abonnement.

  1. Accédez à la console OCI, accédez à Analytics et IA, Messaging et Streaming.

  2. Cliquez sur Créer un flux de données afin de créer un flux de données.

  3. Entrez les informations suivantes et cliquez sur Créer.

    • Nom : entrez le nom du flux de données. Pour ce tutoriel, il s'agit de Datadog_Stream.
    • Pool de flux de données : sélectionnez un pool de flux de données existant ou créez-en un avec une adresse publique.
    • Conservation (en heures) : saisissez le nombre d'heures de conservation des messages dans ce flux de données.
    • Nombre de partitions : entrez le nombre de partitions pour le flux.
    • Taux total d'écriture et Taux total de lecture : entrez une valeur en fonction de la quantité de données à traiter.

    Vous pouvez commencer par les valeurs par défaut pour le test. Pour plus d'informations, reportez-vous à la section Partitioning a Stream.

Tâche 3 : configurer OCI Connector Hub

OCI Connector Hub orchestre les déplacements de données entre des services Oracle Cloud Infrastructure. OCI Connector Hub fournit un emplacement central pour décrire, exécuter et surveiller les mouvements de données entre les services, tels qu'OCI Logging, OCI Object Storage, OCI Streaming, OCI Logging Analytics et OCI Monitoring. Elle peut également déclencher OCI Functions pour le traitement de données léger et OCI Notifications pour configurer les alertes.

  1. Accédez à la console OCI, accédez à Observation & gestion, à Journalisation et à Connecteurs.

  2. Cliquez sur Créer un connecteur pour le créer.

  3. Saisissez les informations suivantes .

    • Nom : entrez Datadog_SC.
    • Description (facultatif) : saisissez la description.
    • Compartiment : sélectionnez votre compartiment.
    • Source : sélectionnez Logging.
    • Cible : sélectionnez Streaming.

  4. Sous Configurer une connexion source, sélectionnez un nom de compartiment, un groupe de journaux et un journal (groupe de journaux et journal créés dans la tâche 1).

  5. Si vous voulez également envoyer des journaux d'audit, cliquez sur Journal +Another et sélectionnez le même compartiment tout en remplaçant _Audit en tant que groupe de journaux.

  6. Sous Configurer la cible, sélectionnez un compartiment et un flux de données (flux de données créé dans la tâche 2).

  7. Pour accepter les stratégies par défaut, cliquez sur le lien Créer fourni pour chaque stratégie. Des stratégies par défaut sont proposées pour toutes les autorisations requises afin que ce connecteur accède aux services source, de tâche et cible.

  8. Cliquez sur Créer.

Tâche 4 : Contrôle d'accès pour l'extraction des journaux

Pour accéder aux données à partir du flux OCI par le pipeline d'observabilité Datadog, créez un utilisateur et accordez des droits d'accès d'extraction de flux pour l'extraction des journaux.

  1. Créez un utilisateur OCI. Pour plus d'informations, reportez-vous à Gestion des utilisateurs.

  2. Créez un groupe OCI (Datadog_User_Group) et ajoutez l'utilisateur OCI au groupe. Pour plus d'informations, reportez-vous à la section Gestion des groupes.

  3. Créez la stratégie OCI IAM suivante.

    Allow group <Datadog_User_Group> to use stream-pull in compartment <compartment_of_stream>

    Remarque : utilisez ces détails utilisateur pour extraire les journaux du flux de données dans la configuration de pipeline d'observabilité Datadog pipeline.yaml.

Tâche 5 : configurer le pipeline d'observabilité Datadog

  1. Connectez-vous au portail Datadog et cliquez sur Intégrations, Pipelines d'observation.

    Piplines d'observabilité Datadog

  2. Cliquez sur Introduction si vous utilisez des pipelines pour la première fois ou cliquez sur Nouveau pipeline. Entrez le nom du pipeline, puis cliquez sur Suivant.

    Créer un pipeline

  3. Sélectionnez un modèle de pipeline QuickStart et une plate-forme.

    Plate-forme et modèle de pipeline

  4. Sélectionnez une clé d'API existante ou créez-en une et copiez la commande d'installation. Les clés d'API sont propres à votre organisation. Une clé d'API est requise par l'agent Datadog pour soumettre des mesures et des événements à Datadog.

    Installer le salarié

  5. Connectez-vous à l'instance de calcul désignée en tant que processus actif de pipeline d'observabilité sur OCI et exécutez la commande suivante pour installer le processus actif.

    Installer le salarié

    L'exécution du script lancera l'installation des pipelines d'observabilité Datadog worker.As dans le cadre du processus d'installation. Un fichier nommé observability-pipelines-worker sera créé sous le répertoire /etc/default/ avec les variables DD_API_KEY, DD_OP_PIPELINE_ID et DD_SITE.

    Installer le salarié

  6. Etant donné que la spécification du mot de passe directement dans le fichier de configuration pipeline.yaml n'est pas autorisée, ajoutez le mot de passe permettant d'accéder aux flux OCI (jeton d'authentification de l'utilisateur créé dans la tâche 4) en tant qu'autre variable (DD_KAFKA_PW) dans le fichier /etc/default/observability-pipelines-worker.

    Mot de passe OCI Streams

  7. Créez un fichier nommé pipeline.yaml sous /etc/observability-pipelines-worker/ avec la configuration suivante.

    Remplacez username, topics et bootstrap_servers par vos valeurs.

    sinks:
   Datadog_OCI_Logs:
      default_api_key: ${DD_API_KEY}
      inputs:
         - OCI_LOGS
      site: ${DD_SITE}
      type: datadog_logs
sources:
   OCI_LOGS:
      bootstrap_servers: <Bootstrap Servers>
      group_id: datadog
      sasl:
         enabled: true
         mechanism: PLAIN
         password: ${DD_KAFKA_PW}
         username: <username>
      tls:
         enabled: true
      topics:
         - <OCI_Stream_name>
      type: kafka

    Remarque : les paramètres ci-dessus peuvent être référencés à partir de Paramètres de connexion Kafka. Sur la page des détails du pool de flux de données, accédez aux ressources et cliquez sur Paramètres de la connexion Kafka.

  8. Pour démarrer le worker, exécutez la commande suivante :

    sudo systemctl restart observability-pipelines-worker

  9. Vérifiez le statut du travailleur des pipelines d'observabilité. Il devrait être en cours d'exécution.

    sudo systemctl status observability-pipelines-worker

    Remarque : si le processus actif de pipeline d'observabilité ne démarre pas, recherchez les erreurs éventuelles dans les messages sous /var/log/messages.

  10. A cette étape, vous devez initialiser un processus actif Observability Pipelines avec des données circulant depuis la source dans la console Datadog. Si le processus actif Observability Pipelines est en cours d'exécution, vous pouvez cliquer sur Visualiser le pipeline pour accéder au pipeline.

    Si la configuration OCI Connector Hub et OCI Streaming est configurée dans OCI, vous pouvez voir les journaux circulant dans Datadog.

    CART du pipeline d'observabilité

  11. Cliquez sur les journaux pour visualiser les journaux inclus à partir d'OCI.

    journaux OCI

    journaux OCI

Etapes suivantes

Ce tutoriel a démontré le processus d'intégration d'Oracle Cloud Infrastructure (OCI) et de Datadog. Du côté des informations de sécurité et de la gestion des événements (SIEM), il est essentiel de définir des tableaux de bord pour capturer les mesures critiques et configurer les alertes à déclencher lorsque les seuils prédéfinis sont dépassés. En outre, la définition de requêtes spécifiques est essentielle pour détecter les activités malveillantes et identifier les modèles au sein de votre location OCI. Ces actions amélioreront encore votre état de sécurité et permettront une surveillance proactive de votre environnement cloud.

Remerciements

Ressources de formation supplémentaires

Parcourez d'autres ateliers sur docs.oracle.com/learn ou accédez à davantage de contenus de formation gratuits sur le canal Oracle Learning YouTube. De plus, rendez-vous sur education.oracle.com/learning-explorer pour devenir un explorateur Oracle Learning.

Pour obtenir de la documentation sur le produit, visitez Oracle Help Center.