Note :

Intégrer Oracle Cloud Infrastructure et Datadog à l'aide des pipelines Datadog Observability

Présentation

Oracle Cloud Infrastructure (OCI) est une infrastructure en tant que service (IaaS) et une plate-forme en tant que service (PaaS) fiables par des entreprises à grande échelle. Il offre une gamme complète de services gérés comprenant l'hébergement, le stockage, le réseau, les bases de données, etc.

Oracle Cloud Observability and Management Platform est conçu pour s'aligner sur les préférences de nos clients. Beaucoup ont adopté des pratiques opérationnelles établies en utilisant des outils d'observabilité tiers. Notre objectif est d'assurer une intégration transparente avec ces outils, permettant à nos clients de tirer parti de leurs investissements existants aux côtés d'OCI.

Selon Datadog, leurs pipelines d'observabilité vous permettent de collecter, traiter et acheminer les journaux de n'importe quelle source vers n'importe quelle destination de l'infrastructure que vous possédez ou gérez.

Pipeline Datadog Observability

Observability Pipelines Worker est le logiciel qui s'exécute dans votre infrastructure. Il agrège et centralise les processus et achemine vos données. Pour l'ingestion des journaux OCI dans Datadog, le logiciel Observability Pipelines Worker s'exécute sur une instance de calcul dans OCI. Plus précisément, le travailleur des pipelines d'observabilité :

Représentation de haut niveau de l'architecture de la solution, comme illustré dans l'image suivante.

Diagramme d'architecture

Objectifs

Préalables

Tâche 1 : Configurer les journaux pour la capture

Le service Journalisation pour Oracle Cloud Infrastructure est un écran unique hautement évolutif et entièrement géré pour tous les journaux d'une location. Le service de journalisation pour OCI permet d'accéder aux journaux à partir des ressources d'Oracle Cloud Infrastructure. Un journal est une ressource d'Oracle Cloud Infrastructure de première classe qui stocke et saisit les événements de journal collectés dans un contexte donné. Un groupe de journaux est une collection de journaux stockés dans un compartiment. Les groupes de journaux sont des conteneurs logiques pour les journaux. Utilisez des groupes de journaux pour organiser et rationaliser la gestion des journaux en appliquant la politique ou les journaux de regroupement d'Oracle Cloud Infrastructure Identity and Access Management (OCI IAM) pour analyse.

Pour commencer, activez un journal pour une ressource. Les services fournissent des catégories pour les différents types de journaux disponibles pour les ressources. Par exemple, le service de stockage d'objets pour OCI prend en charge les catégories de journaux suivantes pour les seaux de stockage : événements d'accès en lecture et en écriture. Les événements d'accès en lecture saisissent les événements de téléchargement, tandis que les événements d'accès en écriture saisissent les événements d'écriture. Chaque service peut avoir différentes catégories de journaux pour les ressources.

  1. Connectez-vous à la console OCI, naviguez jusqu'à Observabilité et gestion, Journalisation et Groupes de journaux.

  2. Sélectionnez votre compartiment, cliquez sur Créer un groupe de journaux et entrez les informations suivantes.

    • Nom : Entrez Datadog_log_group.
    • Description (Facultatif) : Entrez la description.
    • Marqueurs (Facultatif) : Entrez les marqueurs.

  3. Cliquez sur Créer pour créer un groupe de journaux.

  4. Sous Ressources, cliquez sur Journaux.

  5. Cliquez sur Créer un journal personnalisé ou sur Activer le journal du service, au besoin.

    Par exemple, pour activer les journaux d'écriture pour un seau de stockage d'objets OCI, procédez comme suit :

    1. Cliquez sur Activer le journal de service.

    2. Sélectionnez votre compartiment de ressources et entrez Stockage d'objets dans les services de recherche.

    3. Cliquez sur Activer les journaux et sélectionnez le nom du seau de stockage d'objets OCI dans la ressource.

    4. Sélectionnez le groupe de journaux (Datadog_log_group) créé dans la tâche 1.2 et Écrire des événements d'accès dans la catégorie de journaux. Facultativement, entrez Datadog_bucket_write comme nom du journal.

    5. Cliquez sur Activer pour créer votre nouveau journal OCI.

Tâche 2 : Créer un flux à l'aide du service de diffusion en continu pour OCI

Le service de diffusion en continu d'Oracle Cloud Infrastructure (OCI) est une plate-forme de diffusion d'événements compatible avec Apache Kafka, en temps réel et sans serveur, pour les développeurs et les scientifiques de données. Elle fournit une solution entièrement gérée, évolutive et durable pour l'ingestion et la consommation de flux de données à volume élevé en temps réel tels que les journaux. Nous pouvons utiliser le service de flux pour OCI dans tous les cas d'utilisation où les données sont produites et traitées en continu et séquentiellement dans un modèle de messagerie de type publication-abonnement.

  1. Allez à la console OCI, naviguez jusqu'à Analyse et intelligence artificielle, Messagerie et Diffusion en continu.

  2. Cliquez sur Créer un flux pour créer un flux.

  3. Entrez les informations suivantes et cliquez sur Créer.

    • Nom : Entrez le nom du flux. Pour ce tutoriel, il s'agit de Datadog_Stream.
    • Groupe de flux : Sélectionnez un groupe de flux existant ou créez-en un avec un point d'extrémité public.
    • Conservation (en heures) : Entrez le nombre d'heures de conservation des messages dans ce flux.
    • Nombre de partitions : Entrez le nombre de partitions pour le flux.
    • Taux total d'écriture et Taux total de lecture : Entrez une valeur en fonction de la quantité de données à traiter.

    Vous pouvez commencer par les valeurs par défaut pour les tests. Pour plus d'informations, voir Partitionnement d'un flux.

Tâche 3 : Configurer un centre de connecteurs OCI

Le centre de connecteurs OCI orchestre le déplacement des données entre les services d'Oracle Cloud Infrastructure. Le centre de connecteurs OCI fournit un emplacement central pour décrire, exécuter et surveiller les déplacements de données entre les services, tels que la journalisation OCI, le stockage d'objets OCI, le service de diffusion en continu OCI, OCI Logging Analytics et le service de surveillance OCI. Il peut également déclencher le service des fonctions pour OCI pour le traitement des données légères et le service d'avis pour OCI pour configurer des alertes.

  1. Allez à la console OCI, naviguez jusqu'à Observabilité et gestion, Journalisation et Connecteurs.

  2. Cliquez sur Créer un connecteur pour le créer.

  3. Entrez les informations suivantes .

    • Nom : Entrez Datadog_SC.
    • Description (Facultatif) : Entrez la description.
    • Compartiment : Sélectionnez votre compartiment.
    • Source : Sélectionnez Journalisation.
    • Cible : Sélectionnez Flux.

  4. Sous Configurer la connexion source, sélectionnez un nom de compartiment, un groupe de journaux et un journal (groupe de journaux et journal créés dans la tâche 1).

  5. Si vous voulez également envoyer des journaux de vérification, cliquez sur +Another Journal et sélectionnez le même compartiment tout en remplaçant _Audit par votre groupe de journaux.

  6. Sous Configurer la cible, sélectionnez un compartiment et un flux (flux créé lors de la tâche 2).

  7. Pour accepter les politiques par défaut, cliquez sur le lien Créer fourni pour chacune. Des politiques par défaut sont proposées pour toute autorisation requise pour que ce connecteur puisse accéder aux services sources, aux tâches et aux services cibles.

  8. Cliquez sur Créer.

Tâche 4 : Contrôle d'accès pour extraire les journaux

Pour accéder aux données du flux OCI par le pipeline d'observabilité Datadog, créez un utilisateur et accordez des autorisations d'extraction de flux pour l'extraction des journaux.

  1. Créez un utilisateur OCI. Pour plus d'informations, voir Gestion des utilisateurs.

  2. Créez un groupe OCI (Datadog_User_Group) et ajoutez l'utilisateur OCI au groupe. Pour plus d'informations, voir Gestion des groupes.

  3. Créez la politique IAM OCI suivante.

    Allow group <Datadog_User_Group> to use stream-pull in compartment <compartment_of_stream>

    Note : Utilisez ces détails d'utilisateur pour extraire les journaux du flux dans la configuration du pipeline d'observabilité Datadog pipeline.yaml.

Tâche 5 : Configurer le pipeline d'observabilité Datadog

  1. Connectez-vous au portail Datadog et cliquez sur Intégrations, Pipelines d'observabilité.

    Pipelines d'observabilité Datadog

  2. Cliquez sur Démarrer si vous utilisez des pipelines pour la première fois ou cliquez sur Nouveau pipeline. Entrez le nom du pipeline et cliquez sur Suivant.

    Créer un pipeline

  3. Sélectionnez le modèle de pipeline QuickStart et une plate-forme.

    Plate-forme et modèle de pipeline

  4. Sélectionnez une clé d'API existante ou créez une nouvelle clé d'API et copiez la commande d'installation. Les clés d'API sont uniques à votre organisation. Une clé d'API est requise par l'agent Datadog pour soumettre des mesures et des événements à Datadog.

    Installer le travailleur

  5. Connectez-vous à l'instance de calcul désignée en tant que travailleur de pipeline d'observabilité sur OCI et exécutez la commande suivante pour installer le travailleur.

    Installer le travailleur

    L'exécution du script lancera l'installation des pipelines d'observabilité Datadog worker.As faisant partie du processus d'installation. Un fichier nommé observability-pipelines-worker sera créé sous le répertoire /etc/default/ avec les variables DD_API_KEY, DD_OP_PIPELINE_ID et DD_SITE.

    Installer le travailleur

  6. Comme la spécification du mot de passe directement dans le fichier de configuration pipeline.yaml n'est pas autorisée, ajoutez le mot de passe pour accéder aux flux OCI (jeton d'authentification de l'utilisateur créé dans la tâche 4) en tant qu'autre variable (DD_KAFKA_PW) dans le fichier /etc/default/observability-pipelines-worker.

    Mot de passe du service de flux pour OCI

  7. Créez un fichier nommé pipeline.yaml sous /etc/observability-pipelines-worker/ avec la configuration suivante.

    Remplacez username, topics et bootstrap_servers par vos valeurs.

    sinks:
   Datadog_OCI_Logs:
      default_api_key: ${DD_API_KEY}
      inputs:
         - OCI_LOGS
      site: ${DD_SITE}
      type: datadog_logs
sources:
   OCI_LOGS:
      bootstrap_servers: <Bootstrap Servers>
      group_id: datadog
      sasl:
         enabled: true
         mechanism: PLAIN
         password: ${DD_KAFKA_PW}
         username: <username>
      tls:
         enabled: true
      topics:
         - <OCI_Stream_name>
      type: kafka

    Note : Les paramètres ci-dessus peuvent être référencés à partir des paramètres de connexion Kafka. Dans la page des détails du groupe de flux, allez à Ressources et cliquez sur Paramètres de connexion Kafka.

  8. Pour démarrer le programme de travail, exécutez la commande suivante.

    sudo systemctl restart observability-pipelines-worker

  9. Vérifiez le statut du programme Observability Pipelines. Il devrait être en marche.

    sudo systemctl status observability-pipelines-worker

    Note : Si le programme de pipeline d'observabilité ne parvient pas à démarrer, vérifiez les erreurs dans les messages sous /var/log/messages.

  10. A cette étape, vous devez démarrer un programme de traitement des pipelines d'observabilité avec les données qui circulent à partir de la source dans la console Datadog. Si le programme de traitement des pipelines d'observabilité est en cours d'exécution, vous pouvez cliquer sur Voir le pipeline pour le diriger vers votre pipeline.

    Si la configuration du centre de connecteurs OCI et du service de diffusion en continu pour OCI est configurée dans OCI, vous pouvez voir les journaux circulant dans Datadog.

    PAM de pipeline d'observabilité

  11. Cliquez sur les journaux pour voir les journaux ingérés à partir d'OCI.

    Journaux OCI

    Journaux OCI

Étapes suivantes

Ce tutoriel présente le processus d'intégration d'Oracle Cloud Infrastructure (OCI) et de Datadog. Du côté de la gestion des informations de sécurité et des événements (SIEM), il est essentiel de définir des tableaux de bord pour saisir des mesures critiques et configurer les alertes à déclencher lorsque les seuils prédéfinis sont dépassés. En outre, la définition d'interrogations spécifiques est cruciale pour détecter les activités malveillantes et identifier les modèles dans votre location OCI. Ces actions renforceront votre sécurité et permettront une surveillance proactive de votre environnement en nuage.

Confirmation

Autres ressources d'apprentissage

Explorez d'autres laboratoires sur la page docs.oracle.com/learn ou accédez à plus de contenu d'apprentissage gratuit sur le canal YouTube d'Oracle Learning. De plus, visitez education.oracle.com/learning-explorer pour devenir un explorateur Oracle Learning.

Pour obtenir de la documentation sur le produit, visitez Oracle Help Center.