Remarque :

Collecter les journaux d'OCI Logging dans Logstash à l'aide d'OCI Streaming en tant que serveur Kafka

Introduction

Oracle Cloud Infrastructure (OCI) Streaming permet aux utilisateurs d'Apache Kafka de décharger la configuration, la maintenance et la gestion de l'infrastructure dont votre propre cluster Zookeeper et Kafka a besoin. Streaming est compatible avec la plupart des API Kafka, ce qui vous permet d'utiliser des applications écrites pour Kafka afin d'envoyer des messages au service Streaming et de les recevoir sans avoir à réécrire votre code.

Dans ce tutoriel, vous pouvez apprendre à utiliser le service OCI Streaming en tant que serveur Kafka. Ce service reçoit les demandes de publication avec les journaux du service OCI Logging et abonne les demandes d'un serveur Logstash en dehors d'OCI.

Objectifs

Prérequis

Architecture

Nous utiliserons les services OCI suivants dans ce tutoriel : OCI Logging, OCI Service Connector Hub et OCI Streaming, comme indiqué dans l'architecture suivante :

Architecture de la solution

Tâche 1 : configuration d'Oracle Cloud Infrastructure

  1. Créez un pool de flux de données comme un serveur Kafka.

    Fenêtre Créer un pool de flux de données

  2. Créez un flux de données. Cela sera considéré comme un sujet Kafka. Vous aurez besoin du nom du flux pour indiquer le sujet dans lequel publier ou vous abonner à OCI Streaming en tant que serveur Kafka.

    Créer une fenêtre de flux de données

  3. Création d'un connecteur de service. Une fois le flux créé, vous pouvez créer le connecteur de service. Vous allez ajouter la journalisation source et la diffusion en continu cible comme indiqué dans l'image suivante :

    Fenêtre Créer un connecteur de service

    • Pour la configuration source, laissez les valeurs du groupe de journaux et des journaux vides. Le connecteur prendra donc tous les journaux de la location, comme indiqué dans l'image suivante :

      Fenêtre d'origine du connecteur de service

    • Pour la configuration cible, indiquez le nom du flux précédemment créé.

      Fenêtre cible du connecteur de service

Tâche 2 : configurer le serveur Logstash

  1. Selon vos préférences, créez une instance de machine virtuelle et configurez-la de sorte qu'elle dispose d'un accès ssh ou utilisez votre station locale avec un accès Internet.

  2. Téléchargez Logstash dans l'instance dont vous souhaitez disposer du serveur Logstash. Dans ce tutoriel, nous avons utilisé v8.6.1.

  3. Une fois le téléchargement terminé, décompressez le package et accédez au dossier Logstash.

  4. Créez deux fichiers : input.conf et jaas.conf comme indiqué dans les fragments de code suivants.

    input.conf

    input {
  kafka {
    bootstrap_servers => "cell-1.streaming.<oci_region>.oci.oraclecloud.com:9092"
    topics => ["kafka_topic"]
    security_protocol => "SASL_SSL"
    sasl_mechanism => "PLAIN"
    jaas_path => "./jaas.conf"
    auto_offset_reset => "earliest"
    consumer_threads => 1
  }
}
output {
  stdout {
    codec => rubydebug
  }
}

    jaas.conf

    KafkaClient {
  org.apache.kafka.common.security.plain.PlainLoginModule required
  username="<username_from_kafka_connection_settings>"
  password="<auth_token>";
};

  5. A partir du pool de flux de données que vous avez créé précédemment, copiez la configuration du fichier jaas.conf à partir des chaînes de connexion SASL dans Paramètres des connexions Kafka.

  6. Exécutez la commande suivante pour démarrer Logstash avec le client Kafka qui utilisera les journaux d'OCI Streaming :

    ./bin/logstash -f input.conf

Remerciements

Ressources de formation supplémentaires

Explorez d'autres ateliers sur docs.oracle.com/learn ou accédez à davantage de contenu de formation gratuit sur le canal Oracle Learning YouTube. En outre, accédez à education.oracle.com/learning-explorer pour devenir un explorateur Oracle Learning.

Pour consulter la documentation produit, consultez Oracle Help Center.