Documentation Oracle Cloud Infrastructure

Inclusion de données dans un cluster OpenSearch avec Logstash

Utilisez Logstash pour ingérer des données de journal dans un cluster OpenSearch.

Logstash est un pipeline de traitement de données qui peut ingérer des données provenant de diverses sources, les traiter et les transformer, puis les envoyer vers une destination telle qu'un cluster OpenSearch.

Prérequis

Avant de procéder aux étapes décrites dans cette rubrique, procédez comme suit :

Installer et configurer LogStash

  1. Téléchargez le Logstash OSS with OpenSearch Output Plugin à partir de OpenSearch Ingest Tools (2.8) et installez-le sur votre ordinateur local. Cette fonctionnalité n'est actuellement disponible que pour les systèmes Linux et MacOS.
  2. Extrayez le fichier tarball Logstash téléchargé, puis accédez au répertoire Logstash.
  3. Créez un fichier de configuration de pipeline, logstash.conf, dans le sous-répertoire config du répertoire Logstash.

    Voici un exemple de fichier de configuration de pipeline qui lit le fichier journal à partir de votre ordinateur local et assimile les données de journal à un cluster OpenSearch. Remplacez le texte applicable par les détails de votre cluster. Indiquez l'adresse d'API du cluster pour host. Reportez-vous à Obtention des détails d'un cluster OpenSearch. Pour user et password, indiquez un utilisateur disposant de droits d'accès suffisants pour ingérer des données pour le cluster OpenSearch. Par exemple, vous pouvez utiliser le compte utilisateur principal pour le contrôle d'accès basé sur les rôles que vous avez indiqué lors de la création du cluster. Reportez-vous à Contrôle d'accès basé sur les rôles dans la recherche avec OpenSearch.

    input {
  file{
    path => "/path/to/log/file/application.log"
    start_position => "beginning"
  }
}
 
filter{
  #Optional and can be empty
}
 
output {
  opensearch {
  hosts => "<cluster API endpoint>"
  user => "<cluster user>"
  password => "<cluster password>"
  index => "<index name>"
  ssl_certificate_verification => true
  }
}
  4. Démarrez Logstash en exécutant la commande suivante : 
    bin/logstash -f config/logstash.conf
Après le démarrage de Logstash, il lit en permanence le système de fichiers pour les nouveaux journaux à l'aide de son module d'extension d'entrée de fichier. Logstash utilise ensuite le module d'extension de sortie OpenSearch pour inclure de nouvelles données de journal dans un cluster OpenSearch.

Vous pouvez vérifier que les données de journal ont été incluses dans le cluster OpenSearch en vous connectant au tableau de bord OpenSearch du cluster pour rechercher l'index nommé pour index dans le fichier de configuration de pipleline. Reportez-vous à Tâche 6 : connexion aux tableaux de bord OpenSearch et au guide de démarrage rapide pour les tableaux de bord OpenSearch.