Documentation sur Oracle Cloud Infrastructure

Ingestion de données dans une recherche avec une grappe OpenSearch avec Logstash

Utilisez Logstash pour ingérer des données de journal dans une grappe OpenSearch.

Logstash est un pipeline de traitement de données qui peut ingérer des données provenant de diverses sources, les traiter et les transformer, puis les envoyer à une destination telle qu'une grappe OpenSearch.

Préalables

Effectuez les tâches suivantes avant de passer aux étapes décrites dans cette rubrique :

Installer et configurer LogStash

  1. Téléchargez le plugiciel de sortie Logstash OSS avec OpenSearch à partir des OpenSearch outils d'ingestion (2.8) et installez-le sur votre machine locale. Cette option n'est actuellement disponible que pour les systèmes Linux et MacOS.
  2. Extrayez le fichier tarball Logstash téléchargé, puis naviguez jusqu'au répertoire Logstash.
  3. Créez un fichier de configuration de pipeline, logstash.conf, dans le sous-répertoire config du répertoire Logstash.

    Voici un exemple de fichier de configuration de pipeline qui lit le fichier journal à partir de votre machine locale et ingère les données de journal dans une grappe OpenSearch. Remplacez le texte applicable par les détails de votre grappe. Spécifiez le point d'extrémité d'API de la grappe pour host. Voir Obtention d'une recherche avec les détails de la grappe OpenSearch. Pour user et password, spécifiez un utilisateur disposant de suffisamment d'autorisations pour ingérer des données pour la grappe OpenSearch. Par exemple, vous pouvez utiliser le compte d'utilisateur principal pour le contrôle d'accès basé sur le rôle que vous avez spécifié lors de la création de la grappe. Voir Contrôle d'accès basé sur le rôle dans la recherche avec OpenSearch.

    input {
  file{
    path => "/path/to/log/file/application.log"
    start_position => "beginning"
  }
}
 
filter{
  #Optional and can be empty
}
 
output {
  opensearch {
  hosts => "<cluster API endpoint>"
  user => "<cluster user>"
  password => "<cluster password>"
  index => "<index name>"
  ssl_certificate_verification => true
  }
}
  4. Démarrez Logstash en exécutant la commande suivante : 
    bin/logstash -f config/logstash.conf
Après le démarrage de Logstash, il lit continuellement le système de fichiers pour les nouveaux journaux à l'aide de son plugiciel d'entrée de fichier. Logstash utilise ensuite le plugiciel de sortie OpenSearch pour ingérer de nouvelles données de journal dans une grappe OpenSearch.

Vous pouvez vérifier que les données de journal ont été ingérées dans la grappe OpenSearch en vous connectant au tableau de bord OpenSearch de la grappe pour rechercher l'index nommé pour index dans le fichier de configuration de pipleline. Voir Tâche 6 : Se connecter aux tableaux de bord OpenSearch et Guide de démarrage rapide pour les tableaux de bord OpenSearch.