Oracle Cloud Infrastructure-Dokumentation

Daten mit Logstash in ein OpenSearch-Cluster aufnehmen

Verwenden Sie Logstash, um Logdaten in ein OpenSearch-Cluster aufzunehmen.

Logstash ist eine Datenverarbeitungspipeline, die Daten aus einer Vielzahl von Quellen aufnehmen, verarbeiten und transformieren und dann an ein Ziel wie ein OpenSearch-Cluster senden kann.

Voraussetzungen

Führen Sie die folgenden Aufgaben aus, bevor Sie mit den in diesem Thema beschriebenen Schritten fortfahren:

Installation und Konfiguration von LogStash

  1. Laden Sie das Logstash OSS with OpenSearch Output Plugin von OpenSearch Ingest Tools (2.8) herunter, und installieren Sie es auf dem lokalen Rechner. Dies ist derzeit nur für Linux- und MacOS-basierte Systeme verfügbar.
  2. Extrahieren Sie den heruntergeladenen Logstash-Tarball, und navigieren Sie dann zum Verzeichnis Logstash.
  3. Erstellen Sie eine Pipelinekonfigurationsdatei logstash.conf im Unterverzeichnis config des Verzeichnisses Logstash.

    Im Folgenden finden Sie ein Beispiel für eine Pipelinekonfigurationsdatei, in der die Logdatei von Ihrem lokalen Rechner gelesen und in ein OpenSearch-Cluster aufgenommen wird. Ersetzen Sie den entsprechenden Text durch die Details für Ihr Cluster. Geben Sie den API-Endpunkt des Clusters für host an. Informationen hierzu finden Sie unter Details eines OpenSearch-Clusters abrufen. Geben Sie für user und password einen Benutzer an, der über ausreichende Berechtigungen zum Aufnehmen von Daten für das Cluster OpenSearch verfügt. Beispiel: Sie können den primären Benutzeraccount für die rollenbasierte Zugriffskontrolle verwenden, die Sie beim Erstellen des Clusters angegeben haben. Informationen hierzu finden Sie unter Rollenbasierte Zugriffskontrolle in der Suche mit OpenSearch.

    input {
  file{
    path => "/path/to/log/file/application.log"
    start_position => "beginning"
  }
}
 
filter{
  #Optional and can be empty
}
 
output {
  opensearch {
  hosts => "<cluster API endpoint>"
  user => "<cluster user>"
  password => "<cluster password>"
  index => "<index name>"
  ssl_certificate_verification => true
  }
}
  4. Starten Sie Logstash, indem Sie den folgenden Befehl ausführen: 
    bin/logstash -f config/logstash.conf
Nachdem Logstash gestartet wurde, liest es das Dateisystem kontinuierlich für neue Logs mit seinem Dateieingabe-Plug-in. Logstash verwendet dann das Ausgabe-Plug-in OpenSearch, um neue Logdaten in ein OpenSearch-Cluster aufzunehmen.

Sie können prüfen, ob die Logdaten in das Cluster OpenSearch aufgenommen wurden, indem Sie eine Verbindung zum OpenSearch-Dashboard des Clusters herstellen, um den Index zu prüfen, der in der Pipleline-Konfigurationsdatei für index angegeben wurde. Siehe Aufgabe 6: Verbindung zu OpenSearch-Dashboards herstellen und Kurzanleitung für OpenSearch-Dashboards.