Oracle Cloud Infrastructureドキュメント

Logstashを使用したOpenSearchクラスタへのデータの取込み

Logstashを使用して、ログ・データをOpenSearchクラスタに収集します。

Logstashは、様々なソースからデータを収集し、処理して変換してから、OpenSearchクラスタなどの宛先に送信できるデータ処理パイプラインです。

前提条件

このトピックで説明するステップに進む前に、次のタスクを完了します。

LogStashのインストールおよび構成

  1. OpenSearch Ingest Tools (2.8)からLogstash OSS with OpenSearch Output Pluginをダウンロードして、ローカル・マシンにインストールします。現在、これはLinuxおよびMacOSベースのシステムでのみ使用可能です。
  2. ダウンロードしたLogstash tarballを抽出し、Logstashディレクトリに移動します。
  3. Logstashディレクトリのconfigサブディレクトリに、パイプライン構成ファイルlogstash.confを作成します。

    次に、ローカル・マシンからログ・ファイルを読み取り、そのログ・データをOpenSearchクラスタに収集するパイプライン構成ファイルの例を示します。該当するテキストをクラスタの詳細に置き換えます。hostのクラスタのAPIエンドポイントを指定します。「OpenSearchクラスタの詳細の取得」を参照してください。userおよびpasswordには、OpenSearchクラスタのデータを収集するための十分な権限を持つユーザーを指定します。たとえば、クラスタの作成時に指定したロールベースのアクセス制御にプライマリ・ユーザー・アカウントを使用できます。OpenSearchを使用した検索でのロールベースのアクセス制御を参照してください。

    input {
  file{
    path => "/path/to/log/file/application.log"
    start_position => "beginning"
  }
}
 
filter{
  #Optional and can be empty
}
 
output {
  opensearch {
  hosts => "<cluster API endpoint>"
  user => "<cluster user>"
  password => "<cluster password>"
  index => "<index name>"
  ssl_certificate_verification => true
  }
}
  4. 次のコマンドを実行してLogstashを起動します。 
    bin/logstash -f config/logstash.conf
Logstashの起動後、ファイル入力プラグインを使用して、新しいログのファイル・システムを継続的に読み取ります。次に、Logstashは、OpenSearch出力プラグインを使用して、新しいログ・データをOpenSearchクラスタに収集します。

ログ・データがOpenSearchクラスタに収集されたことを確認するには、クラスタのOpenSearchダッシュボードに接続して、pipleline構成ファイルでindexに指定した名前のインデックスを確認します。タスク6: OpenSearchダッシュボードへの接続およびOpenSearchダッシュボードのクイックスタート・ガイドを参照してください。