Documentação do Oracle Cloud Infrastructure

Ingestão de Dados em um Cluster OpenSearch com o Logstash

Use o Logstash para ingerir dados de log em um cluster OpenSearch.

Logstash é um pipeline de processamento de dados que pode ingerir dados de várias origens, processá-los e transformá-los e, em seguida, enviá-los para um destino, como um cluster OpenSearch.

Pré-requisitos

Execute as seguintes tarefas antes de continuar com as etapas descritas neste tópico:

Instalar e Configurar o LogStash

  1. Faça download do Logstash OSS com o Plug-in de Saída OpenSearch em OpenSearch Ingest Tools (2.8) e instale-o na sua máquina local. No momento, ele só está disponível para sistemas baseados em Linux e MacOS.
  2. Extraia o tarball do Logstash baixado e navegue até o diretório Logstash.
  3. Crie um arquivo de configuração de pipeline, logstash.conf, no subdiretório config do diretório Logstash.

    Veja a seguir um exemplo de arquivo de configuração de pipeline que lê o arquivo de log da sua máquina local e ingere os dados de log para um cluster OpenSearch. Substitua o texto aplicável pelos detalhes do cluster. Especifique o ponto final da API do cluster para host. Consulte Obtendo Detalhes de um Cluster OpenSearch. Para user e password, especifique um usuário que tenha permissões suficientes para ingerir dados do cluster OpenSearch. Por exemplo, você pode usar a conta de usuário principal para o controle de acesso baseado em atribuição especificado quando criou o cluster. Consulte Controle de Acesso Baseado em Atribuição na Pesquisa com OpenSearch.

    input {
  file{
    path => "/path/to/log/file/application.log"
    start_position => "beginning"
  }
}
 
filter{
  #Optional and can be empty
}
 
output {
  opensearch {
  hosts => "<cluster API endpoint>"
  user => "<cluster user>"
  password => "<cluster password>"
  index => "<index name>"
  ssl_certificate_verification => true
  }
}
  4. Inicie o Logstash executando o seguinte comando: 
    bin/logstash -f config/logstash.conf
Depois que o Logstash é iniciado, ele lê continuamente o sistema de arquivos para novos logs usando seu plug-in de entrada de arquivo. O logstash usa o plug-in de saída OpenSearch para ingerir novos dados de log em um cluster OpenSearch.

Você pode verificar se os dados de log foram ingeridos no cluster OpenSearch estabelecendo conexão com o Painel de Controle OpenSearch do cluster para verificar o índice com o nome que você especificou para index no arquivo de configuração de várias linhas. Consulte Tarefa 6: Estabelecer Conexão com OpenSearch Painéis e Guia de Início Rápido para OpenSearch Painéis.