Documentación de Oracle Cloud Infrastructure

Ingesta de Datos en un Cluster OpenSearch con Logstash

Utilice Logstash para ingerir datos de log en un cluster OpenSearch.

Logstash es un pipeline de procesamiento de datos que puede ingerir datos de una variedad de orígenes, procesarlos y transformarlos y, a continuación, enviarlos a un destino como un cluster OpenSearch.

Requisitos

Complete las siguientes tareas antes de continuar con los pasos descritos en este tema:

Instalar y configurar LogStash

  1. Descargue Logstash OSS con el plugin de salida OpenSearch de OpenSearch Ingest Tools (2.8) e instálelo en su equipo local. Actualmente, solo está disponible para sistemas basados en Linux y MacOS.
  2. Extraiga el tarball de Logstash descargado y, a continuación, navegue al directorio Logstash.
  3. Cree un archivo de configuración de pipeline, logstash.conf, en el subdirectorio config del directorio Logstash.

    A continuación se muestra un ejemplo de archivo de configuración de pipeline que lee el archivo log de la máquina local e ingiere los datos del log en un cluster OpenSearch. Sustituya el texto aplicable por los detalles del cluster. Especifique el punto final de API del cluster para host. Consulte Obtención de detalles de un cluster OpenSearch. Para user y password, especifique un usuario que tenga permisos suficientes para ingerir datos para el cluster OpenSearch. Por ejemplo, puede utilizar la cuenta de usuario principal para el control de acceso basado en roles que especificó al crear el cluster. Consulte Control de acceso basado en roles en la búsqueda con OpenSearch.

    input {
  file{
    path => "/path/to/log/file/application.log"
    start_position => "beginning"
  }
}
 
filter{
  #Optional and can be empty
}
 
output {
  opensearch {
  hosts => "<cluster API endpoint>"
  user => "<cluster user>"
  password => "<cluster password>"
  index => "<index name>"
  ssl_certificate_verification => true
  }
}
  4. Inicie Logstash mediante la ejecución del siguiente comando: 
    bin/logstash -f config/logstash.conf
Una vez que se inicia Logstash, lee continuamente el sistema de archivos en busca de nuevos logs mediante su plugin de entrada de archivos. Logstash utiliza entonces el plugin de salida OpenSearch para ingerir nuevos datos de log en un cluster OpenSearch.

Puede verificar que los datos de log se hayan ingerido en el cluster OpenSearch conectándose al panel de control OpenSearch del cluster para comprobar el índice especificado para index en el archivo de configuración de pipleline. Consulte Tarea 6: Conexión a paneles de control de OpenSearch y la guía de inicio rápido para paneles de control de OpenSearch.