Documentazione dell'infrastruttura Oracle Cloud

Inclusione dei dati in una ricerca con un cluster OpenSearch con un bit fluido

Includi i dati di log in un cluster OpenSearch con Fluent Bit.

Fluent Bit è un leggero processore di log e metriche e spedizioniere.

Installa e configura Fluent Bit

  1. Scarica Fluent Bit e installa sull'istanza VM. .
    Per installare l'ultima versione sulle istanze basate su Linux e su altre piattaforme, consulta la documentazione relativa a Fluent Bit.
  2. Eseguire il comando applicabile per il sistema operativo dell'istanza VM per installare l'agente Fluent Bit.
    Ad esempio, eseguire il comando seguente per installare l'agente Fluent Bit su un'istanza Linux:
    sudo rpm -i <fluent-bit-rpm file>
  3. Aggiornare la sezione OUTPUT del file di configurazione Fluent Bit, /fluent-bit/fluent-bit.conf, per indirizzare il plugin di output al cluster OpenSearch.
    Per ulteriori informazioni su questa sezione, consultare la documentazione relativa ai bit fluenti.

    Di seguito è riportato il codice di esempio per questa sezione del file di configurazione. Sostituire il testo applicabile con i dettagli per il cluster. Specificare l'OCID del cluster OpenSearch per host. Vedere Recupero di una ricerca con i dettagli del cluster OpenSearch. Per http_User e http_Passwd, specificare un utente che dispone di autorizzazioni sufficienti per includere i dati per il cluster OpenSearch. Ad esempio, è possibile utilizzare l'account utente principale per il controllo dell'accesso basato sui ruoli specificato al momento della creazione del cluster. Vedere Controllo dell'accesso basato sui ruoli nella ricerca con OpenSearch. 

    name - es
host - <cluster_ID>
port - 9200
tls - on
tls.verify - on
index - <index_name>
http_User - <cluster_user>
http_Passwd - <cluster_password>
Suppress_Type_Name - On
Replace_Dots - On
Retry_Limit - 6
Buffer_Size - 400MB
  4. Aggiornare la sezione INPUT del file di configurazione Fluent Bit per specificare l'origine dei dati di log e la modalità di inclusione.
    Per maggiori informazioni su questa sezione, vedere File configurazione - Input.

    Ad esempio:

    Name  tail
Tag   file_log
Path  /etc/fluent-bit/project/file.log
Buffer_Max_Size  600m
Multiline  On
Parser_Firstline  multiline
Buffer_Chunk_Size  2m
Skip_Long_Lines  Off
Skip_Empty_Lines  Off
Mem_Buf_Limit  700m
DB  /etc/fluent-bit/db/file.db
DB.Sync  normal
Refresh_Interval  30
Rotate_Wait  20
Exit_On_Eof  Off
Ignore_Older  5m
storage.type  filesystem

Test dell'ingestione dei dati con un bit fluido

In questa sezione vengono descritti i passi per eseguire il test dell'inclusione dei dati di log con Fluent Bit in base alla configurazione specificata in Installa e configura Fluent Bit. Eseguire questi passi mentre si è connessi all'istanza VM. I comandi di esempio inclusi sono per i sistemi operativi basati su Linux, per altri sistemi operativi, utilizzare i comandi applicabili per tale sistema operativo.
  1. Eseguire i comandi seguenti per installare Java e Python: 
    sudo yum install python3
    sudo yum install java
  2. Eseguire il comando seguente per creare la directory per i dati di log: 
    mkdir /etc/fluent-bit/project
  3. Eseguire il comando seguente per avviare Fluent Bit: 
    sudo fluent-bit -c /etc/fluent-bit/fluent-bit.confb
  4. Creare il file di script python generate_log.py in /etc/fluent-bit/project e copiare il codice seguente nel file: 
    Import logging
 
# Configure logging to write to a file
 
logging.basicConfig(filename='file.log', level=logging.DEBUG)
 
# Generate some log messages
 
logging.debug('This is a debug message.')
 
logging.info('This is an informational message.')
 
logging.warning('This is a warning message.')
 
logging.error('This is an error message.')
 
logging.critical('This is a critical message.')
 
# Example of logging additional details using formatting
 
name = 'John'
 
age = 30
 
logging.info('User %s, age %d, logged in.', name, age)
 
# Example of logging an exception stack trace
 
try:
 
    result = 10 / 0
 
except Exception as e:
 
 logging.exception('An error occurred: %s', str(e))
  5. Utilizzare il comando seguente per eseguire lo script creato nel passo precedente: 
    python3 /etc/fluent-bit/project/generate_log.py

    L'esecuzione di questo script crea un file file.log e aggiunge al file i messaggi di log specificati.

Dopo aver eseguito lo script python, è possibile verificare che i dati di log siano stati inclusi nel cluster OpenSearch collegandosi al dashboard OpenSearch del cluster per verificare l'indice specificato nella sezione OUTPUT del file di configurazione Fluent Bit. Vedere Task 6: Connettersi ai dashboard OpenSearch e Guida rapida per i dashboard OpenSearch.