Observação:

• Este tutorial requer acesso ao Oracle Cloud. Para se inscrever e obter uma conta gratuita, consulte Conceitos Básicos do Oracle Cloud Infrastructure Free Tier.
• Ele usa valores de exemplo para credenciais, tenancy e compartimentos do Oracle Cloud Infrastructure. Ao concluir seu laboratório, substitua esses valores por valores específicos do seu ambiente de nuvem.

Coleta logs do OCI Logging no Logstash usando o OCI Streaming como servidor Kafka

Introdução

O Oracle Cloud Infrastructure (OCI) Streaming permite que os usuários do Apache Kafka descarreguem o gerenciamento de configuração, manutenção e infraestrutura necessário para hospedar seu próprio cluster Zookeeper e Kafka. O Streaming é compatível com a maioria das APIs Kafka, permitindo que você use aplicativos criados para que o Kafka envie mensagens e receba mensagens do serviço Streaming sem precisar reescrever seu código.

Neste tutorial, você pode aprender a usar o serviço OCI Streaming como um servidor Kafka. Esse serviço receberá solicitações de publicação com logs do serviço OCI Logging e inscrever solicitações de um servidor Logstash fora do OCI.

Objetivos

• Criar um Hub Conector do OCI Service
• Criar e usar o OCI Streaming como um servidor Kafka
• Obtenha logs do serviço OCI Logging e redirecione-os usando o OCI Service Connector Hub e o OCI Streaming Kafka para Logstash

Pré-requisitos

• Uma conta do Oracle Cloud. Se você não tiver uma conta, poderá inscrever-se em uma conta do Oracle Cloud Free Tier.

• Para cada serviço no OCI, você precisará fornecer algumas políticas para permitir que os serviços se comuniquem entre si. Para obter mais informações, consulte os links a seguir.

  • Políticas do OCI Streaming
  • Políticas do Conector de Serviço do OCI
  • Políticas de Log do OCI

Arquitetura

Usaremos os seguintes serviços do OCI neste tutorial: OCI Logging, OCI Service Connector Hub e OCI Streaming, conforme mostrado na seguinte arquitetura:

Tarefa 1: Configurar seu Oracle Cloud Infrastructure

1. Crie um pool de fluxos como um servidor Kafka.

   

2. Crie um fluxo. Isso será considerado um tópico Kafka. Você precisará do nome do fluxo para especificar o tópico onde publicar ou assinar o OCI Streaming como um servidor Kafka.

   

3. Criar um conector de serviço. Depois que o fluxo for criado, você poderá criar o conector de serviço. Você adicionará o registro em log de origem e o streaming de destino, conforme mostrado na seguinte imagem:

   

   • Para a configuração de origem, deixe o grupo de logs e os valores de logs em branco, para que o conector obtenha todos os logs da tenancy, conforme mostrado na seguinte imagem:

     

   • Para a configuração de destino, especifique o nome do fluxo criado anteriormente.

     

Tarefa 2: Configurar o Servidor Logstash

1. Com base na sua preferência, crie uma instância de VM e configure-a para ter acesso ssh a ela ou use sua estação local com acesso à Internet.

2. Faça download do Logstash na instância em que deseja ter o servidor Logstash. Neste tutorial, usamos v8.6.1.

3. Depois que o download estiver concluído, descompacte o pacote e vá para a pasta Logstash.

4. Crie dois arquivos: input.conf e jaas.conf, conforme mostrado nos trechos de código a seguir.

   input.conf

   input {
     kafka {
       bootstrap_servers => "cell-1.streaming.<oci_region>.oci.oraclecloud.com:9092"
       topics => ["kafka_topic"]
       security_protocol => "SASL_SSL"
       sasl_mechanism => "PLAIN"
       jaas_path => "./jaas.conf"
       auto_offset_reset => "earliest"
       consumer_threads => 1
     }
   }
   output {
     stdout {
       codec => rubydebug
     }
   }
   

   jaas.conf

   KafkaClient {
     org.apache.kafka.common.security.plain.PlainLoginModule required
     username="<username_from_kafka_connection_settings>"
     password="<auth_token>";
   };
   

5. No Pool de Fluxos criado anteriormente, copie a configuração do arquivo jaas.conf de Strings de Conexão SASL em Definições de Conexões Kafka.

6. Execute o seguinte comando para iniciar o Logstash com o cliente Kafka que consumirá logs do OCI Streaming:

   ./bin/logstash -f input.conf
   

Links Relacionados

• Documentação do OCI Logging

• Documentação do OCI Streaming

• Usando o Streaming com o Apache Kafka

Aquisições

• Autor - Cristian Vlad (Arquiteto de Nuvem Principal)
• Colaborador - Gabriel Feodorov (Engenheiro de Nuvem)

Mais Recursos de Aprendizagem

Explore outros laboratórios no site docs.oracle.com/learn ou acesse mais conteúdo de aprendizado gratuito no canal YouTube do Oracle Learning. Além disso, visite education.oracle.com/learning-explorer para se tornar um Oracle Learning Explorer.

Para obter a documentação do produto, visite o Oracle Help Center.

---

Título e Informações de Copyright

Collect logs from OCI Logging into Logstash using OCI Streaming as a Kafka server

F79037-01

March 2023

Copyright © 2023, Oracle and/or its affiliates.