Observação:

Integre o Oracle Cloud Infrastructure e o Datadog usando Pipelines de Observabilidade do Datadog

Introdução

A Oracle Cloud Infrastructure (OCI) é uma Infraestrutura como Serviço (IaaS) e Plataforma como Serviço (PaaS) confiáveis por empresas de larga escala. Ele oferece uma ampla gama de serviços gerenciados que englobam hospedagem, armazenamento, rede, bancos de dados e assim por diante.

A Oracle Cloud Observability and Management Platform foi projetada para se alinhar às preferências de nossos clientes. Muitos adotaram práticas operacionais estabelecidas utilizando ferramentas de Observabilidade de terceiros. Nosso objetivo é garantir uma integração perfeita com essas ferramentas, capacitando nossos clientes a aproveitar seus investimentos existentes junto com a OCI.

De acordo com o Datadog, seus Pipelines de Observabilidade permitem coletar, processar e rotear logs de qualquer origem para qualquer destino na infraestrutura que você possui ou gerencia.

Pipelines de Observabilidade do Datadog

O Observability Pipelines Worker é o software executado em sua infraestrutura. Ele agrega e processa centralmente e roteia seus dados. Para ingerir logs do OCI no Datadog, o software Observability Pipelines Worker é executado em uma instância de computação no OCI. Mais especificamente, o Observability Pipelines Worker irá:

Representação de alto nível da arquitetura da solução, conforme mostrado na imagem a seguir.

Diagrama de Arquitetura

Objetivos

Pré-requisitos

Tarefa 1: Configurar os Logs a Serem Capturados

O serviço Oracle Cloud Infrastructure Logging é um painel único altamente escalável e totalmente gerenciado para todos os logs na sua tenancy. O OCI Logging fornece acesso aos logs de recursos do Oracle Cloud Infrastructure. Um log é um excelente recurso do Oracle Cloud Infrastructure que armazena e captura eventos de log coletados em um determinado contexto. Um grupo de logs é um conjunto de logs armazenados em um compartimento. Grupos de logs são contêineres lógicos para logs. Use grupos de logs para organizar e agilizar o gerenciamento de logs aplicando a política do Oracle Cloud Infrastructure Identity and Access Management (OCI IAM) ou agrupando logs para análise.

Para começar, ative um log para um recurso. Os serviços fornecem categorias de log para os diferentes tipos de logs disponíveis para recursos. Por exemplo, o serviço OCI Object Storage suporta as seguintes categorias de log para buckets de armazenamento: eventos de acesso de leitura e gravação. Os eventos de acesso de leitura capturam eventos de download, e os eventos de acesso de gravação capturam eventos de gravação. Cada serviço pode ter diferentes categorias de log para recursos.

  1. Faça log-in na Console do OCI, navegue até Observabilidade e Gerenciamento, Logging e Grupos de Logs.

  2. Selecione seu compartimento, clique em Criar Grupo de Logs e digite as informações a seguir.

    • Nome: Informe Datadog_log_group.
    • Descrição (Opcional): Digite a descrição.
    • Tags (Opcional): Digite as tags.

  3. Clique em Criar para criar um novo grupo de logs.

  4. Em Recursos, clique em Logs.

  5. Clique em Criar log personalizado ou Ativar log de serviços, conforme desejado.

    Por exemplo, para ativar logs de gravação para um bucket do OCI Object Storage, siga as etapas:

    1. Clique em Ativar Log de Serviços.

    2. Selecione seu compartimento de recursos e digite Object Storage nos Serviços de pesquisa.

    3. Clique em Ativar Logs e selecione o nome do bucket do OCI Object Storage no Recurso.

    4. Selecione o grupo de logs (Datadog_log_group) criado na Tarefa 1.2 e Gravar Eventos de Acesso na Categoria de Log. Opcionalmente, digite Datadog_bucket_write como Nome do log.

    5. Clique em Ativar para criar seu novo log do OCI.

Tarefa 2: Criar um Stream usando o OCI Streaming

O serviço Oracle Cloud Infrastructure (OCI) Streaming é uma plataforma de streaming de eventos em tempo real, sem servidor e compatível com Apache Kafka para desenvolvedores e cientistas de dados. Ele fornece uma solução totalmente gerenciada, escalável e durável para ingestão e consumo de fluxos de dados de alto volume em tempo real, como logs. Podemos usar o OCI Streaming para qualquer caso de uso em que os dados sejam produzidos e processados de forma contínua e sequencial em um modelo de mensagens publicar-assinar.

  1. Vá para a Console do OCI, navegue até Análise e IA, Mensagens e Streaming.

  2. Clique em Criar Fluxo para criar o fluxo.

  3. Especifique as seguintes informações e clique em Criar.

    • Nome: Informe o nome do fluxo. Para este tutorial, é Datadog_Stream.
    • Pool de Streams: Selecione um pool de streams existente ou crie um novo com ponto final público.
    • Retenção ( em horas): Informe o número de horas para reter as mensagens neste fluxo.
    • Número de Seções: Informe o número de separações para o stream.
    • Taxa de Gravação Total e Taxa de Leitura Total: Informe com base na quantidade de dados que você precisa processar.

    Você pode começar com valores padrão para teste. Para obter mais informações, consulte Particionando um Stream.

Tarefa 3: Configurar um OCI Connector Hub

O OCI Connector Hub orquestra a movimentação de dados entre serviços no Oracle Cloud Infrastructure. O OCI Connector Hub fornece um local central para descrever, executar e monitorar movimentos de dados entre serviços, como OCI Logging, OCI Object Storage, OCI Streaming, OCI Logging Analytics e OCI Monitoring. Ele também pode acionar o OCI Functions para processamento de dados leves e o OCI Notifications para configurar alertas.

  1. Vá para a Console do OCI, navegue até Observabilidade e Gerenciamento, Logging e Conectores.

  2. Clique em Criar Conector para criar o conector.

  3. Digite as seguintes informações.

    • Nome: Informe Datadog_SC.
    • Descrição (Opcional): Digite a descrição.
    • Compartimento: Selecione seu compartimento.
    • Origem: Selecione Logging.
    • Destino: Selecione Streaming.

  4. Em Configurar Conexão de Origem, selecione um Nome do compartimento, um Grupo de Logs e um Log (grupo de logs e log criados na Tarefa 1).

  5. Se você também quiser enviar Logs de Auditoria, clique em +Another Log e selecione o mesmo compartimento ao substituir _Audit pelo seu grupo de logs.

  6. Em Configurar destino, selecione um Compartimento e um Stream (stream criado na Tarefa 2).

  7. Para aceitar políticas padrão, clique no link Criar fornecido para cada política padrão. Políticas padrão são oferecidas para qualquer autorização necessária para que este conector acesse os serviços de origem, tarefa e destino.

  8. Clique em Criar.

Tarefa 4: Controle de Acesso para Recuperar Logs

Para acessar dados do OCI stream pelo Pipeline de Observabilidade do Datadog, crie um usuário e conceda permissões de extração de fluxo para recuperar logs.

  1. Criar um usuário do OCI. Para obter mais informações, consulte Gerenciando Usuários.

  2. Crie um grupo do OCI (Datadog_User_Group) e adicione o usuário do OCI ao grupo. Para obter mais informações, consulte Gerenciando grupos.

  3. Crie a seguinte política do OCI IAM.

    Allow group <Datadog_User_Group> to use stream-pull in compartment <compartment_of_stream>

    Observação:: Use estes detalhes do usuário para extrair logs do stream na configuração do Pipeline de Observabilidade do Datadog pipeline.yaml.

Tarefa 5: Configurar Pipeline de Observabilidade do Datadog

  1. Faça log-in no portal do Datadog e clique em Integrações, Pipelines de Observabilidade.

    Linhas de Observação Datadog

  2. Clique em Conceitos Básicos se você estiver usando pipelines pela primeira vez ou clicar em Novo Pipeline. Informe o nome do pipeline e clique em próximo.

    Criar Linha Direta

  3. Selecione o modelo de pipeline QuickStart e uma plataforma.

    Modelo e Plataforma Pipline

  4. Selecione uma chave de API existente ou crie uma nova chave de API e copie o comando de instalação. As chaves de API são exclusivas da sua organização. Uma chave de API é necessária pelo Agente do Datadog para enviar métricas e eventos ao Datadog.

    Instalar o colaborador

  5. Faça log-in na instância de computação designada como Worker do Pipeline de Observabilidade no OCI e execute o comando a seguir para instalar o Worker.

    Instalar o colaborador

    A Execução do script iniciará a instalação dos pipelines de Observabilidade Datadog worker.As parte do processo de instalação; um arquivo chamado observability-pipelines-worker será criado no diretório /etc/default/ com as variáveis DD_API_KEY, DD_OP_PIPELINE_ID e DD_SITE.

    Instalar o colaborador

  6. Como não é permitido especificar a senha diretamente no arquivo de configuração pipeline.yaml, adicione a senha para acessar fluxos do OCI (Token de autenticação do usuário criado na Tarefa 4) como outra variável (DD_KAFKA_PW) no arquivo /etc/default/observability-pipelines-worker.

    Senha do OCI Streams

  7. Crie um arquivo chamado pipeline.yaml em /etc/observability-pipelines-worker/ com a configuração a seguir.

    Substitua username, topics e bootstrap_servers por seus valores.

    sinks:
   Datadog_OCI_Logs:
      default_api_key: ${DD_API_KEY}
      inputs:
         - OCI_LOGS
      site: ${DD_SITE}
      type: datadog_logs
sources:
   OCI_LOGS:
      bootstrap_servers: <Bootstrap Servers>
      group_id: datadog
      sasl:
         enabled: true
         mechanism: PLAIN
         password: ${DD_KAFKA_PW}
         username: <username>
      tls:
         enabled: true
      topics:
         - <OCI_Stream_name>
      type: kafka

    Observação: É possível fazer referência aos parâmetros acima em Definições de Conexão do Kafka. Na página de detalhes do pool de streams, vá para Resources e clique em Kafka Connection Settings.

  8. Para iniciar o Worker, execute o comando a seguir.

    sudo systemctl restart observability-pipelines-worker

  9. Verifique o status do Worker de Pipelines de Observabilidade. Deve estar correndo.

    sudo systemctl status observability-pipelines-worker

    Observação: Se o Worker do Pipeline de Observabilidade não for iniciado, verifique se há erros nas mensagens em /var/log/messages.

  10. Nesta etapa, você deve ter um Worker de Pipelines de Observabilidade inicializado com dados que fluem da origem na console do Datadog. Se o Worker de Pipelines de Observabilidade estiver ativo e em execução, você poderá clicar em Exibir Pipeline para ser levado ao seu pipeline.

    Se o OCI Connector Hub, a configuração do OCI Streaming estiver configurada no OCI, você poderá ver logs fluindo para o Datadog.

    MAP do Pipeline de Observabilidade

  11. Clique nos logs para exibir os logs ingeridos do OCI.

    Logs do OCI

    Logs do OCI

Próximas Etapas

Este tutorial demonstrou o processo de integração do Oracle Cloud Infrastructure (OCI) e Datadog. No lado do Security Information and Event Management (SIEM), é essencial definir painéis de controle para capturar métricas críticas e configurar alertas a serem acionados quando limites predefinidos forem excedidos. Além disso, a definição de consultas específicas é crucial para detectar atividades mal-intencionadas e identificar padrões na tenancy do OCI. Essas ações aprimorarão ainda mais sua postura de segurança e permitirão o monitoramento proativo do seu ambiente de nuvem.

Confirmação

Mais Recursos de Aprendizagem

Explore outros laboratórios em docs.oracle.com/learn ou acesse mais conteúdo de aprendizado gratuito no canal Oracle Learning YouTube. Além disso, visite education.oracle.com/learning-explorer para se tornar um Oracle Learning Explorer.

Para obter a documentação do produto, visite o Oracle Help Center.