Observação:
- Este tutorial requer acesso ao Oracle Cloud. Para se inscrever e obter uma conta grátis, consulte Conceitos Básicos do Oracle Cloud Infrastructure Free Tier.
- Ele usa valores de exemplo para credenciais, tenancy e compartimentos do Oracle Cloud Infrastructure. Ao concluir seu laboratório, substitua esses valores por valores específicos do seu ambiente de nuvem.
Analisar Logs de Amostra com o OCI Logging Analytics
Introdução
Há grandes volumes de telemetria de log em um ambiente empresarial típico. Como você descobre se seus dados de log têm eventos de log interessantes? Como você correlaciona eventos de log pertencentes a um fluxo de negócios específico de todos os seus aplicativos? Como você identifica quais fluxos de negócios estão se comportando de forma anormal? O OCI Logging Analytics é uma solução em nuvem que agrega, indexa e analisa uma variedade de dados de log de ambientes locais e multinuvem. Ele permite que você pesquise, explore e correlacione esses dados, obtenha informações operacionais detalhadas e tome decisões informadas. O Logging Analytics pode ingerir, analisar e correlacionar logs de praticamente qualquer origem. As atividades de correlação aproveitam o aprendizado de máquina aplicado pronto para uso, bem como uma linguagem de consulta sofisticada.
Neste tutorial, saiba como usar o Oracle Cloud Infrastructure Logging Analytics para executar facilmente essas tarefas, incluindo detecção de exceções, clusterização de eventos, correlação de logs e detecção de anomalias.
Objetivos
Saiba como solucionar problemas analisando arquivos de log usando algoritmos predefinidos de aprendizado de máquina, painéis de controle contextuais e interativos para identificar rapidamente os problemas e identificar as causas raiz usando o OCI Logging Analytics.
Pré-requisitos
Observação: Você pode usar uma conta de avaliação para este tutorial; no entanto, se converter sua conta para "sempre grátis", você será desligado do serviço e você não poderá usá-la para este tutorial.
Preparar seu Ambiente
Você deve ser um Administrador do OCI e executar essas etapas em uma única região.
Execute Tarefas Genéricas de Configuração de Pré-requisitos para configurar sua tenancy do Oracle Cloud Infrastructure e usar o Oracle Logging Analytics.
Ativar o Serviço Logging Analytics
Se esta for a primeira vez usando o Logging Analytics no ambiente atual, você precisará ativar o serviço executando as etapas a seguir. Se você tiver ativado o Logging Analytics, continue com a seção Fazer Upload de Logs de Amostra.
-
O serviço Logging Analytics está disponível no menu da console do OCI de nível superior. Navegue até Observabilidade e Gerenciamento e clique em Logging Analytics.
-
Se esta for a primeira vez que você estiver usando o serviço nesta região, revise a página de integração que fornecerá a você alguns detalhes de alto nível do serviço e uma opção para Iniciar Usando o Logging Analytics. Clique em Iniciar Usando o Logging Analytics.
-
Verifique as políticas criadas automaticamente. Um grupo de logs chamado Padrão será criado se não existir. Depois que o serviço Logging Analytics for ativado com sucesso, clique em Configurar Ingestão para continuar.
-
Selecione Configurar a análise de log de auditoria do OCI nesta região e clique em Próximo.
-
Após verificar as alterações, clique em Configurar Ingestão.
-
Depois que a Análise de Logs de Auditoria do OCI for ativada com sucesso, clique em Ir para o Painel de Controle de Logs de Auditoria do OCI.
Carregar Logs de Amostra
-
Faça log-in na Console do OCI usando suas credenciais de tenancy.
-
Verifique se você está na sua região home.
-
Abra um Cloud Shell clicando no ícone à direita do seletor Região. O Cloud Shell será aberto na parte inferior da janela do browser e estará disponível em alguns minutos.
-
Execute os comandos a seguir:
wget https://objectstorage.us-phoenix-1.oraclecloud.com/p/RHMd3hXQ4v33Bm7YE6IONjSvsNPFBNAf7BkcVgysjr9wgNA3gzZEB5DevHqkMR1t/n/ax1zffkcg1fy/b/oci_quick_start_script_do_not_delete/o/logging-analytics-demo-v1.0.zip
unzip logging-analytics-demo-v1.0.zip
cd logging-analytics-demo
./setup.sh
Saída de Amostra para o comando
./setup.sh
:Running demo setup script: Jan-12-2021 Checking to see if compartment logging-analytics-demo already exists Does not exist yet, create compartment . . . Create log directories Update Log Record timestamps Loading files ... Processing source/cisco-asa (convert - I file(s)) - Cisco ASA Logs . . . Processed in 12 seconds Compressing files Uploading Logs . . . Uploading oci_api_gw_access.zip Uploading oci_api_gw_exec.zip
O script de configuração configurará todos os recursos do OCI necessários e carregará os dados de log de amostra.
Observação: O script de configuração é reexecutável. Se você tiver feito upload dos mesmos arquivos antes, clique no ícone de navegação, clique em Observabilidade e Gerenciamento, navegue até o Logging Analytics e clique em Administração. Em Recursos, clique em Uploads. Selecione
logging-analytics-demo
e excluir esse upload antes de executar o script novamente. Ao descompactar, se solicitado a "substituir", responda com "A" ([A]ll
).O script de configuração também cria um grupo de Superadministradores chamado Logging-Analytics-SuperAdmins. Para permitir que outros usuários do OCI usem o Logging Analytics e analisem esses logs de amostra, adicione esses usuários a esse grupo da seguinte forma:
a. No Menu da Console do OCI, navegue até Identidade > Usuários.
b. Clique no nome do usuário que usará o Logging Analytics
c. Na metade inferior da tela, clique no botão Adicionar Usuário ao Grupo.
d. Na caixa de diálogo, escolha o grupo Logging-Analytics-SuperAdmins e clique no botão Adicionar para salvar suas alterações.
-
Para verificar se o upload dos registros de log de amostra foi feito corretamente e se todo o seu ambiente está configurado, execute as seguintes etapas:
Verifique a criação das entidades clicando no ícone de navegação, clique em Observabilidade e Gerenciamento, navegue até Análise de Log e clique em Administração. Em Recursos, clique em Entidades. Selecione o compartimento
logging-analytics-demo
. A lista de entidades deve ter esta aparência:Verifique o upload navegando até o Logging Analytics e clique em Administração. Em Recursos, clique em Uploads. Clique em
logging-analytics-demo
.Clique em Avisos no menu esquerdo e confirme se não há avisos ou erros.
Em seguida, navegue até Arquivos Carregados e clique em Status e selecione para filtrar por Falha. Isso não deve mostrar registros. Altere o Status para Em Andamento. Isso não deve mostrar registros, indicando que todos os arquivos foram carregados com sucesso.
Familiaridade
-
Clique em Exibir no Log Explorer no menu esquerdo da página Arquivos Submetidos a Upload.
-
A imagem a seguir apresenta as principais partes da interface do usuário que serão usadas neste tutorial.
1) Barra de consulta, com os botões Limpar, Ajuda de Pesquisa e Executar na extremidade direita da barra.
2) menu Intervalo de tempo e menu Ações em que é possível localizar ações como Abrir, Salvar e Salvar como.
3) Painel Campos, onde você pode selecionar origens e campos para filtrar seus dados.
4) Painel de visualização, onde você pode selecionar origens e campos para filtrar seus dados.
5) Painel principal, em que as saídas de visualização aparecem acima dos resultados da consulta.
-
O intervalo de tempo deve permanecer "Personalizado" para todo o tutorial. Se o intervalo de tempo não puder ser redefinido para "Personalizado", você poderá reiniciar retornando à página "Arquivos Carregados" e clicando em Exibir no Log Explorer.
DICA: se você perder uma etapa, poderá usar o botão Voltar do browser. No entanto, abstenha-se de usar o botão Atualizar.
Explorar Logs Usando Clusterização
-
Clique em Logs de Fluxo da VCN do OCI para fazer drill-down nos dados do fluxo da VCN.
-
Navegue até Ações e clique em Salvar como para salvar essa pesquisa como um "Widget".
-
Conclua "Salvar Pesquisa" e clique em Salvar.
Nesse momento, o widget pode ser adicionado a um painel diretamente a partir daqui ou posteriormente no menu do painel.
-
Crie alguns widgets a seguir exibindo os vários outros logs.
Posteriormente, você os adicionará a um painel.
-
Retorne para exibir todos os dados dos logs.
Dica: Limpe a barra de consulta e clique em Executar.
Você está trabalhando com um total de registros de aproximadamente 74 mil. É mais fácil visualizar grandes volumes de dados como clusters relacionados. O Logging Analytics - Clustering (AM não supervisionada) usa os dados de log e a experiência em domínio enriquecido para encontrar padrões nos dados. A clusterização funciona em texto e números, permitindo que um grande volume de dados seja reduzido a menos padrões para detecção de anomalias. Clique no botão Cluster no painel de visualização.
-
Detalhe diferentes clusters, possíveis problemas, discrepâncias e tendências.
O Logging Analytics usa AM não supervisionada para localizar clusters relacionados em dados. Isso reduz os logs ~74k para 629 padrões de cluster, em tempo real.
Observação: Os números que você vê podem ser um pouco diferentes dos mostrados no tutorial.
-
Clique na guia Problemas Potenciais.
Dos 629 clusters, 76 foram identificados automaticamente como Possíveis Problemas.
-
Clique na guia Extrações.
Esses problemas ocorreram apenas uma vez e indicam uma anomalia no sistema.
-
Agora, clique na guia Tendências.
Esses são padrões de cluster correlacionados no tempo. Clique em 8 Tendências Semelhantes para ver um conjunto de logs relacionados dos Logs de Alerta do Banco de Dados. Observe que o número exato de tendências exibidas pode variar com base no intervalo de tempo selecionado.
-
Salve essa pesquisa seguindo as mesmas etapas executadas acima na Etapa 3.
-
Crie mais uma visualização para entender a distribuição do tráfego de rede.
Primeiramente, altere a visualização para Pizza e selecione um novo conjunto de dados,
OCI VCN Flow Logs
.Na caixa de pesquisa do Painel Campos, procure a string "Origem". Em seguida, arraste e solte "IP de Origem" de "Outro" para a caixa "Agrupar por" no Painel de Visualização e clique em Aplicar.
Aqui, você pode ver a distribuição de log por "IP de Origem".
-
Localize a distribuição de "IPs de Destino" usando a linguagem de consulta.
Informe a seguinte consulta na barra de consulta e clique em Executar.
'Log Source' = 'OCI VCN Flow Logs’ | stats count('Destination IP') by 'Destination IP'
Um gráfico de Pizza (conforme definido por padrão) com registros é mostrado.
-
Altere a visualização para um mapa de árvore selecionando "Mapa de árvore" no menu de visualização.
Selecione "Mapa de árvore"
no menu de visualização.
Nesta página é possível visualizar a distribuição de Destinos-IPs. Salvar Como este widget/pesquisa.
Explorar Logs Usando o "Link"
-
Correlacione os dados com outras origens de dados usando o recurso Link não supervisionado. Informe o seguinte na barra de consulta e clique em Executar.
Dica: Pressione Ctrl-I na barra de consulta para formatar a consulta.
'Upload Name' = 'logging-analytics-demo' and 'Log Source' = 'OCI VCN Flow Logs' | eval 'Source Name' = if('Source Port' = 80, HTTP, 'Source Port' = 443, HTTPS, 'Source Port' = 21, FTP, 'Source Port' = 22, SSH, 'Source Port' = 137, NetBIOS, 'Source Port' = 648, RRP, 'Source Port' = 9006, Tomcat, 'Source Port' = 9042, Cassandra, 'Source Port' = 9060, 'Websphere Admin. Console', 'Source Port' = 9100, 'Network Printer', 'Source Port' = 9200, 'Elastic Search', Other) | eval 'Destination Name' = if('Destination Port' = 80, HTTP, 'Destination Port' = 443, HTTPS, 'Destination Port' = 21, SSH, 'Destination Port' = 22, FTP, 'Destination Port' = 137, NetBIOS, 'Destination Port' = 648, RRP, 'Destination Port' = 9006, Tomcat, 'Destination Port' = 9042, Cassandra, 'Destination Port' = 9060, 'Websphere Admin. Console', 'Destination Port' = 9100, 'Network Printer', 'Destination Port' = 9200, 'Elastic Search', Other) | eval Source = 'Source IP' || ':' || 'Source Port' | eval Destination = 'Destination IP' || ':' || 'Destination Port' | link Source, Destination | stats avg('Content Size Out') as 'Transfer Size (bytes)', unique('Source Name') as 'Traffic From', unique('Destination Name') as 'Traffic To' | classify topcount = 300 correlate = -*, Source, Destination 'Start Time', 'Traffic From', 'Transfer Size (bytes)', 'Traffic To' as Network
A funcionalidade eval traduz os nomes das Portas para Aplicativos.
A última parte da consulta adiciona mais campos de avaliação de tempo de consulta, que criam uma linha exclusiva para cada Origem e Destino, e calcula a transferência média de rede entre esses pontos finais. Além disso, você também obtém um nome traduzido para as portas de Origem e Destino como 'Tráfego de' e 'Tráfego Para'.
-
Navegue até Analisar, clique em Criar Gráfico e preencha os campos conforme mostrado abaixo:
-
Analise clusters e analise os pontos de dados especificados, criando a análise abaixo:
-
Você pode escolher diferentes campos para controlar o tamanho e as cores dos itens no gráfico.
-
Passe o mouse sobre os itens para ver informações detalhadas sobre eles.
-
Você pode clicar em itens para ter acesso a seu conteúdo.
-
Salve isso como um widget.
Navegue até Opções e clique em Opções de Exibição. Na seção 'Opções do Painel' do painel, desmarque todas as opções e marque somente 'Analisar' e 'Tabela de Dados'. Clique em Salvar Alterações. Em seguida, navegue até Ações e clique em Salvar Como para salvar essa análise como um widget.
Criar Painéis de Controle
-
Navegue até o serviço Logging Analytics e clique em Painéis.
-
Clique em Criar.
Digite um nome de painel de controle, o compartimento criado anteriormente (logging-analytics-demo) e use as pesquisas salvas disponíveis como widgets para o painel de controle no lado direito. Arraste e solte um widget na tela. Os painéis podem ser dimensionados e movidos na tela. Adicionar outros widgets criados anteriormente. O painel de controle pode ser semelhante a este:
Ou, assim:
Saiba Mais
Para coletar continuamente dados de log de suas entidades locais, você pode instalar Agentes de Gerenciamento em seus hosts, locais ou em uma infraestrutura de nuvem. Consulte os detalhes em Usar Oracle Management Agents.
Para obter mais informações sobre Associações de Entidade usadas para criar relacionamentos, consulte:
Configurar Nova Associação de Entidade de Origem
Tipos de Entidade Modelados no Serviço Logging Analytics
Para obter outras informações técnicas, consulte o Logging Analytics.
Explore outros laboratórios do Oracle Learn ou acesse mais conteúdo de aprendizado gratuito no canal YouTube do Oracle Learning. Além disso, visite a Oracle University para se tornar um Explorador de Aprendizagem da Oracle.
Mais Recursos de Aprendizagem
Explore outros laboratórios em docs.oracle.com/learn ou acesse mais conteúdo de aprendizado gratuito no canal YouTube do Oracle Learning. Além disso, visite education.oracle.com/learning-explorer para se tornar um Oracle Learning Explorer.
Para obter a documentação do produto, visite o Oracle Help Center.
Analyze Sample Logs with OCI Logging Analytics Tutorial
F50680-01
November 2021
Copyright © 2021, Oracle and/or its affiliates.