Criar uma Origem

Usando a guia Filtros de Dados ao editar ou criar uma origem, você pode mascarar endereços IP, ID do usuário, nome do host e outras informações confidenciais com strings de substituição, eliminar palavras-chave e valores específicos de uma entrada de log e também ocultar uma entrada de log inteira.

Você pode adicionar filtros de dados ao criar uma origem de log ou ao editar uma origem existente. Consulte Personalizar uma Origem Definida pela Oracle para saber como editar origens de log existentes.

Se os dados de log tiverem sido enviados para o Oracle Log Analytics usando Upload sob Demanda ou coleta do armazenamento de objeto, o mascaramento ocorrerá no lado da nuvem antes de os dados serem indexados. Se você estiver coletando logs usando o Agente de Gerenciamento, os logs serão mascarados antes que o conteúdo saia do local.

Tópicos:

• Mascarando Dados de Log

• Máscara de Hash dos Dados de Log

• Eliminando Palavras-chave ou Valores Específicos de Seus Registros de Log

• Eliminando uma Entrada de Log Inteira com Base em Palavras-chave Específicas

Mascarando Dados de Log

O mascaramento é o processo de usar um conjunto de texto existente e substituí-lo por outro texto estático para ocultar o conteúdo original.

Se quiser mascarar qualquer informação, como o nome do usuário e o nome do host das entradas de log:

1. Abra o menu de navegação e clique em Observabilidade e Gerenciamento. Em Log Analytics, clique em Administração.

2. Os recursos administrativos são listados no painel esquerdo de navegação em Administração. Clique em Origens.

3. Clique no nome da origem que você deseja editar. A página de detalhes da origem é aberta. Clique em Personalizar para editar a origem.

4. Clique na guia Filtros de Dados e clique em Adicionar.

5. Digite o Nome da máscara, selecione Mascarar como Tipo, digite o valor Expressão de Localização e seu valor associado Expressão de Substituição.

   O valor Expressão de Localização pode ser pesquisa de texto simples ou expressão regular padrão. O texto que corresponde à Expressão de Localização é substituído pela Expressão de Substituição em toda a entrada de log.

   Nome	Expressão de Localização	Expressão de Substituição
   mascarar nome do usuário	User=\S	User=confidential
   mascarar host	Host=\S+	Host=mask_host

   Observação
   
   

   A sintaxe da string substituta deve corresponder à sintaxe da string que está sendo substituída. Por exemplo, um número não deve ser substituído por uma string. Um endereço IP no formato 123.45.67.89 deve ser substituído por 000.000.000.000 e não por 000.000. Se as sintaxes não corresponderem, os parsers poderão se dividir.

6. Clique em Salvar.

Ao exibir as entradas de log mascaradas desta origem de log, você descobrirá que o Oracle Log Analytics mascarou os valores dos campos especificados.

• User = confidential

• Host = mask_host

Máscara de Hash dos Dados de Log

Quando você mascara os dados de log usando a máscara conforme descrito na seção anterior, as informações mascaradas são substituídas por uma string estática fornecida na Expressão de Substituição. Por exemplo, quando o nome do usuário é mascarado com a string confidential, o nome do usuário é sempre substituído pela expressão confidential nos registros de log para cada ocorrência. Usando máscara de hash, você pode combinar o valor encontrado em um hash exclusivo. Por exemplo, se os registros de log contiverem vários nomes de usuário, cada nome de usuário será combinado para um valor exclusivo. Portanto, se a string user1 for substituída pelo hash de texto ebdkromluceaqie para cada ocorrência, o hash ainda poderá ser usado para identificar que essas entradas de log são do mesmo usuário. No entanto, o nome de usuário real não ficará visível.

Risco Associado: Como esse é um hash, não há como recuperar o valor real do texto original mascarado. No entanto, usando um hash de qualquer string, você sempre chega ao mesmo hash. Certifique-se de considerar esse risco enquanto estiver mascarando dados de log. Por exemplo, a string oracle tem o hash md5 a189c633d9995e11bf8607170ec9a4b8. Toda vez que alguém tentar criar um hash md5 na string oracle, ele sempre terá o mesmo valor. Embora você não possa usar esse hash md5 e revertê-lo de volta para obter a string original oracle, se alguém tentar adivinhar e encaminhar o hash do valor oracle, verá que o hash corresponde ao da entrada de log.

Para aplicar o filtro de dados da máscara de hash nos seus dados de log:

1. Vá para a página Criar Origem. Para ver as etapas, consulte Criar uma Origem.

2. Você também pode editar uma origem que já existe. Para ver as etapas para abrir uma página Editar Origem, consulte Editar Origem.

3. Clique na guia Filtros de Dados e clique em Adicionar.

4. Digite o Nome da máscara, selecione Máscara de Hash como Tipo, digite o valor Expressão de Localização e seu valor associado Expressão de Substituição.

   Nome	Expressão de Localização	Expressão de Substituição
   Mascarar Nome do Usuário	User=(\S+)s+	Hash de texto
   Mascarar Porta	Port=(\d+)s+	Hash Numérico

5. Clique em Salvar.

Se você quiser usar máscara de hash em um campo baseado em string, poderá usar o hash Texto ou Numérico como campo de string. Mas se seu campo de dados for numérico, como um número inteiro, longo ou ponto flutuante, use hash Numérico. Se você não usar hash numérico, o texto de substituição fará com que as expressões regulares que dependem desse valor para serem um número sejam divididas. O valor também não será armazenado.

Essa substituição acontece antes do parsing dos dados. Normalmente, quando os dados devem ser mascarados, não fica claro se são sempre numéricos. Portanto, decida o tipo de hash ao criar a definição de máscara.

Como resultado do mascaramento de hash de exemplo acima, cada nome de usuário é substituído por um hash de texto exclusivo e cada número de porta é substituído por um hash numérico exclusivo.

Você pode utilizar a máscara de hash ao filtrar ou analisar seus dados de log. Consulte Filtrar Logs por Máscara de Hash.

Eliminando Palavras-chave ou Valores Específicos de Seus Registros de Log

O Oracle Log Analytics permite pesquisar uma palavra-chave ou um valor específico nos registros de log e eliminar a palavra-chave ou o valor correspondente se essa palavra-chave existir nos registros de log.

Considere o seguinte registro de log:

ns5xt_119131: NetScreen device_id=ns5xt_119131  [Root]system-notification-00257(traffic): start_time="2017-02-07 05:00:03" duration=4 policy_id=2 service=smtp proto=6 src zone=Untrust dst zone=mail_servers action=Permit sent=756 rcvd=756 src=192.0.2.1 dst=203.0.113.1 src_port=44796 dst_port=25 src-xlated ip=192.0.2.1 port=44796 dst-xlated ip=203.0.113.1 port=25 session_id=18738

Se você quiser ocultar a palavra-chave device_id e seu valor do registro de log:

1. Abra o menu de navegação e clique em Observabilidade e Gerenciamento. Em Log Analytics, clique em Administração.

2. Os recursos administrativos são listados no painel esquerdo de navegação em Administração. Clique em Origens.

3. Clique no nome da origem que você deseja editar. A página de detalhes da origem é aberta. Clique em Personalizar para editar a origem.

4. Clique na guia Filtros de Dados e clique em Adicionar.

5. Digite o Nome do filtro, selecione Eliminar String como Topo e digite o valor Expressão de Localização, como device_id=\S*

6. Clique em Salvar.

Quando você exibir os registros de log dessa origem, descobrirá que o Oracle Log Analytics eliminou as palavras-chave ou valores especificados.

Eliminando uma Entrada de Log Inteira com Base em Palavras-chave Específicas

O Oracle Log Analytics permite pesquisar uma palavra-chave ou valor específico nos registros de log e eliminar uma entrada inteira de log em um registro de log, se essa palavra-chave existir.

Considere o seguinte registro de log:

ns5xt_119131: NetScreen device_id=ns5xt_119131  [Root]system-notification-00257(traffic): start_time="2017-02-07 05:00:03" duration=4 policy_id=2 service=smtp proto=6 src zone=Untrust dst zone=mail_servers action=Permit sent=756 rcvd=756 src=198.51.100.1 dst=203.0.113.254 src_port=44796 dst_port=25 src-xlated ip=198.51.100.1 port=44796 dst-xlated ip=203.0.113.254 port=25 session_id=18738

Digamos que você queira eliminar toda a entrada de log se a palavra-chave device_id existir:

1. Abra o menu de navegação e clique em Observabilidade e Gerenciamento. Em Log Analytics, clique em Administração.

2. Os recursos administrativos são listados no painel esquerdo de navegação em Administração. Clique em Origens.

3. Clique no nome da origem que você deseja editar. A página de detalhes da origem é aberta. Clique em Personalizar para editar a origem.

4. Clique na guia Filtros de Dados e clique em Adicionar.

5. Digite o Nome do filtro, selecione Eliminar Entrada de Log como Tipo e digite o valor Expressão de Localização como .*device_id=.*

   É importante que a expressão regular corresponda à entrada de log inteira. O uso de .* na frente e no final da expressão regular garante que ela corresponda a todos os outros textos na entrada de log.

6. Clique em Salvar.

Quando você exibir as entradas de log desta origem de log, descobrirá que o Oracle Log Analytics eliminou todas as entradas de log que contêm a string device_id nelas.

Se você usar a opção Somente tempo de parsing automático na definição de origem, em vez de criar um parser, o único campo que estará disponível para criar Definições de Campo Estendido será o campo Conteúdo de Log Original, visto que nenhum outro campo será preenchido pelo parser. Consulte Usar o Parser de Tempo Automático.

O Oracle Log Analytics permite pesquisar pelos campos estendidos que você está procurando. Você pode pesquisar com base na forma como ele foi criado, no tipo de campo base ou com algum conteúdo de exemplo do campo. Digite o conteúdo do exemplo no campo Pesquisar ou clique na seta para baixo da caixa de diálogo de pesquisa. Na caixa de diálogo de pesquisa, em Tipo de Criação, selecione se os campos estendidos que você está procurando são definidos pelo usuário ou pela Oracle. Em Campo Base, você pode selecionar entre as opções disponíveis. Também é possível especificar o conteúdo de exemplo ou a expressão do campo de extração que pode ser usada para a pesquisa. Clique em Aplicar Filtros.

Tópicos:

• Usar Consultas de Ingestão de Tempo na Origem

• Usar o campo de geolocalização para agrupar logs

• Adicionar Mais Dados às Entradas de Log no Tempo de Processamento

• Usar Função de Substituição para Substituir uma Expressão em um Campo

Quando uma entrada de log corresponde à condição definida, um label é preenchido com essa entrada de log. Esse label está disponível nas visualizações do explorador de logs, bem como na pesquisa e filtragem de entradas de log.

Você pode usar labels definidos pela Oracle ou criados pelo usuário nas origens. Para criar um label personalizado para marcar uma entrada de log específica, consulte Criar um Label.

1. Para usar labels em uma origem existente, edite essa origem. Para saber as etapas para abrir uma página Personalizar Origem, consulte Editar Origem.

2. Clique na guia Laboratórios.

3. Para adicionar um label condicional, clique em Adicionar label condicional.

   Na seção Condições:

   1. Selecione o campo de log no qual deseja aplicar a condição na lista Campo de Entrada.

   2. Select the operator from the Operator list Contains, Contains Ignore Case, Contains Regex, Contains one of Regexes, Ends With, Equal, Equal Ignore Case, In, In Ignore Case, Is Null, Not Contains, Not Equal, Not In, Not Null, and Starts With.

   3. No campo Valor da Condição, especifique o valor da condição a ser correspondida para a aplicação do label.

      Observação
      
      

      Para adicionar o Grupo de Logs como campo de entrada, forneça o respectivo OCID para o valor em vez do nome.

   4. Para adicionar mais condições, clique no ícone Adicionar Condição e repita as etapas 3a a 3c. Selecione a operação lógica a ser aplicada em várias condições. Selecione AND, OU, NOT AND ou NOT OR.

      Para adicionar um grupo de condições, clique no ícone Condição do Grupo e repita as etapas 3a a 3c para adicionar cada condição. Um grupo de condições deve ter mais de uma condição. Selecione a operação lógica a ser aplicada no grupo de condições. Selecione AND, OU, NOT AND ou NOT OR.

      Para remover uma condição, clique no ícone Remover Condição .

      Para exibir a lista de condições na forma de demonstrativo, clique em Mostrar Resumo da Condição.

4. Em Ações, selecione entre os labels já disponíveis definidos pelo sistema Oracle ou criados por usuário. Se necessário, você pode criar um novo label clicando em Criar Label.

   Marque a caixa Habilitado.

5. Clique em Adicionar.

O Oracle Log Analytics permite pesquisar os labels que você está procurando no Log Explorer. Você pode pesquisar com base em qualquer um dos parâmetros definidos para os labels. Digite a string de pesquisa no campo Pesquisar. Você pode especificar os critérios da pesquisa na caixa de diálogo. Em Tipo de Criação, selecione se os labels que você está procurando são definidos pela Oracle ou pelo usuário. Nos campos Campo de Entrada, Operador e Campo de Saída, você pode selecionar entre as opções disponíveis. Você também pode especificar o valor da condição ou o valor de saída que pode ser usado para a pesquisa. Clique em Aplicar Filtros.

Agora você pode pesquisar dados de log com base nos labels que criou. Consulte Filtrar Logs por Labels.

Usar os Campos Condicionais para Enriquecer o Conjunto de Dados

Se desejar selecionar qualquer campo arbitrário e escrever um valor para ele, você poderá usar os campos condicionais. O preenchimento de um valor em um campo arbitrário usando a funcionalidade de campos condicionais é muito semelhante ao uso de Lookups. No entanto, o uso dos campos condicionais fornece mais flexibilidade em suas condições de correspondência e é ideal para uso ao lidar com um pequeno número de condições - definições da população do campo. Por exemplo, se você tiver algumas condições para preencher um campo, poderá evitar criar e gerenciar uma consulta usando campos condicionais.

As etapas para adicionar os campos condicionais são semelhantes às do fluxo de trabalho acima para adicionar rótulos condicionais.

• Na etapa 3, em vez de clicar em Adicionar label condicional, clique em Adicionar campo condicional. O restante da etapa 3 para selecionar as condições permanece o mesmo do fluxo de trabalho acima.

• Na etapa 4 acima,

  1. Para o Campo de Saída, selecione no menu os campos já disponíveis definidos pela Oracle ou criados pelo usuário. Se necessário, você pode criar um novo campo clicando em Criar Novo Campo.

  2. Informe um Valor de Saída para gravar no campo de saída quando a condição de entrada for verdadeira.

     Por exemplo, a origem pode ser configurada para anexar o valor de saída authentication.login para o campo de saída Security Category quando o registro de log contém o campo de entrada Method definido com o valor CONNECT.

     Marque a caixa Habilitado.

Isso é particularmente útil quando você não tem certeza sobre como fazer parsing de seus logs ou como criar expressões regulares para fazer o parsing e só deseja transmitir os dados de log brutos para executar a análise. Normalmente, um parser define como os campos são extraídos de uma entrada de log para um determinado tipo de arquivo de log. No entanto, o parser genérico no Oracle Log Analytics pode:

• Detectar o timestamp e o fuso horário das entradas de log.

• Criar um timestamp usando a hora atual se as entradas de log não tiverem qualquer timestamp.

• Detectar se as entradas de log são de várias linhas ou linha única.

• Timestamp: Consulte Tratando o Tempo de Entrada de Log no seu Parser.

• Várias linhas: Quando uma entrada de log se estende por várias linhas, o analisador genérico pode capturar o conteúdo multilinha corretamente.