dedup

Use o comando dedup para remover resultados que contenham combinação idêntica de valores de campo com base na ordem de pesquisa gerada por meio do comando sort.

Sintaxe

dedup <dedup_options> <field_name> [, <field_name>, ...]

Parâmetros

A tabela a seguir lista os parâmetros usados nesse comando, com suas descrições.

Parâmetro Descrição

field_name

Especifique o campo cujos valores devem ser verificados em busca de duplicidades.

dedup_options

Sintaxe:

[count = <count>][includenulls = [true|false]] [consecutive = [true|false]]

count: Especifica o número de duplicatas a serem retornadas. O valor padrão é 1, se não for especificado.

includenulls: Inclui resultados nos quais os campos dedup são nulos. O valor padrão será false, se não for especificado.

consecutive: Remova somente os resultados com combinações duplicadas de valores consecutivos. O valor padrão é false, se não for especificado.

A consulta a seguir agrupa logs por cada combinação exclusiva de cidade de host do cliente e IP, calcula a soma do tamanho do conteúdo para cada grupo, classifica cada grupo por ordem decrescente de tamanho do conteúdo e, finalmente, remove linhas duplicadas para uma cidade de host do cliente. Isso retém efetivamente apenas as linhas que correspondem ao tamanho de conteúdo mais alto para cada cidade host do cliente:

* | stats sum('Content Size') as 'Content Size' by 'Client Host City', 'Source IP'
    | sort -'Content Size'
    | dedup 'Client Host City'

Com a consulta acima, a tabela de registros resultante tem três colunas: Client Host City, Source IP e Content Size.

Se você especificar a opção dedup count = 2, 2 linhas que tenham o mesmo valor de Client Host City estarão disponíveis.

Se você especificar a opção dedup includenulls = true, essas linhas serão incluídas quando o valor Client Host City for nulo.

Se você especificar a opção dedup consecutive = true, somente essas linhas serão removidas quando os valores consecutivos de Client Host City forem os mesmos.