dedup

Utilice el comando dedup para eliminar los resultados que contienen una combinación idéntica de valores de campo según el orden de búsqueda generado mediante el comando sort.

Sintaxis

dedup <dedup_options> <field_name> [, <field_name>, ...]

Parámetros

En la siguiente tabla se muestran los parámetros utilizados en este comando, junto con sus descripciones.

Parámetro Descripción

field_name

Especifique el campo cuyos valores se deben comprobar para detectar duplicados.

dedup_options

Sintaxis:

[count = <count>][includenulls = [true|false]] [consecutive = [true|false]]

count: especifica el número de duplicados que se devolverán. El valor por defecto es 1, si no se especifica.

includenulls: incluya los resultados en los que los campos dedup son nulos. Si no se especifica, el valor por defecto es false.

consecutive: elimina solo los resultados con combinaciones duplicadas de valores consecutivos. El valor por defecto es false, si no se especifica.

La siguiente consulta agrupa logs por cada combinación única de ciudad host e IP de cliente, calcula la suma del tamaño de contenido para cada grupo, ordena cada grupo por orden descendente de tamaño de contenido y, por último, elimina las filas duplicadas para una ciudad host de cliente. De esta forma, solo se conservan las filas que corresponden al tamaño de contenido más alto para cada ciudad de host de cliente:

* | stats sum('Content Size') as 'Content Size' by 'Client Host City', 'Source IP'
    | sort -'Content Size'
    | dedup 'Client Host City'

Con la consulta anterior, la tabla de registros resultante tiene tres columnas: Client Host City, Source IP y Content Size.

Si especifica la opción dedup count = 2, estarán disponibles 2 filas que tengan el mismo valor de Client Host City.

Si especifica la opción dedup includenulls = true, esas filas se incluyen donde el valor Client Host City es nulo.

Si especifica la opción dedup consecutive = true, solo se eliminarán aquellas filas en las que los valores consecutivos de Client Host City sean los mismos.