filter-by-md5 函数只允许第一个含有给定的 MD5 校验和值的资源。如果此 robot 在较早的资源中看到当前资源的 MD5,则拒绝当前资源。该功能可防止相同资源或有多个 URL 的单个资源发生重复。
只能在“数据”阶段或之后调用此函数。每个过滤器只能调用一次此函数。过滤器必须调用 generate-md5 函数来生成 MD5 校验和,然后才能调用 filter-by-md5。
无
以下示例显示处理 MD5 校验和的典型方法,即首先生成校验和,然后根据它进行过滤:
Data fn=generate-md5
Data fn=filter-by-md5