filter-by-md5

filter-by-md5 功能僅允許含有指定 MD5 總和檢查值的第一個資源。如果此網頁抓取程式在先前的資源中看到目前資源的 MD5，則會拒絕目前的資源。此功能可防止相同的資源或是有多個 URL 的單一資源重複。

您僅可以在「資料」階段或之後呼叫這個功能。每個篩選器只能呼叫此功能一次。這個篩選器必須在呼叫 filter-by-md5 之前呼叫 generate-md5 功能以產生 MD5 總和檢查。

特性

無

範例

以下範例顯示處理 MD5 總和檢查的一般方法，也就是先產生總和檢查，再根據總和檢查進行篩選：

Data fn=generate-md5

Data fn=filter-by-md5