列舉功能

下列功能會作用於「列舉」階段。這些功能會控制網頁抓取程式是否以及如何從指定資源中收集連結以做為進一步資源探索的起點。

enumerate-urls

enumerate-urls 功能會掃描資源，並列舉在超文字連結中找到的所有 URL。結果會用於產生更進一步的資源探索。您可以指定 content-type 以限制列舉的 URL 類型。

特性

max

從指定資源所產生的 URL 之最大數。預設為 1024。

type

Content-type，可限制列舉那些具有特定 Content-type 的 URL。type 是選擇性特性。如果省略，功能會列舉所有 URL。

範例

以下範例僅列舉 HTML URL，最多可達 1024 個：

Enumerate fn=enumerate-urls type=text/html

enumerate-urls-from-text

enumerate-urls-from-text 功能會掃描文字資源，找尋符合常規表示式：URL:.* 的字串。此功能會產生網頁抓取程式，以從這些字串中列舉出 URL，並進一步產生資源描述。

特性

max

從指定資源所產生的 URL 之最大數。如果省略 max，則預設為 1024

範例

Enumerate fn=enumerate-urls-from-text