枚举函数

以下函数在“枚举”阶段运行。这些函数控制 robot 是否以及如何从指定资源收集链接以作为进一步的资源搜索的起点。

enumerate-urls

enumerate-urls 函数扫描资源，并枚举在超文本链接中找到的全部 URL。利用这些结果可产生更多的资源搜索结果。您可以指定 content-type 来限制枚举的 URL 的种类。

属性

max

从指定资源产生的 URL 的最大数目。默认值为 1024。

type

Content-type，限制枚举那些有特定 Content-type 的 URL。type 是一个可选属性。如果忽略，则函数枚举所有 URL。

示例

以下示例仅枚举 HTML URL，最多可达 1024 个：

Enumerate fn=enumerate-urls type=text/html

enumerate-urls-from-text

enumerate-urls-from-text 函数扫描文本资源，寻找匹配正则表达式 URL:.* 的字符串。该函数产生 robot 以枚举这些字符串中的 URL 并生成进一步的资源描述。

属性

max

从指定资源产生的 URL 的最大数目。如果忽略 max，默认值为 1024

示例

Enumerate fn=enumerate-urls-from-text