列挙関数

次の関数は、列挙段階で動作します。これらの関数は、ロボットが指定のリソースからリンクを収集するかどうか、およびその方法を制御し、リソースの発見を継続する開始点として使用します。

enumerate-urls

enumerate-urls 関数はリソースをスキャンし、ハイパーテキストリンクで検出されるすべての URL を列挙します。結果を使用して、リソース発見を継続します。コンテンツタイプを指定し、列挙される URL の種類を制限することができます。

プロパティー

max

指定のリソースから生成する URL の最大数。デフォルトは 1024 です。

type

指定したコンテンツタイプの URL に列挙を制限するコンテンツタイプ。type はオプションのプロパティーです。指定を省略した場合、すべての URL が列挙されます。

例

次の例は、HTML URL だけを、最大値 1024 まで列挙します。

Enumerate fn=enumerate-urls type=text/html

enumerate-urls-from-text

enumerate-urls-from-text 関数はテキストリソースをスキャンし、次の正規表現に一致する文字列を検索します。URL:.*。この関数はロボットを生成し、これらの文字列から URL を列挙し、さらにリソース記述を生成します。

プロパティー

max

指定のリソースから生成する URL の最大数。max の指定を省略した場合、デフォルトは 1024 となります。

例

Enumerate fn=enumerate-urls-from-text