フィルタリング関数

フィルタリング関数はメタデータおよびデータの段階で動作し、関数およびそのプロパティーによって指定された特定の条件に基づいて、リソースを許可または拒否します。これらの関数は、filter.conf ファイルの列挙フィルタおよび生成フィルタの両方で使用できます。

これらの各 filter-by 関数は比較を行い、リソースを許可または拒否します。リソースが許可されると、処理が次のフィルタリング段階へ進みます。リソースが拒否されると、リソースが列挙または生成を継続する条件を満たしていないという理由で処理が停止します。

filter-by-exact

filter-by-exact 関数は、allow/deny 文字列が情報のソースに完全に一致する場合、リソースを許可または拒否します。キーワード all は任意の文字列と一致します。

プロパティー

src

情報のソース。

allow/deny

文字列を含みます。

例

次の例は、content-type が text/plain のリソースすべてをフィルタして取り除きます。これにより、ほかのすべてのリソースの処理が続行されます。

Data fn=filter-by-exact src=type deny=text/plain

filter-by-max

filter-by-max 関数では、指定された情報ソースが指定値以下の場合にリソースが許可されます。情報ソースが指定された値よりも大きい場合は、リソースは拒否されます。

この関数は、1 つのフィルタについて 1 回しか呼び出すことができません。

プロパティー

filter-by-max 関数は、filter-by-max 関数で使用するプロパティーを一覧表示します。

src

情報のソース。hosts、objects、または depth

value

比較のための値を指定します。

例

この例は、content-length が 1024K バイトより小さいリソースを許可します。

MetaData fn-filter-by-max src=content-length value=1024

filter-by-md5

filter-by-md5 関数は、指定の MD5 チェックサム値を持つ最初のリソースだけを許可します。このロボットによって、現在のリソースの MD5 が以前のリソースで検出された場合、現在のリソースは拒否されます。この関数は、複数の URL を持つ同一のリソースまたは単一のリソースの重複を防ぎます。

この関数は、データ段階またはそれ以降の段階でだけ呼び出すことができます。この関数は、1 つのフィルタについて 1 回しか呼び出すことができません。フィルタは generate-md5 関数を呼び出し、filter-by-md5 を呼び出す前に MD5 チェックサムを生成する必要があります。

プロパティー

なし

例

次の例は、MD5 チェックサムを処理する一般的な方法を示します。最初にチェックサムを生成し、そのチェックサムに基づいてフィルタリングします。

Data fn=generate-md5

Data fn=filter-by-md5

filter-by-prefix

filter-by-prefix 関数は、指定の情報ソースが指定されたプレフィックス文字列で開始する場合、リソースを許可または拒否します。リソースは、完全に一致する必要はありません。キーワード all は任意の文字列と一致します。

プロパティー

src

情報のソース。

allow/deny

プレフィックス比較の文字列を含みます。

例

次の例は、content-type が text/html や text/plain など、任意の種類のテキストであるリソースを許可します。

MetaData fn=filter-by-prefix src=type allow=text

filter-by-regex

filter-by-regex 関数は、正規表現によるパターンマッチングをサポートします。この関数は、指定の正規表現に一致するリソースを許可します。サポートされる正規表現構文は、POSIX.1 仕様によって定義されます。\\\\* の正規表現は、任意の文字に一致します。

プロパティー

src

情報のソース。

allow/deny

正規表現の文字列を含みます。

例

次の例は、政府 (.gov) ドメインのサイトからのすべてのリソースを拒否します。

MetaData fn=filter-by-regex src=host deny=\\\\*.gov

filterrules-process

filterrules-process 関数は、filterrules.conf ファイルのサイト定義とフィルタルールを処理します。

プロパティー

なし

例

MetaData fn=filterrules-process