crawl-urlfilter.txtファイルは、URLを含めたり除外したりするための正規表現を提供します。
crawl-urlfilter.txtファイルには、URLを含めたり除外したりするための正規表現のリストを格納します。これらの正規表現は、クローラによるアクセスを許可するURLを決定します。urlfilter.filter-seedsがfalseに設定されている場合、これらの包含/除外の正規表現はシードには適用されないことに注意してください。
それぞれの正規表現には、+(プラス)文字、または-(マイナス)文字の接頭辞を付加する必要があります。プラスが付加された正規表現は包含を意味し、マイナスが付加された正規表現は除外を意味します。
このファイルの名前は、default.xml構成ファイル内のurlfilter.regex.fileプロパティによってWeb Crawlerに指定します。