site.xmlファイルによるフェッチャのオーバーライド

このトピックでは、default.xmlファイル内のフェッチャに関するプロパティ値のオーバーライドについて説明します。

workspace/conf/web-crawler/non-polite-crawlディレクトリにあるsite.xmlファイルには、フェッチャのデフォルトのプロパティ値に対するオーバーライドが含まれています。
  • fetcher.delayの値は0.0に設定されています。
  • fetcher.threads.totalの値は52に設定されています。
  • fetcher.threads.per-hostの値は52に設定されています。

workspace/conf/web-crawler/polite-crawlディレクトリにあるsite.xmlファイルでは、fetcher.delayの値をオーバーライドしています(値は1.0に設定されています)。

それ以外は、いずれのファイルでもフェッチャのプロパティのデフォルト値が使用されます。