最大遅延とcrawl-delayの値の使用

フェッチャは、fetcher.delay.maxプロパティの値と、robots.txtファイル内のCrawl-Delayパラメータの値を比較します。

フェッチャは次のように動作します。

前述の動作は、http.robots.ignoreプロパティがfalseに設定されている場合のみ実行されます(この設定はデフォルトです)。