フェッチャは、fetcher.delay.maxプロパティの値と、robots.txtファイル内のCrawl-Delayパラメータの値を比較します。
The delay specified in robots.txt is greater than the max delay. Therefore the crawler will not fully crawl this site. All pending work from this host has been removed.
前述の動作は、http.robots.ignoreプロパティがfalseに設定されている場合のみ実行されます(この設定はデフォルトです)。