多くのコンテンツが含まれるファイル(大きなPDFやSWFファイルなど)をクローラがダウンロードする場合、コンテンツの制限を超えたためにページがスキップされたことを示す警告メッセージが出力されることがあります。この問題を解消するには、すべてのコンテンツがダウンロードされるように、コンテンツのダウンロード制限の設定を大きくします。
このサイズ制限を超えるコンテンツはダウンロードされません(つまりページはスキップされます)。
コンテンツのダウンロード制限を設定するには:
WARN com.endeca.eidi.web.UrlProcessor Content limit exceeded for http://xyz.com/pdf/B2B_info.pdf. Page is skipped.