crawl-urlfilter.txtファイルを設定し、クロール対象を特定のドメインに限定します。
# accept hosts in MY.DOMAIN.NAME # +^http://([a-z0-9]*\.)*MY.DOMAIN.NAME.com/
対象となるホストを指定するには:
# accept hosts within endeca.com +^http://([a-z0-9]*\.)*endeca.com/
# include everything +.前述の行のプラス記号をマイナス記号に置き換えます。次のようになります。
# exclude everything else -.
これら2つの変更によって、endeca.comドメインがクローラの対象となり、それ以外のすべてのドメインは除外されます。