site.xmlファイル

site.xmlファイルの使用方針

これら2つの構成ファイルを使用する際の方針として、default.xmlファイルが格納され、site.xmlファイルは格納されないディレクトリが1つのみ存在するという点があげられます。このディレクトリは、デフォルト構成ディレクトリです。

次に、それぞれのクロール固有の構成のための個別のディレクトリを作成します。これらのクロール別のディレクトリには、default.xmlファイルは置かず、個別のクロール構成用にカスタマイズされたsite.xmlファイルを置きます。

クロール実行時には、-cコマンドライン・オプションを使用して、このクロール別の構成ディレクトリを指定します。ただし、Web Crawlerは最初にworkspace/conf/web-crawler/defaultディレクトリ内の構成ファイルを読み込み、次にクロール別のディレクトリ内の構成ファイル(デフォルトのファイルをオーバーライドできる)を読み込むようにハードコード化されています。そのため、workspace/conf/web-crawler/defaultディレクトリおよびdefault.xmlファイルの名前と場所は変更しないようにすることが重要です。

site.xmlファイルとdefault.xmlファイルの違い

次の表は、non-polite-crawlとpolite-crawlのそれぞれのディレクトリにあるsite.xmlファイルの違い、およびそれらのファイルとグローバルのdefault.xmlファイルの違いについてまとめたものです。