このトピックでは、完全クロールの概要について説明します。
完全クロールとは、クローラがシード内の全ページ(フィルタによって除外されているページを除く)を処理することを意味します。完全クロールの一環として、URLのメタデータ情報を含むクロール履歴が作成されます。履歴はクロールのワークスペース・ディレクトリに作成されます。
クロール・データベースによって永続性が提供されるため、以降の再開可能クロールで履歴を使用できます。たとえば、ユーザーがコマンド・ウィンドウで[Ctrl]キーを押しながら[C]キーを押して完全クロールを停止した場合、クローラは終了する前に履歴ファイルをクローズします。その後クロールが再開されると(-rフラグを通じて)、再開されたクロールはステータスがpendingとなっている最初のURLから処理を開始します。