列舉篩選器與產生篩選器的篩選程序中都擁有五個階段。
設定 – 執行初始化作業。在網頁抓取程式的有效期中只會發生一次。
中介資料 – 根據資源可用的中介資料篩選資源。在網路上擷取資源之前,對每個資源會執行一次中介資料篩選。表 19–1 列出常用中介資料類型的範例。
中介資料類型 |
說明 |
範例 |
---|---|---|
完整的 URL |
資源的位置 |
http://home.siroe.com/ |
通訊協定 |
URL 的存取部分 |
http、ftp、file |
主機 |
URL 的位址部分 |
www.siroe.com |
IP 位址 |
主機的數字版本 |
198.95.249.6 |
路徑 |
URL 的路徑部分 |
/index.html |
深度 |
從起點 URL 開始的連結數 |
5 |