过滤流程的各个阶段

枚举和生成过滤器的过滤流程都有五个阶段。

• 设置 – 执行初始化操作。在 robot 生命期中只发生一次。

• 元数据 – 根据资源可用的元数据过滤资源。在通过网络检索资源之前，每个资源都会执行一次元数据过滤。表 19–1 列出了常见元数据类型的示例。

• 数据 – 根据其数据过滤资源。在通过网络检索数据之后，每个资源的数据都会过滤一次。可用于过滤的数据包括：

  • content-type

  • content-length

  • content-encoding

  • content-charset

  • last-modified

  • expires

• 枚举 – 枚举当前资源，以确定其是否指向要检查的其他资源。

• 生成 – 为资源生成资源描述 (RD) 并将其保存在搜索服务器数据库中。

• 停止运行 – 执行任何所需的终止操作。此过程在 robot 的生命期中发生一次。