URLScraper 包含从不同 URL 获得已验证内容和从受密码保护的站点收集内容的机制。URLScraper 向指定的 URL 发送包含用户证书的请求,返回的 cookie 用于会话跟踪和对此站点的后续调用。
管理员提供:
loginUrl 是用户验证时出现的 HTML 表单的 action 属性。loginUrl 与要收集的 URL 不同。例如,要收集 http://my.yahoo.com,loginUrl 为 http://login.yahoo.com/config/login。
loginFormData 包含作为 HTTP 查询参数的用户证书(例如验证时必须要传递的 HTML 表单属性)。此处,关键字是 HTML 表单属性,值是需要传递的用户证书。运行时必须填写方括号中的值。
指定是否是 isHttpAuth。目前只支持 Http-Basic Auth。使用用户证书,用认证标题设置 HTTP 标题。
这是调用 URL 时需要发布的数据。