新华社
实用检测方法与工具 手动逐条验证所有URL并不现实,建议采用以下方法进行批量或抽样检测: 1
循环重定向: 页面A指向B,B又⭐指回A,导致爬虫陷入死循环,最终放弃抓取
建议每季度进行一次重定向链专项检测,并结合百度搜索资源平台中的“抓取异常”报告,对提示为“重定向次数过多”或“链接不可达”的页面进行复查
设为首页
关于百度
About Baidu
使用百度前必读
帮助中心
© Baidu
京ICP证030173号
京公网安备11000002000001号