从日志分析到网站诊断：一篇教程带来的启发

重复抓取低价值页面 ：如果日志显示蜘蛛频繁访问标签页、搜索页、分页参数等无实质内容的地址，说明网站的 robots