蜘蛛池与百度搜索引擎优化：避免重复抓取的基本规则解析

规则五：配合Robots协议进行精细控制 可以通过robots