新手配置蜘蛛池与Robots文件的常见误区

Allow与Disallow顺序颠倒 ：百度爬虫遵循优先匹配最具体规则的原则，若先用宽泛规则禁止再用具体规则允许，可能造成部分页面被误禁止