常见误区之二：robots.txt 中遗漏必要的禁止项

若发现抓取压力异常，应优先优化服务器响应速度（如开启缓存、压缩、CDN🍀），而不是直接大幅限制频次

林玉原

百度蜘蛛在每次抓取站点前都会读取💡该文件，体积过大不仅浪费预算，还可能导致解析超时