打破蜘蛛池误区：正确设置robots.txt才是SEO关键

禁止无价值页面的抓取 ：对标签聚合页、搜索结果页、临时缓存页等低质量路径，使用 Disallow 阻止百度蜘蛛抓取，避免浪费抓取配额