不懂就会踩雷：百度SEO爬虫管理与Robots协议核心要点

txt 文件，它通过指令告诉搜索引擎爬虫哪些路径可以抓取、哪些路径禁止访问

因此， 不要用它来保护敏感数据 ，真正的敏感信息应通过权📌限验证等方式防护

txt中写入“Disallow: /”，导致所有爬虫都无法访问