理解跨域资源共享与爬虫授权的核心作用

txt文件位于网站根目录，它告诉搜索引擎爬虫哪些路径可以☀️抓取、哪些路径应当避开

txt中配合使用Disallow指令以降低被意外索引的风险