理解爬虫预算与深度控制

txt 文件禁止爬虫抓取低价值目录（如后台、脚本、临时文件），也可以使用 noindex 标签告诉爬虫不要索引某些页面