爬虫协议基础知识：搜索引擎访问你网站的规则

txt，并放置在网站根目录，例如 https://www

每一条指令占一行✨，大小写敏感（目录名称需与实际一致）

黄靖容

Sitemap Sitemap: https://example

不要轻易使用 Disallow: / ，这会阻止百度爬虫抓取整个网站，导致所有页面无法被收录

温馨提示：爬虫协议是一种“建议性”的约定，并非强制命令