编写完成后的验证与维护

常见指令包括： User-ag👍⭐ent ：指定适用的爬虫类型

编写robots文件的核心语法与常用指令

以下是一些常见问题： 把所有文件都屏蔽了 ： Disallow: / 会阻止百度爬取整个网站，新站上线时需特别注意检查