网站运维的必修课：用Robots规则精准拦截非目标爬虫

但很多站长会发现：明明只想要百度、Google等主流搜索引擎收录，服务器日志却充斥着大量莫名爬虫的请求

部署与验证方法 完成规则编写后，需要将 robots