爬虫协议基础知识：搜索引擎访问你网站的规则

txt 文件，它放在网站根目录下，用于告诉❤️百度等搜索引擎的抓取爬虫：哪些页面可以抓取、哪些页面应当避开

具体的配置方法与注意事项 一个标准的 robots