深入了解百度SEO：robots.txt文件的正确配置方法

节省服务器资源 ：阻止爬虫抓取无实际价值的页面，如空搜索结果🌈页、临时文件目录

html页面，🔍而cgi-bin目录下其他文件仍被禁止

忽略其他爬虫 ：除了百度，还需考虑其他主流搜索引擎的规则