百度搜索引擎优化教程：Robots文件使用方法与常见错误

什么是Robots文件 Robots文件是一个纯文本文件，通常放置在网站的根目录下，文件名必须为 robots

Sitemap ：声明🎇站点地图的存放位置，帮助爬虫更快发✨现网站内容

常用配置示例 允许所有爬虫抓取全站： User-agent: * Disallow: 禁止所有爬虫抓取全站： User-agent: * Disallow: / 仅允许百度爬虫抓取，且禁止抓取后台目录： User-agent: Baiduspider Disallow: /admin/ Disallow: /member/ Allow: / Sitemap: https://example