Allow配合Disallow实现精细控制

对于百度，需要关注以下标识： Baiduspi🌈der ：😎百度网页搜索爬虫，覆盖绝大多数网页抓取任务

txt里的路径是相对于网站根目录的，正确写法应为 Disallow: /admin/

txt中可以直接声明Sitemap位置，方便百度快速定位网站结构： Sitemap: https://www

Sitemap声明与抓取延迟

txt （爬虫协议）是一个基础但极易被忽视的文件

但在百度SEO实践中， 建议专门为Baiduspider设置规则 ，避免误伤其他搜索引擎，也便于精细化控制

Allow配合Disallow实现精细控制 有时需要“屏蔽大部分，只开放少数”

总结：robots.txt应随网站迭代而更新

S SEO优化部落 首页 速度优化 SEO技巧 百度收录 优化工具 ☰ 首页 速度优化 SEO技巧 百度收录 优化工具 首页 / 速度🎆优化 / 黄视频网 网站优化 黄视频网官方版-黄#🎨270;频网2026最新版v

Baiduspider-video💎 ❤️：百度视频搜索爬虫

禁止抓取的正确与错误示例

没有拖沓的慢动作和多余的镜头，每一🌺招一式都干脆利落

禁止抓取的正确与错误示例 最常🎵见需求是屏蔽后台、登录页、统计脚本✅等不需要收录的目录

先禁止全部，再开放特定子目录，爬虫会按照规则允许抓取Allow后的路径

常见错误排查清单

txt只是简单“允许”或“禁止”，实际🎯上， 写错🔥了可能导致首页被屏蔽，写漏了又可能让重复页面消耗抓取配额

txt中， User-agent 指定规则适用的爬虫

xml 这一行不依💪赖🤔User-agent，直接放在文件末尾即可

理解robots.txt在百度SEO中的作用

例如希望百度只抓取news目录下的某几个子栏目，可以这样写： User-agen🎆t: Baiduspider Disallow: /news/ Allow: /news/industry/ Allow: /news/company/ 注意顺序： Allow优先于Disallow

Sitemap📚声明与抓取延迟 在robots

xml Site⭐📢map: https://www

百度爬虫的User-agent标识

下面从百度爬虫的特性出发，梳理robots

Baiduspider-image 💫：百度图片搜索爬虫

这种方式适合内容分类明确、只想让精品🎇🎆栏目被收录的网站