自定义全流程分解

常见误区与注意事项 误区表现 正确做法 用大写字母写指令 指令大小写不敏感，但建议统一小写保持规范 在Disallow路径末尾加空格 路径前后不要有额外空格，除非是有意匹配 以为能通过robots

txt阻止收录敏感信息 协议是“禁止抓取”而非“禁止收录”，泄露风险依然存在；敏感数据应配合密码或IP限制🎵 文件内容过多过乱 尽量精简规则，每增加一条Disallow都可能影响爬虫效率 后续优化与维护 robots

后续优化与维护

txt” 查看文件是✅否存在；若返回404则需新建

Allow ：在Disallow限制下，额外开放的路径，一般用于“屏蔽整个目录但开放特定子页面”