常见场景的robots编写示例

注释以井号开🍀头： # 这是一条注释 可以放在任意位置📢，帮助后期维护

常见的问题包括：拼写错误导致全部爬虫被屏蔽、漏写Allow语句导致重要内容无法收录、重复使用多个User-agent导致规则冲突等

robots协议的基本语法结构

Allow ：在禁止的✅范围内开放特定路径，一📚般配合Disallow使用