如何编写屏蔽非目标蜘蛛的Robots规则

txt是一个放置于网站根目录的纯文本❤️文件，用于告知爬虫哪些路径可以访问、哪些应被禁止

当蜘蛛访问网站✅时，会首先读取该文件，并根据其中的指令决🔍定抓取行为

推荐的Robots配置示例

在碎片时间里感受江湖豪情，轻松满足💡观众对武侠世界的向往

内容观察 好黄好紧好色,古装武侠短片浓缩江湖恩怨与侠义精神，打斗精彩、剧情紧凑