自定义robots.txt常见错误与解决思路

txt，删除无效规则，补充新路径的抓取授权

补充建议

xml ），部分蜘蛛可能无法正确解析； Sitemap文件本身被robots