为什么需要正则匹配过滤服务器日志

在实际操作中，很难有一套通用的正则规则适用于所有网站

将过滤规则融入日常SEO工作流

txt中禁用了某些路径，百度爬虫可能请求这些路径但仍然返回200或404，过滤规则应结合实际情况设置