日志清洗与无效爬虫过滤的基础认知

例如，利用grep筛选出包含“Baiduspider💫”的行，再排除掉状态码不是200的记录，这样就能得到相对纯净的百度蜘蛛访问日志

日志清洗与无效爬虫过滤的基础认知

如果包含，则进一步检查状态码是否为200或301等正常抓取码

若同时满足以上条件，将该行写入新的日志文件；否则丢弃