识别网站日志中的异常爬虫

常用的验证方法是在服务器端执行 host [爬虫IP] 命令，看返回结果是否指向百度官方域名