参考消息
请求路径: 异常爬虫常常反复访问登录页面、后台目录(如/admin、/wp-admin)、数据库备份文件(
txt禁止的路径,或持续请求不存在的⭐高危目录(如后台管理、备份文件等)
分布式爬虫: 来自大量不同IP地址,但请求的URL序列高度重复,通常用于采集内容或发起攻击
例如,正常百度蜘蛛对中型网站的日抓取量通常在数千到数万次,若单个IP在一小时内请求了数万次,则高度可疑
HTTP状态码分布: 如果某个IP的请求大量返回404🔍、403等错误码,且目标均为不存在的敏感路径,往往说明该爬虫在进行恶意探测