为什么需要分析爬虫行为

资源浪费识别✅： 爬虫是否在重复抓取无价值的页面（如带有复杂参数的链接）

将分析结果转化为优化行动

常见日志格式包含字段：IP地址、时间戳、请求方法、请求URL、状态码、用户代理（User-Agent）