爬虫行为模拟与缓存策略的核心逻辑

URL规范化 ：爬虫对带参数、带锚点或不同大小写的URL可能视为不同地址