前期准备：了解分布式爬虫池的基本原理

主从同步配置后，所有爬💡▶️虫节点通过相同的 REDIS_URL 连接主节点，确保任务队列统一

HTTP状态码分布，确保200响应占比超过80%

重新爬取率是否异常升高，可能意味着去重失效

常见问题与维护建议

conf 📌文件，设置 bind 为本机内网IP，并启用持久化

可以使用 scrapy-fake-useragent 中间件，自动从主流浏览器UA列表中随💎机选取，避免特征过于单一