多节点蜘蛛池的网络拓扑设计思路

中央服务器负责分配爬虫任务、汇总抓取日志，节点仅执行指令

容器化 ：使用Docker等⭐工具封装爬虫程序，便于快速扩容与迁移

URL去重 ：节点之间共享已抓取的URL✅队列，避免同一页面被重复抓取