理解抓取频率与蜘蛛池模拟策略

蜘蛛池并非字面意义上的“水池”，而是一种通过搭建多个站点或页面集合，集中吸引搜索引擎蜘蛛访问的技术方案