蜘蛛池分布式爬虫策略与长尾词排名机制

覆盖效率： 可同时抓取大量URL，加快新内容的发布与更新速度