百度SEO优化：通过蜘蛛抓取日志深度分析优化站点结构

txt中屏蔽分页参数、标签聚合页等对抓取无益的URL，将抓取份额让给有价值内容