蜘蛛陷阱：搜索引擎优化中的隐形杀手

Session ID导致的重复抓取 ：部分CMS系统会在URL中注入随机的Session ID，导致同一篇文章对应多套URL，蜘蛛抓取效率急剧下降

防范于未然：建立长效机制 蜘蛛陷阱的清除并非一次性工作