控制蜘蛛抓取频率，提升网站收录效率

通过智能控制脚本，可以在不违反搜索引擎规则的前提下，合理引导蜘蛛的抓取方向，让有限的抓取资源更多流向有价值的页面