利用抓取压力控制提升资源利用率

设置合理的抓取频率与时间窗口 在百度搜索资源平台中，站长可以主动调整站点的抓取频率

设置合理的抓取频率与时间窗口

理解分布式抓取调控的基本原理 百度搜索引擎采用分布式抓取系统，意味着多个抓取节点同时工作，协同完成对网站页面的采集

通过站点地图引导高效抓取

txt中添加 Crawl-Delay 指令，指定搜索引擎两次抓取之间的最小间隔（单位：秒），防止瞬间请求过多