凤凰网
合理的频率设置既能保证内容被及时收录,又可避免因抓取过频导致服务器压力过大或触发反爬机制
对于每日更新内容的站点,适当提高频率有助于新内容快速进入索引库;而对于更新较慢或内容稳定的页面,降低频率可减少无谓的资源消耗
反之,若抓取过少导致新内容长期不收录,可适当缩短延时或通过主动提交链接(如百度搜索资源平台的推送工具)补充触发抓取
设为首页
关于百度
About Baidu
使用百度前必读
帮助中心
© Baidu
京ICP证030173号
京公网安备11000002000001号