百度搜索引擎优化教程：缓存与爬虫友好性配置指南

理解百度爬虫与缓存的关系 百度爬虫（Baiduspider）在抓取网页时，会针对服务器返回的HTTP头信息（如 Cache-Control 、 Last-Modified 、 ETag ）做出响应

txt中配置抓取延迟（Crawl-delay），可以间接控制🎇爬虫的访问压力，但一🎯般不需要主动设置过低的值