缓存策略：减轻服务器压力并提升抓取效率

txt 文件来指导百度蜘蛛的抓取范围，但需要谨慎操作

影响蜘蛛频率的关键因素

通过百度搜索资源平台（原百度站长平台）中的 “抓取频次调整” 工具，手动设置每日抓取上限

避免对重要页面设置禁止抓🤔取，防止蜘蛛因大量被禁而减少总抓取量

txt中同时使用Disallow和Crawl-delay时产生冲突逻辑，否则蜘蛛可能无法正确理解指令