理解搜索引擎爬虫的行为逻辑

值得注意的是，并非所有页面都需要高频率抓取

对于隐私政策💡、版🌟权声明、用户协议等静态页面，设置 合理的抓取间隔 即可，将资源留给核心内容页

txt设置 ：不小心屏蔽了关键目录或页面，导致核心内容无法被抓取