网站日志分析：发现百度爬取问题的关键途径

这说明爬虫的访问量严重不足，可能是服务器响应异常或爬虫被阻断

txt文件后发现，无意中新增了一条Disallow规则，误将多个栏目目录屏蔽

调整后的效果 经过两▶️周的持续优化，网站日志再次显示百度蜘蛛的日均请求数恢复到1800次以上，新📌增页面的收录时间从原来的7～10天缩短至2～3天