从常见异常中挖掘优化机会

状态码分布 ：将200、301、404、500等状态码分类汇总

404过多说明存在大量死链，500错误则可能严重影响抓取效率

大量404或410状态码 如果日志显示百度爬虫频繁访问不存在的页面，通常是因为网站改🎵版后未做正确的301跳转，或者外部链接指向了已删除的URL

建立日志驱动的迭代优化闭环

及时设置301重定向或提交死链删除工具可以减少无效抓取