优化内部链接结构与页面权重传递

爬虫饥饿并不一定意味着网站被惩罚，而是指爬虫资源分配与网站内容产出之间存在错配

避免孤立页面 ：新发布的页面至少要从首页、分类页或其它相关页面获得一个可点击的超链接

叶素菱

提交方式上，可以通过百度搜索资源平台的“链接提交”功能上传站点地图，同时将Sitemap路径写入网站的robots

如果网站服务器负载允许，可以适当提高抓取频率上限，让爬虫更密集地回访站点

建议定期查看百度搜索资源平台中的“抓取异常”报告，观察是否有大量页面返回404、500等异常状态码