北京日报
当爬虫抓取🌈一个网站时,它通常从⭐首页出发,沿着链接逐层深入
合理使用内部链接 :在首页和重要栏目页中为深层页🌟面设置入口,避免孤立页面
如果网站层级过深,比如🌟需要经过5次或更多点击才能到达目标页面,爬虫的抓取预算(Crawl Budget)就会被大量浪费在中间页面上,导致深层✨内容迟迟无法被索引
避免“当前页”链接 :面包屑的最后一个层级通常只显示文本而🚀不带链接,以防造成爬虫的循环抓取
两者协同作用下,爬虫可以更快地完成网站的全量遍历,减少漏抓或重复抓取的情况
设为首页
关于百度
About Baidu
使用百度前必读
帮助中心
© Baidu
京ICP证030173号
京公网安备11000002000001号