理解搜索引擎爬虫的抓取优先级

爬虫优先级的基本机制 百度爬虫在访问一个网站时，通常会从首页或已知的链接开始，逐步向内层页面扩散

虽然百度官方表示该标签仅作为参考，但合理设置依然有助于向爬虫传递页面重要性的信号