理解网站核心深度：从爬虫视角看内容层级

站内链接结构 越扁平、导航越清晰，爬虫预算利用率越高

何韦伶

在一个周期内，爬虫会优先抓取更新频繁、外链优质、内容独特的页面