合理规划爬虫抓取预算，提升网站收录效率

什么是爬虫抓取预算 简单来说，爬虫抓取预算由两个核心🎇因素共同决定： 抓取频率 和 抓取数量

建立合理的内部链接结构 爬虫通常从首页开始，沿着内部链接逐层访问

这有助于爬虫在有限的预算内优先抓取新增或更新的内容