常见误区：忽略索引与抓取之间的平衡

txt 中仅屏蔽确无价值的页面（如后台脚本、临时测试页面、无限循环的筛选页）

pdf$ 禁止抓取所有 PDF 文件 减少非网页格式文件的抓取消耗 持续迭代：监控与动态调整规则 搜索引擎的抓取行为会随着算法更新而变化，网站内容结构也可能调整

基础配置：确保核心页面被优先索引

抓取预算是指搜索引擎在单位时间内分配给某个网站的🌈爬取页面数量

分设备与分蜘蛛的独立配置 ：百度移动端爬虫与 PC 端爬虫的用户代理（User-agent）不同