精细配置robots规则，加速百度收录

txt无法直接控制频率，但配合百度搜索资源平台的“抓取频率”设置，可以对精细分出的高价值目录实施优先抓取