通过robots.txt控制抓取资源

虽然它不能直接设置抓取频率，但通过限制爬虫抓取低价值页面（如后台、重复页面、动态参数过多的URL），可以间接让爬虫将有限资源🎵集💡中在重要内容上

理解百度爬虫的抓取频率

如果发现爬虫对某一类页面过度抓取，可以通过调整 robots