策略二：通过meta标签及HTTP头控制抓取与索引

可以设置抓取速率上限，避免爬虫在特定时段对服务器造成过大压力

策略一：利用robots.txt文件精确限制

支持查看爬虫抓取日志🌺，方便排查🌺意外屏蔽或无法抓取的问题