合理分配爬取资源，提升网站收录效率

常见处理方法包括： 对相似内容🎊使用 canonical标签 ，告知搜索引擎以哪个版本作为唯一权威页面

如果服务器响应缓慢或负载过高，爬虫不仅会降低抓取👍频次，还可能跳过部分页面