为什么要重视URL正规化与301重定向

301重定向在URL正规化中的角色 301重定向是服务器端的一种永久性跳转指令

提升爬虫效率 ：爬虫不再浪费资源抓取大量冗余的URL版本，可以用更多精力发现和索引新内容

如果发现返回200的重复URL，就需要及时通过301归并

为什么要重视URL正规化与301重定向

借助301重定向将散乱的URL版本统一定向到标准地址，能够有效提升权重的集中度，减少重复内容，并帮助爬虫更高效地索引你的网站