第二类陷阱：无限滚动与分页陷阱

html），并在末页加入 rel="nofollow" 或直接移除后续页码链接

使用表单提交的场景 （如查询库存、生成报价），务必在表单页面加上 rel="nofollow" 或通过JS响应，不让爬虫直接提交

第四类陷阱：重复内容与自增ID 某些⭐CMS系统会为同一篇文章生成多个不同ID或不同的URL别名，例如 /article/1024 和 /article/1024

第一类陷阱：无限深度的动态参数

第一类陷阱：无限深度的动态参数 许多网🎆站在URL中携带大量筛选参数，例如

应对方法： 统一URL格式 ，只保留一种标准路径，🔮其余版本使用301重定向到标准版

第三类陷阱：日历、搜索与表单提交

常见的后果包括：大量抓取带参的筛选页、分页重复、日历翻页、或返回动态错误页

sort=price&order=desc&page=1 ，如果未做规范处理，爬虫可能通过遍历排序、价格区间、颜色、尺寸等参数产生海量URL

在页面头部添加😎link标签 ，指向对应的标准URL