识别与规避蜘蛛陷阱，避免抓取错误

虽然百度智能蜘蛛已支持部分JS渲染，💯但不可完全依赖

过度复杂的重定向链 3👍01/302重定向链超过3层，或使用JavaScript跳转、Meta Refresh，都可😎能让蜘蛛陷入重定向黑洞

例如 Dis🎯allow: / 会禁止全站抓取

游宥依

page=1&sort=asc&ref=xxx