日志分析：从蜘蛛行为中定位抓取异常

移动端与 PC 端抓取不一致： 对支持自适应或独立移动端的网站，通过比对日志来源（可🔑能从不同 User-Agent 或 cookie 体现）可以发现，蜘蛛可能只抓取了其中一个版本，另一个版本返回大量重定向（302 或 301）

如果发现蜘蛛未抓取移动端版本，应检查是否在 robots

韩志远

深度优先而广度不足： 日志显示蜘蛛在短时间内在同一页面的深层链接（如 /category/subcategory/article/123）反复抓取，却没有覆盖网站其他主栏目