总结

例如两个子应用同时使用 /about ，如果不做路径前缀区分，爬虫可能只会索引其中一个，导致另一个应用📢的关键页面被忽略

此外， 避免在链接中携带无意义🎆的查询参数 ，否则可能造成大量重复URL，分散页面权重

URL分层的基本原则

微前端中常通过JavaScript动态加载子应用，如果服务端没有为爬虫提供静态HTML版本或合理的预渲染方案，爬虫可能看到的只是一个空壳，无💡法提🔍取页面内容

为爬虫提供静态化输出 对于依赖JavaScript渲染的微前端站点，百度爬虫虽然已能执行部分JS逻辑，但效果仍不如预渲染稳定