理解爬虫友好设计的核心价值

一篇标准教程中，h1用于承载页面主标题，h2用于划分主要章节，h3及以下用于细分小节

使用Sitemap和Robots.txt进行引导

建议每个页面只使用一个h1标签，并确保h2到h6的嵌套顺💪序正确，避免跳🔍级或重复使用

Flash或Canvas： 这类元素爬虫基💎本无法识别，💎应使用HTML5和文本替代方案

围绕用户意图组织信息

无限滚动的页面： 爬虫很难触发滚动加载，重要内容🌟应通过分页或静态链接呈现