陈惠茹

URL中尽量💎使用 连字符（-） 分👍隔单词，而非下划线或中文

txt 告知爬虫哪些路径可以/禁止抓取 不要误封核心CSS/JS文件；允许抓取重要目录，禁止后台、重复页面路径

更多精选文章

导航与内部链接策略 主导航是用户和爬虫理解✨网站整体结构的路径