理解搜索引擎爬虫的工作方式

对于大型网站，还可以创建 HTML站点地图 ，以纯文字链接的形式展示所有栏目和重要页面供爬虫参考

第一步：确保爬虫可访问性

一般建议放在网站根目录，例如 https://你的域名/robots

第三步：页🌈面内容与代码层面的配合 爬虫抓取后需要解析页面内容