合规配置的核心原则

Sitemap ：告知爬虫网站地图的存放位置

什么是机器人协议文件（robots.txt）

txt） 是指导爬虫行为的关键手段，也是网站合规优化的第一步