郭家瑜

Robots规则的核心逻辑 Robots协议（Robots Exclusion Protocol）通过 robots

实测中，百度蜘蛛能够正常抓取首页和文章页，而测试用的模拟非目标爬虫（如SemrushBot）则被直接拒绝

验证的推荐步骤： 在浏览器访问 https://你的域名/robots

网站运维的必修课：用Robots规则精准拦截非目标爬虫

txt 中最长且最具体的 User-agent 名称