新华社
站长在Robots文件中添加以下规则: User-agent: Baiduspider —— 针对百度蜘蛛 Disallow: /preview/ —— 禁止抓取预览目录 Allow: / —— 允许抓取其余所有内容 这样一来,蜘蛛池吸引来的百度蜘蛛在访问主站时,首先读取Robots文件,自动跳过预览目录,只抓取正式文章
安全边界与长期策略 需要特别强调,蜘蛛池的使用🌺应在百度搜索规范允许的范围内
设为首页
关于百度
About Baidu
使用百度前必读
帮助中心
© Baidu
京ICP证030173号
京公网安备11000002000001号