澎湃新闻
蜘蛛伪装与爬虫欺骗: 黑帽开发者模拟百度爬虫的User-Agent,向真实爬虫展示优化后的页面而向用户展示低质或违规内容
建议在百度资源平台中设置合理的抓取频率与范围,同时保持robots
对于使用了CDN或代理的站点,务必确认回源IP未被黑帽扫描器利用
设为首页
关于百度
About Baidu
使用百度前必读
帮助中心
© Baidu
京ICP证030173号
京公网安备11000002000001号