新京报
建议使用 limit_req_zone 模块针对蜘蛛UA设置请求速率,例如: 每秒钟允许每个蜘蛛IP发起不超过10次请求,超出部分延迟处理或返回503状态码
日志分析与配置调试 调整Nginx配置后,建议开启针对百度蜘蛛的 访问日志 (可通过 $http_user_agent 变量过滤),定期分析抓取状态码分布
设为首页
关于百度
About Baidu
使用百度前必读
帮助中心
© Baidu
京ICP证030173号
京公网安备11000002000001号