小结



当网站开启白名单模式后,只💪有被列入“白名单”的IP地址才能访问网站,这可以阻止大▶️量无意义的非百度爬虫请求



这里注意:实际上普通用户访问也⭐会🍀被禁止,因此白名单模式只适合全站只允许搜索引擎蜘蛛访问的场景



常见踩坑提醒



通过官方DNS反查域名 baiduspider



2版本,请📢改用 Order Allow,Deny 语法



为什么要设置蜘蛛白名单



注意:百度蜘蛛的IP段并非固定不变,通常每季度会有所调整



htaccess 文件中添加: <RequireAll>⚡; Requi🌈re ip 220



实操:配置白名单(服务器端)



为什么要设置蜘蛛白名单 百度蜘蛛(Baiduspider)是百度搜索引擎抓取网页的爬虫程序



获取百度蜘蛛的IP段 百度官方会定期公布Baiduspider使用的IP地址段



0/24; # 其他可信IP可按需添加 deny all; } 修改后需执行 nginx -t 检查语法,然后重载Nginx使配置生效



举报/反馈