针对百度蜘蛛单独放行

* - [F,L] 这样配置🎨后，当爬虫的User-Agent中包含“Baiduspider✨”时，服务器直接允许正常请求，不再执行后续的屏蔽规则

规则生效后的注意事项

* - [F,L] 各参数含义： RewriteEngine On ：开启URL重写引擎

针对百度蜘蛛单独放行 为了让百度搜索引📌擎的爬虫（Baiduspider）能够正常抓取，避免被误伤，可以在规则中加入放行条件

* - [L] # 屏蔽其他无用爬虫 RewriteCond %{HTTP_USER_AGENT} SemrushBot [NC,OR] RewriteCond %{HTTP_USER_AGENT} MJ12bot [NC] RewriteRule ^

理解爬虫规则与htaccess的作用

您可以根据实际日志分析结果，自由增删User-📚Agent关键词

规则生效后的注🎯意事项 注意事🎯项 说明 规则顺序