利用robots.txt与User-Agent白名单做初步过滤

常见恶意爬虫的访问模式通常包括：单个IP单位时间内请求量远超正常访客、请求的URL序列不符合站内导航逻辑、💪频繁触发404页面或robots

txt与User-Agent白名单做初步过滤 robots

示例做法：在nginx的server块中添加条件判断，拦截不含标准爬虫标识的请求

建立持续更新的封锁规则库

设置层级递进的请求频率限制 单一阈值容易误伤正常用户或搜索引擎蜘蛛，推荐采用分层限流策略： 第一层：IP级别 — 对同一IP在60秒内超过20次请求的，返回429状态码并记录预警日志；对超过100次的，直接临时封锁15分钟

设置层级递进的请求频率限制

同时留意百度搜索资源平台发出的抓取异✅常报告，确保官方爬虫未被错误拦截，以免影响网站在搜索引擎中的收录和排名