负载均衡与爬虫并发：搜索引擎优化的技术基础

当超过阈值时，返回503状态码并附带 Retry-After 头部，引导爬虫稍后重试，而不是直接丢弃请求