常见错误与注意事项

并发请求过大可能带来的问题 当蜘🎇蛛池内的多个爬虫同时向目标网站发送请求时，服务器需要处理大量并发连接

令牌桶算法是一种常用策略：系统以恒定速率向桶中放入令牌，每个请求必须消耗一个令牌才能执行

并发请求过大可能带来的问题

独立服务器：每秒请求数可逐步提高至10~20次，并观察服务器负载