通过 robots.txt 设置抓取延时

参数调整的实际建议 服务器性能 建议抓取延时（秒） 建议并发数 共享主机或多站点服务器 5–10 1–2 中等配置独立服务器 3–5 2–4 高配置云服务器 1–3 4–8 上表仅作一般性参考，实际操作中应结合网站日志观察百度爬虫的访问频率

参数调整的实际建议

如 10/min 表示每分钟🎊最多发送10个请求，超出部分将被爬虫自动丢弃或排队等待

txt 设置抓取延时 百度爬虫会读取网站根目录下的 robots

常见的限速参数及其作用

以 Python 的 requests 库配合 time

若发现服务器错误码（如✅ 503 或 429）增多，说明当前限速参数过松，需适当增加延时或降低并发