三、编写爬虫规则：从搜索结果页提取URL

与简单的requests库相比，Scrapy内置了请求调度、并发控制、自动重试和管道处理机制，能更稳定地应对百度页面反爬策略

同时，Scrapy的中间件和扩展机制允许灵活配置User-Agent轮换、IP代理池以及请求延迟，有效降低被封风险

二、搭建基础Scrapy项目与初始化配置

设置请求头 ：通过 DEFAULT_REQUEST_HEADERS 添加常见的浏览器User-Agent（如Chrome、Edge）

follow(link, callb🎯ack=self

五、应对反爬策略：IP代理与User-Agent轮换

以下是一个提取前两页搜索结果🌺的示例： import scrapy class BaiduSpider(scrapy