需要注意的风险与合规边界

建议在采集🍀过程中，间歇性请求一些无关页面（如百度首页、搜索结果页）以掩盖真实意图

建议在每次会话开始时，先请求一次百度首页，并保存返回的Set-Cookie值，后续所有请求都携带🔑这些Cookie

理解百度的反爬虫逻辑

另外，利用正则表达式从HTML文本中直接提取结构🎉化数据也是一种稳妥的备选方案

常用工具与框架对比

动态页面结构与随机类名： HTML元素ID、class名称可能随机生成，常规固定选择器失效

陈又木

处理随机化HTML结构 当页面元素class或id中包含随机字符时，不应依赖固定选择器