从站群程序到反爬虫：理解百度SEO部署的核心逻辑

txt： 在文件中明确指明哪些目录允许抓取、哪些目录需要限制，避免搜索引擎走进死胡同