从模拟到实战：自动化测试流程

txt文件 ：模拟器可以模拟蜘蛛读取robots

通俗来说，蜘蛛会像一位访客一样，顺着链接从一个页面爬到另一个页面，并把抓取到的内容带回索引库

理解蜘蛛模拟器：搜索引擎如何抓取你的网页

识别死链接和重定向链 ：模拟器会列出所有404错误页面和过多跳转的链接