利用模拟器诊断常见抓取问题

定制时需确保模拟器能够正🌺确解析robots文件，并报告被禁止的路径

认识百度蜘蛛抓取与模拟器的作用

txt限制 ：模拟器可以检验目标页面⭐是否被robots