基础操作是高效学习的前提

抓取频率 ：蜘蛛对不同网站的🎨抓取频率不同，通常取决于网站的更新频率、权重和内容质量

txt文件可以告知蜘蛛哪些页面允许💯或不允许抓取，这是最基础的蜘蛛管理操作