深入理解蜘蛛池与robots协议的配合策略

建议： 在网站根目录下创建一个robots

控制提交频率 ：不要一次性提交数万条URL，建议分批次、模拟自然爬取节奏，每次提交🌅几十到几百条