设定新网站首个版本百度搜索爬虫抓取预算的核心思路

txt中屏蔽它们，让爬虫集中抓取面向用户的正式页面

新站常见的误区与注意事项 不要主动要求抓取频次过高 ：有些站长以为抓得越多收录越快，实际上一旦服务器响应不稳定，反而可能导致爬虫放弃抓取，甚至被临时降权