正确配置 robots.txt 避免百度抓取无效页面

对于百度，写作 User-agent: Baiduspider ；如果想对所有爬虫生效，用 User-agent: *