基础原则：正确返回状态码与避免软404

页面内容设计：友好提示与引导 一个对爬虫友好的404页面，内容上应兼顾用户与爬虫双方的需求

虽然404页面通常不会被索引，但增加此标签可以双重保险

添加有用的自定义404页面HTML标签

基础原则：正确返回状态码与避免软404 首先必须确保服务器对不存在的URL返回真实的 404状态码