常见注意事项

例如，不要对全站使用 Disa🚀llow: / ，⭐除非确有必要

总结

txt 的文本文件，告诉爬🌺虫哪些页🎯面可以抓取，哪些页面应当被排除

txt （注意文件名全部小写🎉，无后缀扩展名）