结合网站实际情况动态调整

允许抓取但限制爬取深度 ：通🎯过 Allow 指令配合 Disallow 实现部分开放，例如只允许蜘蛛抓取首页和文章目录

robots.txt文件的基础编写技巧

txt中提交Sitemap路径，帮助▶️蜘蛛优先抓取最重要的🔥页面，减少无效爬行