百度搜索引擎优化教程：蜘蛛池缓存机制搭建必备技术干货

如果成本有限，文件缓存也是可用方案，但需要 注意磁盘I/O瓶颈 ，建议分目录分层级存储，避免单目录文件过多