中国新闻网
ini中开启OP🌺cache,并将缓存容量设置为足够容纳站点所有PHP文件的大小
限制PHP资源消耗防止爬虫异常 可以通过设置PHP的最大执行时间、内存限制和请求并发数,防止因个别异常请求(如大量爬虫并发)导致服务器资源耗尽
日志分析不可忽视: 定期查看NGINX的访问日志和PHP-FPM的慢日志,能够🍀发现哪些页面被爬虫频繁抓取、哪些PHP脚本执行较慢,从而有针对性地进行优化
需要注意定期清理或重置缓存🎊,避免代码更新后出现旧的执行结果
配置FastCGI缓存时需要注意缓存的过期时间,避免内容更新后🎆爬虫仍抓取到旧页面
一般中小型站点可以选择 ondemand 模式,它仅在请求到来时创建子进程🚀,能够节省内存;而访🎊问量较大的站点则更适合 dynamic 或 static 模式,以减少进程反复创建的开销