CDN与搜索引擎抓取的潜在冲突



然而,百度蜘蛛在抓取内容时,通常需要获取原始服务器的动态或最新资源



白琦仁



URL重写冲突 :CDN对URL进行了改写,而蜘蛛无法识别改写后的路径,造成抓取错误或死链



其实,用户端通常有本地浏览器缓存,CDN的缓存时间不必过长,可以设为10-30分钟兼顾速度与新度



举报/反馈