总结

/bin/bash LOG_FILE="/var/log/nginx/access

txt" grep "Baiduspider" $LOG_FILE | awk '{print $1, $4, $7, $9}' > $REPORT_FILE echo "百度爬虫日志已提取至 $REPORT_FILE" 将此脚本加入crontab定时任务（如每日凌晨执行），就能持续追踪百度爬虫的活动情况，为SEO优化提供数据支持

爬虫日志中的关键字段解读

服务器的访问日志记录了每一次请求的来源IP、用户代理（User-Age🔍nt）、请求时间、状态码等信息

log 命令，即可提取所有包含百度爬虫标识的请求行

log" REPORT_FILE="/root/baiduspider_report