Linux/Nginx如何查看搜索引擎蜘蛛爬虫的行为
摘要
做好网站SEO优化的第一步就是首先让蜘蛛爬虫经常来你的网站进行光顾，下面的Linux命令可以让你清楚的知道蜘蛛的爬行情况。下面我们针对nginx服务器进行分析，日志文件所在目录：/usr/local/nginx/logs/access.log，access.log这个文件记录的应该是最近一天的日志情况，首先请看看日志大小，如果很大(超过50MB)建议别用这些命令分析，因为这些命令很消耗CPU，或者更新下来放到分析机上执行，以免影响网站的速度。
Linuxshell命令
1.百度蜘蛛爬行的次数
cataccess.log|grepBaiduspider|wc
最左面的数值显示的就是爬行次数。
2.百度蜘蛛的详细记录(CtrlC可以终止)
cataccess.log|grepBaiduspider
也可以用下面的命令：
cataccess.log|grepBaiduspider|tail-n10
cataccess.log|grepBaiduspider|head-n10
只看最后10条或最前10条，这用就能知道这个日志文件的开始记录的时间和日期。
3.百度蜘蛛抓取首页的详细记录
cataccess.log|grepBaiduspider|grep“GET/HTTP”
百度蜘蛛好像对首页非常热爱每个钟头都来光顾，而谷歌和雅虎蜘蛛更喜欢内页。
4.百度蜘蛛派性记录时间点分布
cataccess.log|grep“Baiduspider”|awk‘{print$4}'
5.百度蜘蛛爬行页面按次数降序列表
cataccess.log|grep“Baiduspider”|awk‘{print$7}'|sort|uniq-c|sort-r
文中的Baiduspider改成Googlebot都可以查看谷歌的数据，鉴于大陆的特殊性，大家应该对百度的log更为关注。
附：(Mediapartners-Google)Googleadsense蜘蛛的详细爬行记录
cataccess.log|grepMediapartners
Mediapartners-Google是什么呢?Googleadsense广告之所以能与内容相关，因为每个包含着adsense的广告被访问后，很快就有个Mediapartners-Google蜘蛛来到这个页面，所以几分钟后再刷新就能显示相关性广告了，真厉害啊！
ps：linux下nginx如何启用网站日志，查看蜘蛛爬虫
默认的路径是你安装时候指定的
如果用的LNMP之类的安装包
你可以在SHELL下
whereisnginx
找到相应的路径之后
在NGINX下的CONF文件夹里看配置文件，日志文件如果记录了话
在配置文件里有路径的～