百度蜘蛛日志分析与工具
其实我很少看ftp的流量数据,因为分析百度蜘蛛没有很大的实际意义,但不少的SEOER在起初建站的时候老是纠结蜘蛛日记,是否有爬行网站,爬行的页面,如何爬行等。
其实我很少看ftp的流量数据,因为分析百度蜘蛛没有很大的实际意义,但不少的SEOER在起初建站的时候老是纠结蜘蛛日记,是否有爬行网站,爬行的页面,如何爬行等。带着这一系列的问题,我给大家解答一下。
61.135.168.22 - - [11/Feb/2014:04:02:45 +0800] " /SEOjishu/161.html HTTP/1.1" 200 8450 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"
上面是百度蜘蛛爬行的代码,从代码上来看,我们大概可以了解到一些问题,比如说时间、IP、页面等,但具体分析起来,可能对新手朋友还是有点陌生。从代码上来看,意思如下所示:
61.135.168.22:来路IP,也就是说这个用户或者蜘蛛进来我们网站的IP是多少。
11/Feb/2014:04:02:45:时间2014年2月11日早上4点02分45秒。
/SEOjishu/161.html:蜘蛛访问的页面,加上网站的主域名如:http://www.ssffx.com/SEOjishu/161.html
200:表示能够正常访问你的网站。
8450:表示此次加载了8450个字节。
Baiduspider:百度蜘蛛的全名。
看到上面的解说,相信大家都会看自己的蜘蛛日志了,但唯一一个疑问就是状态码了,关于状态码返回的数据有很多结果,主要以下几个:
200 - 服务器成功返回网页
404 - 请求的网页不存在
503 - 服务器暂时不可用
500 - 服务器出现错误
当然,如果你完全不会看,或者是看起来比较吃力,那么没关系,我们可以直接用工具帮助你分析出蜘蛛的规矩,但我个人不建议使用工具,如果总是使用工具,会对人有一个依赖性,如果某一天工具不存在了,那岂不是不会分析了?所以下面的工具只是提供学习而用。
百度蜘蛛分析工具地址:http://www.loghao.com/