去评论
推扬网

百度蜘蛛日志分析与工具

admin
2020/04/17 23:00:18

其实我很少看ftp的流量数据,因为分析百度蜘蛛没有很大的实际意义,但不少的SEOER在起初建站的时候老是纠结蜘蛛日记,是否有爬行网站,爬行的页面,如何爬行等。

其实我很少看ftp的流量数据,因为分析百度蜘蛛没有很大的实际意义,但不少的SEOER在起初建站的时候老是纠结蜘蛛日记,是否有爬行网站,爬行的页面,如何爬行等。带着这一系列的问题,我给大家解答一下。

61.135.168.22 - - [11/Feb/2014:04:02:45 +0800] " /SEOjishu/161.html HTTP/1.1" 200 8450 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)" 

上面是百度蜘蛛爬行的代码,从代码上来看,我们大概可以了解到一些问题,比如说时间、IP、页面等,但具体分析起来,可能对新手朋友还是有点陌生。从代码上来看,意思如下所示:

61.135.168.22:来路IP,也就是说这个用户或者蜘蛛进来我们网站的IP是多少。

11/Feb/2014:04:02:45:时间2014年2月11日早上4点02分45秒。

/SEOjishu/161.html:蜘蛛访问的页面,加上网站的主域名如:http://www.ssffx.com/SEOjishu/161.html

200:表示能够正常访问你的网站。

8450:表示此次加载了8450个字节。

Baiduspider:百度蜘蛛的全名。

看到上面的解说,相信大家都会看自己的蜘蛛日志了,但唯一一个疑问就是状态码了,关于状态码返回的数据有很多结果,主要以下几个:

200 - 服务器成功返回网页

404 - 请求的网页不存在

503 - 服务器暂时不可用

500 - 服务器出现错误

当然,如果你完全不会看,或者是看起来比较吃力,那么没关系,我们可以直接用工具帮助你分析出蜘蛛的规矩,但我个人不建议使用工具,如果总是使用工具,会对人有一个依赖性,如果某一天工具不存在了,那岂不是不会分析了?所以下面的工具只是提供学习而用。

百度蜘蛛分析工具地址:http://www.loghao.com/