王立建SEO工作室十年经验老司机 提供企业网站优化排名服务 王立建 手机:18003190145 QQ:200898432

网站日志的下载与分析方法

网站提交给搜索引擎以后,搜索引擎的蜘蛛就会来抓取网站了。作为一名SEO老司机,需要掌握一项技能叫做网站日志分析。网站日志是网站管理员和搜索引擎对话沟通的途径。通过日志,可以了解搜索引擎蜘蛛的访问情况。

网站日志的下载方法:通过FTP访问网站的根目录,可以看到一个包含log的文件夹,这是存放网站日志的地方,如下图所示:

网站日志的下载方法

网站日志分析主要是分析搜索引擎的蜘蛛每天有多少次来抓取网站,然后抓取的时候返回值是多少。这样的话就可以知道,网站在搜索引擎的心目中表现是否正常。

网站日志的分析方法:蜘蛛名称主要有百度的baiduspider和sogou的Sogou+get+spider等等。用记事本打开日志文件,搜索以上蜘蛛名称,就可以看到蜘蛛抓取的痕迹。也可以用光年日志分析工具来分析,看搜索引擎抓取网站的时候有没有异常。

日志分析的主要点是HTTP状码码,如200和301等等。在日志里,发现比较多的HTTP状态码是200(正常)、304(没变化)和404(错误链接)。

"200 5162"代表正常抓取,这次抓取了5162个字节。

304代表自从上次抓取后,该内容没有更新。一般情况下,网站的图片经常会返回该值。

404代表访问的这个链接是错误链接。这个错误链接一方面来自原本存在,后来删除了的网页;另一方面可能来自本来就不存在,但其它网页外链了这么个死链接。

如果搜索引擎来抓取网站的时候总是返回302、404、500这种不正常的返回值的话,就说明网站可能存在代码上的错误,到时候网站优化的效果就会不理想。