在网站的SEO优化过程中，分析网站日志是不可避免的。网站日志的分析和诊断就像给网站看病一样。通过对网站日志的分析，可以更好地了解网站的状态，使用此数据有助于优化网站SEO。

　　通过站点日志，用户可以通过IP、时间、操作系统、浏览器、分辨率监视器知道访问了站点的哪些页面，以及访问是否成功。对于专门从事搜索引擎优化的工作人员，网站日志可以记录每个搜索引擎蜘蛛机器人爬网站的详细信息(例如，某IP的百度蜘蛛机器人某天访问过网站几次、访问过哪些页面、访问页面时返回的HTTP状态代码)。

　　常见蜘蛛名称：

　　百度蜘蛛：百度蜘蛛

　　Baiduspider-Image:百度图片蜘蛛

　　谷歌机器人：谷歌机器人

　　谷歌启动-图像：谷歌图像机器人

　　360蜘蛛：360蜘蛛

　　索戈蜘蛛：索戈蜘蛛

　　一、网站日志的作用

　　1.通过网站日志可以知道蜘蛛对网站的基本爬行情况，还可以知道蜘蛛的爬行轨迹和爬行量。

　　2.网站的更新频率也与蜘蛛在网站日志中捕获的频率有关。一般来说，更新频率越高，蜘蛛的捕获频率越高，我们网站的更新不仅会添加新内容，还会进行我们的微调工作。

　　3.我们可以根据网站日志的反应情况，提前警告我们空间的某些事情和问题。因为，如果服务器出现问题，将首次反映在站点日志中。要知道，服务器稳定的速度和开放的速度都会直接影响我们的网站。

　　4.通过网站日志，我们可以发现网站上的那些页面非常受蜘蛛欢迎，有些页面蜘蛛不碰，同时有些蜘蛛爬得太高，对我们的服务器资源损失很大。我们要进行屏蔽工作。(约翰f肯尼迪)。

　　二、如何下载网站日志。

　　1.首先，我们的空间必须支持下载站点日志。这很重要。购买空间时，必须事先知道是否支持日志下载。因为有些服务企业不提供这项服务。如果支持的话，空间背景通常有日志web日志下载。您可以将此功能下载到根，然后通过FTP在本地传递。服务器可以设置为将日志文件下载到指定路径。

　　2.这里有一个很重要的问题。建议您将站点日志设置为每小时生成一次。如果小型企业工作站和页面内容较少的站点设置为每天生成一个文件，默认情况下为一天，如果内容较多或大型工作站设置为每天生成一次，则建议每天生成一次文件。这个文件可能会相当大三、网站日志数据分析

　　1、网站日志的数据量太大，我们一般需要使用网站日志分析工具来查看。常用的日志分析工具包括光年日志分析工具、web日志资源管理器、WPS表单等

　　117 . 26 . 203 . 167-[02/may/2011:01:57:44-0700]' get/index  . PHP  http/1MSIE  8.0windows  NT  5 . 1:Trident/4 . 0:ask  TBCs-ST/5 . 11 . 3 . 15590；NET  CLR  2 . 0 . 50727；Alexa  Toolbar)'

　　分析：

　　117.26.203.167接入IP；

　　02/may/2011:01:57:44-0700访问日期-时区；

　　GET/index.php  HTTP/1.1 HTTP/1.1协议捕获(在域名下)/index.php此页(GET表示服务器行为)；

　　500服务器响应状态代码

　　服务器响应状态代码通常有状态代码200，301，302，304，404，500等。200意味着成功获取了用户请求的文件，如果是搜索引擎，则证明蜘蛛在此次爬虫中成功发现了新内容。301是用户访问的页面URL之一被301重定向(永久)，302是临时重定向。404表示访问的页面不再存在，或者访问的URL完全错误。500是服务器的错误。

　　19967意味着抓住了19967字节。

　　毛吉拉/4.0(compatible；MSIE  8.0windows  NT  5 . 1:Trident/4 . 0:ask  TBCs-ST/5 . 11 . 3 . 15590；NET  CLR  2 . 0 . 50727；Alexa  Toolbar意味着访问者使用火狐浏览器和Alexa  Toolbar等访问者信息。

　　2.如果你的日志上格式不是这样，那就意味着日志格式设置不同。

　　3、在很多日志中看到的200 0和200 0 64都表示正常捕获。

　　4.捕获频率从每日日志中百度蜘蛛的捕获次数就可以知道。捕捉频率没有确定的时间表或频率数。我们通常通过戴尔的日地比较来判断。当然，百度蜘蛛每天抓的次数越多越好。

      5.有时我们的路径不统一，出现斜线和斜线的问题。蜘蛛自动识别301并移动到有斜线的页面。在这里你会发现搜索引擎可以判断我们的目录。所以我们要统一我们的目录。

　　6、我们分析日志的时间很长，我们可以看到蜘蛛的捕获规律，可以看到同一个目录下各个文件的捕获频率间隔和不同目录的捕获频率间隔，这些捕获频率间隔是蜘蛛根据网站权重和网站更新频率自动确定的。

　　7.蜘蛛对我们页面的捕获是等级，根据权重依次减少，一般顺序是主页、目录页、内页。

　　第四，通过网站日志，我们能知道什么？

　　1、我们买的空间能稳定吗？

　　2.蜘蛛比较喜欢我们的页面，不喜欢哪个？

　　3.蜘蛛什么时候经常抓取我们的网站，什么时候需要更新内容？

　　摘要：

　　所以不管是新站还是老网站，百度还是谷歌，我们都可以通过网站日志分析搜索引擎蜘蛛捕获的情况。如果网站有长期收录的问题，我们还可以比较网站日志中搜索引擎蜘蛛的行为，看看网站的哪些方面有问题。如果网站被封锁或被K封锁，我们都可以观察网站日志的情况，知道原因在哪里。我们想看的网站日志的分析和诊断就像给网站看病一样。我们可以通过网站日志的分析，轻松了解网站的健康状况，更好地优化网站，所以对真正的SEO高手来说，分析蜘蛛日志是最直观有效的金额。