蜘蛛来到网站是好事，但是通过蜘蛛访问记录我却发现了很大的一个问题，往往蜘蛛来到网站之后抓取了4,5个页面就离开了，这是怎么一回事呢?相信很多站长都感觉到从6月份的事件之后，百度蜘蛛很不稳定吧，我的网站也是一样，从6月份过后蜘蛛每次来了抓取几个页面就走了，这样网站的收录也一直没有提升上去，最后我对网站进行了一次大检查，然后对网站的链接进行了整理，还别说，经过整理后的网站，蜘蛛每次来抓取的页面达到了20、30，下面我来分享一下我的检查方法与整治方法。
我觉得蜘蛛刚开始不深入的原因第一种可能是导航链接没有设置对，蜘蛛不能够通过导航链接进入你网站的深处，那么它怎么去抓取内容页面呢?第二种可能是蜘蛛遇到了死链接，搜索引擎蜘蛛准备抓取下一个页面的时候却无法爬行，那么网站的死链接就成为了罪魁祸首，逼百度蜘蛛离开网站。第三种可能就是长时间的不更新站点内容也会导致百度蜘蛛厌烦。
第一、重新设置网站导航链接
网站的导航链接是用户的指导线，也是搜索引擎蜘蛛的指引线，良好的导航路线能够帮助搜索引擎蜘蛛从网站的首页逐步的贯穿网站的整个页面，这样就要求我们在设立网站导航的时候要一层层的设立，下面我来谈谈设置导航链接的几点要求：
1、导航链接要就近原则，我们在设置导航链接的时候不要将搜索引擎蜘蛛看得太深奥了，其实他就是一个抓取的工具，而最容易抓取的是什么，就是最近的事物。因此我们在利用导航链接的时候可以通过导航链接导入下一层栏目链接，而下一层栏目链接才导入内容页面，这就是一层层的导入方法。
2、导入的URL不要太复杂，我觉得网站的URL地址可以设置简单一些，就用一款PHP的程序，目录设置简单一些，那么蜘蛛在爬行抓取的时候也相对容易一些。
第二、死链接必须清理，留下就是祸害
死链接对网站的阻碍作用非常大，稍不注意死链接就有可能对网站产生致命的影响，检查死链接可以利用chinaz中的工具，而清理死链接就相对困难一些了。现在我清理网站死链接的方法是通过游览器FTP中的搜索功能，先在查询工具中将死链接的地址进行复制，复制之后再通过游览器FTP的查找功能，找到它在哪个文件之中，最后在进行删除，很多站长会说我这个方法很麻烦，但是我想说这个方法确实最有效的方法，那些清理死链接的工具我也用过，大多都是假的，根本就无法完成清理工作。
第三、文章内容链接进行合理布局
我们在网站的文章内容之中也不要忘记了链接布局这种形式，在进行常规性的文章更新工作的时候我们可以将文章中的关键词作一个链接指向，指向其它的文章内容页面或者网站的栏目页面，这样搜索引擎蜘蛛在抓取了这篇文章内容之后就会向下一篇文章内容进行抓取，这也间接性的提高了搜索引擎蜘蛛抓取的页面进度与力度，大家可以想一下，一个中心汇出来了无数的点，蜘蛛能不高兴吗?这代表他能够吃到的食物更丰富，这也是我们在进行文章内容页面链接布局的关键点。
通过前面的三种方法让网站的结构呈现递进化的趋势，通过层层引入、蜘蛛抓取的方法让网站的收录得到极大的提高，有时候搜索引擎蜘蛛并不是不想抓取你的网站，而是你的网站垃圾太多了，每隔一周检查网站的链接也是很有必要的，这也是提高搜索引擎抓取力度的一个因素。 |
返回顶部