网站地图    收藏   

主页 > 前端 > 网站SEO >

菜鸟SEOer浅谈robots.txt文件 - 搜索优化 - 自学php

来源:自学PHP网    时间:2015-04-15 10:58 作者: 阅读:

[导读] 做SEO应该知道,robots txt文件是一个网站必不可少的文件,但小马看到在很多中小企业的网站上还是没有这个文件,今天我们便来研究一下robots txt文件的重要性。 一:从搜索引擎角度...

  做SEO应该知道,robots.txt文件是一个网站必不可少的文件,但小马看到在很多中小企业的网站上还是没有这个文件,今天我们便来研究一下robots.txt文件的重要性。

  一:从搜索引擎角度

\

  当我们网站上有一些文件不想被搜索引擎蜘蛛抓取时,我们需要写个robots.txt文件,以此来告诉蜘蛛,这些文件不能被抓取,但是有的企业认为自己网站上没有不想蜘蛛抓取的内容,所以就忽略了robots.txt文件,那么,这样是不对的。

  随着搜索引擎越来越智能化,它访问一个新网站时,会首先访问这个网站的robots.txt文件,这也成为搜索引擎蜘蛛访问网站时的一个习惯,这个时候,如果你的网站上没有robots.txt这个文件,反而可能会造成搜索引擎蜘蛛对你的网站页面不能正常的抓取。所以小马建议,即使你的网站内容全都允许搜索引擎蜘蛛抓取,你也应该建立一个robots.txt文件,这代表的是对搜索引擎蜘蛛的友好。

  二:时常检查robots.txt文件

  每当我们在做网站的维护时,我们总是围着网站内容和网站外链转悠,每当我们的网站出现问题,我们首先就是对这些地方进行一一排查,而对于robots.txt文件,估计除了当初建立网站时写过外,已经好久都没搭理过了,这样是不对的。

  当一个黑客攻入我们的网站,它不需要在我们的网站上挂上黑链,链上黄赌毒网站,也不需要在我们的内容页加上指向它网站的隐藏链接,它只需要修改一下我们小小的robots.txt文件,就可以搞定我们了,经常看到有些人在搜索引擎上查询自己网站的收录时,发现出现了异常,于是开始排查,但是外链和内链都没有问题,这个时候,急的真是焦头烂额。这就是忽视了最简单而且最重要的因素----robots.txt文件。

  三:写robots.txt文件要全面

  robots.txt文件写作时也是需要规范的,不然就如同虚设,比如我们的网站上有的页面时动态化地址,我们知道这些动态化地址搜索引擎蜘蛛不能很好的抓取,于是我们在robots.txt文件里注明,有些SEOer在注明时会在第二行这样写:Disallow:/*?*,这就是不全面的。

  我们都知道动态化网址的结尾都是有好多参数的,如?,%等,所以当我们不希望搜索引擎蜘蛛抓取动态网址的页面时,我们就要在robots.txt文件里注明自己网站动态化网址出现的所有参数。不然,搜索引擎蜘蛛还是能够抓取我们网站的动态化网址,我们的robots.txt文件就如同虚设。

  文章出自SEO技巧博客http://www.waszj.com/乡村小马原创,转载请注明出处及作者

自学PHP网专注网站建设学习,PHP程序学习,平面设计学习,以及操作系统学习

京ICP备14009008号-1@版权所有www.zixuephp.com

网站声明:本站所有视频,教程都由网友上传,站长收集和分享给大家学习使用,如由牵扯版权问题请联系站长邮箱904561283@qq.com

添加评论