常见问题
详解robots的写法发布日期:2014-1-22 阅读次数:1380
今天朋友让小编给分析网站,看了之后不管是站内,还是站外都没什么问题,但是连首页都没有收录,这个站点将近两个月了。这个朋友也真沉的住气,*后发现他的robots写的不规范,导致屏蔽了全站,出现这个错误让人很忧伤,一个小小的错误导致收录和排名的推迟。今天宜宾建站公司小编说说不得不学的robots写法。 为什么要写robots robots是网站与搜索引擎蜘蛛通信的唯一接口,可以控制蜘蛛爬行的页面,告诉蜘蛛你网站中的哪些内容是可以爬行的。在优化方面的作用,是因为控制了蜘蛛的爬行,从而使得权重更集中。并且有可以规避掉对后台页面的爬行。如果网站没有禁止蜘蛛爬行的路径,小编seo建议可以设置为空,这是与搜索引擎签订的协议,根目录里还是有个robots文件的好。 robots写法 1、建立robots文件 2、语法 3、实例 下面介绍Allow允许抓取 Allow是建立在Disallow出现的,是说屏蔽了某个文件,但是想让搜索引擎抓取屏蔽这个文件里面的某个东西,举个例子,Disallow: /*abc*屏蔽了所有的带有abc的路径,如果我们想让搜索引擎抓取/abc.123.html那就得这么写: 小编总结: robots在不同的搜索引擎里判断的标准也是不一样,有一次小编seo博客的robots是这么写的,Disallow: /abc/,:和/中间好几个空格,也是一时疏忽,导致屏蔽掉了360搜索引擎,收录量直线下降。还有那个朋友的站点,robots中的:/中间没有空格(必须是有空格的),导致屏蔽了所有搜索引擎的抓取,所有他的站点没有被收录。这些种种的教训,告诉了我们robots一定要写规范。
您可能感兴趣的话题做个网站要多少钱?如何做个自己的网站?建立网站的流程是什么? 什么是服务器?做个电子商务网站需要多少钱?营销型网站建设需要多少钱? 手机网站怎么做?网站维护一年多少钱?什么是网站备案?如何开淘宝店?
[2014-3-22]
苦逼站长与robots不得不说的故事 阅读:1478 次
[2014-1-22]
详解robots的写法 阅读:1380 次
[2014-1-13]
浅谈robots.txt机器人协议的使用小技巧 阅读:1176 次
[2013-11-27]
优化网站配置之robots文件使用说明 阅读:1170 次
[2013-8-17]
robots文件屏蔽的错误设置 阅读:1149 次
|