网站建设

详解robots的写法

发布日期：2014-1-22　阅读次数：1389

今天朋友让小编给分析网站，看了之后不管是站内，还是站外都没什么问题，但是连首页都没有收录，这个站点将近两个月了。这个朋友也真沉的住气，*后发现他的robots写的不规范，导致屏蔽了全站，出现这个错误让人很忧伤，一个小小的错误导致收录和排名的推迟。今天宜宾建站公司小编说说不得不学的robots写法。

为什么要写robots

robots是网站与搜索引擎蜘蛛通信的唯一接口，可以控制蜘蛛爬行的页面，告诉蜘蛛你网站中的哪些内容是可以爬行的。在优化方面的作用，是因为控制了蜘蛛的爬行，从而使得权重更集中。并且有可以规避掉对后台页面的爬行。如果网站没有禁止蜘蛛爬行的路径，小编seo建议可以设置为空，这是与搜索引擎签订的协议，根目录里还是有个robots文件的好。

robots写法

1、建立robots文件
建立 robots.txt 是存放在站点根目录下的一个纯文本文件，让搜索蜘蛛读取的txt文件，文件名必须是小写的“robots.txt”。

2、语法
User-agent:搜索引擎的蜘蛛名
Disallow:禁止搜的内容
Allow:允许搜的内容

3、实例
首先介绍 Disallow: 禁止抓取
User-agent: * （*表示所有的搜索引擎）
Disallow: /abc.html 这是屏蔽一条完整的路径
Disallow: /abc/     这是屏蔽一个文件夹（包括屏蔽了域名后面是abc的所有路径）
Disallow: /abc     这是屏蔽包含某一字段的路径
Disallow: /abc*      这是屏蔽abc后面所有的路径
Disallow: /*abc*     屏蔽abc所有的路径
Disallow: /?*     屏蔽域名后面以？号开头的所有动态路径
Disallow: /*?*   屏蔽所有带？号的动态路径
Disallow: /*php$ $是指定结束符号，屏蔽所有以php结束的路径

下面介绍Allow允许抓取

Allow是建立在Disallow出现的，是说屏蔽了某个文件，但是想让搜索引擎抓取屏蔽这个文件里面的某个东西，举个例子，Disallow: /*abc*屏蔽了所有的带有abc的路径，如果我们想让搜索引擎抓取/abc.123.html那就得这么写：
User-agent: *
Disallow: /*abc*
Allow: /abc.123.html
Allow是相对Disallow出现的，Allow的出现，后面不能什么都不写，比如：
User-agent: * （*表示所有的搜索引擎）
Disallow: /abc.html
Disallow: /abc/
Disallow: /abc*
Allow: /
这么写的话，意思是前面Disallow的屏蔽都失效。

小编总结：

robots在不同的搜索引擎里判断的标准也是不一样，有一次小编seo博客的robots是这么写的，Disallow: /abc/，：和/中间好几个空格，也是一时疏忽，导致屏蔽掉了360搜索引擎，收录量直线下降。还有那个朋友的站点，robots中的：/中间没有空格（必须是有空格的），导致屏蔽了所有搜索引擎的抓取，所有他的站点没有被收录。这些种种的教训，告诉了我们robots一定要写规范。