欢迎光临宜宾北斗网络科技有限责任公司! 收藏本站 [Ctrl+D] 保存到桌面 微博 微信

常见问题

详解robots的写法

发布日期:2014-1-22 阅读次数:1384

今天朋友让小编给分析网站,看了之后不管是站内,还是站外都没什么问题,但是连首页都没有收录,这个站点将近两个月了。这个朋友也真沉的住气,*后发现他的robots写的不规范,导致屏蔽了全站,出现这个错误让人很忧伤,一个小小的错误导致收录和排名的推迟。今天宜宾建站公司小编说说不得不学的robots写法。

为什么要写robots

robots是网站与搜索引擎蜘蛛通信的唯一接口,可以控制蜘蛛爬行的页面,告诉蜘蛛你网站中的哪些内容是可以爬行的。在优化方面的作用,是因为控制了蜘蛛的爬行,从而使得权重更集中。并且有可以规避掉对后台页面的爬行。如果网站没有禁止蜘蛛爬行的路径,小编seo建议可以设置为空,这是与搜索引擎签订的协议,根目录里还是有个robots文件的好。

robots写法

1、建立robots文件
建立 robots.txt 是存放在站点根目录下的一个纯文本文件,让搜索蜘蛛读取的txt文件,文件名必须是小写的“robots.txt”。

2、语法
User-agent:搜索引擎的蜘蛛名
Disallow:禁止搜的内容
Allow:允许搜的内容

3、实例
首先介绍 Disallow: 禁止抓取
User-agent: *  (*表示所有的搜索引擎)
Disallow: /abc.html  这是屏蔽一条完整的路径
Disallow: /abc/     这是屏蔽一个文件夹(包括屏蔽了域名后面是abc的所有路径)
Disallow: /abc     这是屏蔽包含某一字段的路径
Disallow: /abc*      这是屏蔽abc后面所有的路径
Disallow: /*abc*     屏蔽abc所有的路径
Disallow: /?*     屏蔽域名后面以?号开头的所有动态路径
Disallow: /*?*   屏蔽所有带?号的动态路径
Disallow: /*php$ $是指定结束符号,屏蔽所有以php结束的路径

下面介绍Allow允许抓取

Allow是建立在Disallow出现的,是说屏蔽了某个文件,但是想让搜索引擎抓取屏蔽这个文件里面的某个东西,举个例子,Disallow: /*abc*屏蔽了所有的带有abc的路径,如果我们想让搜索引擎抓取/abc.123.html那就得这么写:
User-agent: *
Disallow: /*abc*
Allow: /abc.123.html
Allow是相对Disallow出现的,Allow的出现,后面不能什么都不写,比如:
User-agent: *  (*表示所有的搜索引擎)
Disallow: /abc.html
Disallow: /abc/
Disallow: /abc*
Allow: /
这么写的话,意思是前面Disallow的屏蔽都失效。

小编总结:

robots在不同的搜索引擎里判断的标准也是不一样,有一次小编seo博客的robots是这么写的,Disallow:     /abc/,:和/中间好几个空格,也是一时疏忽,导致屏蔽掉了360搜索引擎,收录量直线下降。还有那个朋友的站点,robots中的:/中间没有空格(必须是有空格的),导致屏蔽了所有搜索引擎的抓取,所有他的站点没有被收录。这些种种的教训,告诉了我们robots一定要写规范。


[2014-3-22]
[2014-1-22]
详解robots的写法 阅读:1384
[2013-11-27]
[2013-8-17]
Copyright @ 2007-2015 版权所有:四川北斗网络科技有限公司 ALL Rights Reserved 蜀ICP备12006890号

友情链接:

宜宾抖音广告 |  宜宾小程序开发 |  宜宾微信朋友圈广告 |  宜宾网站建设公司 |  自贡网站建设 |  泸州网站制作 |  公墓管理系统开发 |  宜宾微信营销 |  宜宾做网站 |  微信扫条码价格录入 |  宜宾网站制作 |  宜宾软件开发 |  宜宾网站建设 |