常见问题

如何吸引搜索引擎蜘蛛抓取我们的网站

发布日期：2013-11-26　阅读次数：1053

我们做SEO优化工作的都明白，一个网站想要在搜索引擎获得好的排名，必须是要被蜘蛛(spider)所爬取收录我们的网页。搜索引擎蜘蛛把爬取到的代码存入自己的数据库里面，从而我们就能够在搜索引擎上面搜索到我们的网站。
　　宜宾做网站的公司小编认为，我们网站SEO优化*步要做到的就是吸引蜘蛛来爬取我们的网站，搜索引擎的蜘蛛爬取到我们的网站，都会有痕迹，都会有自己的代理名称，各位站长都可以在日志文件中分辨出分别是哪个搜索引擎的蜘蛛。
　　比较常见的搜索引擎蜘蛛有：
　　Baiduspider+(+baidu/search/spider.htm:baidu/search/spider.htm)
　　代表百度蜘蛛爬取过的痕迹
　　Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)
　　雅虎中国蜘蛛爬取过的痕迹
　　Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
　　Google蜘蛛爬取过的痕迹
　　Sogou+web+robot+(+http://www.sogou.com/docs/help/webmasters.htm#07)
　　搜狗蜘蛛爬取过的痕迹
　　Sosospider+(+http://help.soso.com/webspider.htm)
　　搜搜蜘蛛爬取过的痕迹
　　Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/; )
　　有道蜘蛛爬取过的痕迹
　　各位站长如果要吸引蜘蛛来爬取我们做SEO优化的网站的话，必须是要做一些工作的，因为蜘蛛不能够爬取互联网所有的网站，实际上*大的搜索引擎也只是爬取了收录了互联网很小的一部分。
　　如果SEO优化人员想要自己的网站更多的被搜索引擎收录，那么网奇SEO培训认为必须得想法设法的蜘蛛吸引过来抓取。搜索引擎一般都会爬取比较重要的页面，我们要符合蜘蛛爬取重要性的规则需要满足几个条件：
　　1.网站权重问题，权重越高的网站蜘蛛会爬取的更加深入，几乎每个页面都会爬取到，就会有更多的内页被收录。
　　2.网站的更新频率，蜘蛛会把每次爬取的网站存储起来，方便第二次爬取，如果第二次爬取到你优化的网站，发现页面有更新，蜘蛛就会爬取到你的新内容，如果之后每天更新，那么蜘蛛也会养成习惯，每天定时来爬取你的网站。
　　3.网站内容质量，质量高、可读性比较强的页面，搜索引擎抓取到就更容易收录，从而收录之后，给我们的页面权重也会有提高。下次也会继续来爬取我们的网站，因为搜索引擎就喜欢有价值的页面，可读性强的页面，语句符合逻辑的页面。
　　4.导入链接，这种分为外部链接和内部链接，如果要蜘蛛来抓取一个页面，那么这个页面必须要有导入链接，要不然蜘蛛根本就不能够知道这个页面的存在，那么高质量的导入链接，可以很好的引导蜘蛛抓取我们页面。
　　5.页面在首页有链接，一般来说我们在自己网站更新，更新的链接*好是要出现在首页，因为首页是权重*高的，蜘蛛访问*多，*频繁的也是我们的首页，如果首页有更新的链接，可以让蜘蛛更快更好的爬取到我们更新的页面，从而更好的收录我们的页面。
　　这5点都关乎到你所优化的网站的收录问题，直接影响你网站的SEO优化效果好坏，所以网站SEO培训介意大家*好是做好这几点，另外有一些站长说到，在日志的文件发现蜘蛛，但是页面没有被收录。
　　这个原因很见简单，如果蜘蛛在抓取你网站的时候，发现你的网站存在之前被抓取过的内容太过相似，会认为你的网站是抄袭或者复制别人的内容，很有可能就不会继续爬取你的网站了，从而造成蜘蛛来过，却不收录你的页面。