您当前的位置是:首页-SEO宝典

如何正确配置你的Robots.txt?

【发表于】:2010/12/21 16:16:00  已被访问:145次

新站上线,最希望能够尽快被搜索引擎收录。只有收录,才有后面的许许多多SEO。

一般来说,Baidu对于新站是来者不拒,有很多都是滥竽充数,而Google相对较慢了,原因是Google对于新站都有一定的审核机制,防止一些新站利用黑帽SEO短时期内即取得较好排名,这是一个最重要的可能原因。

当然,我们并不希望搜索引擎收录网站中的任何页面。其中某些页面——由于隐私、管理等等——并不希望被收录。

当搜索引擎来网站抓取页面时,它们会先查看该站的robots.txt文件,以了解你所允许它抓取的范围,包括哪些文件,哪些目录。

正确的配置网站的robots.txt非常重要,错误的配置会导致搜索引擎不能很好的收录甚至无法收录,这种案例现在仍有发生,有的博客建立以后长达几个月没有被收录。

各个搜索引擎都有自己的搜索机器人(Robots)在为他们工作,这些Robots在网络上沿着网页上的链接(一般是http和src链接)不断抓取资料建立自己的数据库,正是得益于这些机器人的勤劳工作,才有如此海量的数据供我们检索。

下面是一些搜索引擎的机器人名称:

机器人名称 搜索引擎
Baiduspider http://www.baidu.com
Googlebot http://www.google.com/
MSNBOT http://search.msn.com/
FAST-WebCrawler http://www.alltheweb.com/
ia_archiver http://www.alexa.com/
Scooter http://www.altavista.com/
Slurp http://www.inktomi.com

为了防止自己的网页被搜索到,Robots开发界提出了两个方法:一个是robots.txt,另一个是The Robots META标签。

Robot.txt
简单的说,Robot.txt就是一个纯文本文档,里面包含一些命令,当Robots来网站时,就会首先检查该网站上是否有Robot.txt,若有,则一般会根据这些命令来执行;若无,则会自动抓取网页或网站。Robots.txt 文件应放于网站根目录下,并且该文件是可以通过互联网进行访问的。如Google的robot.txt:http://www.google.com/robots.txt

下面看一个具体的实例(#后面的内容是为方便阅读而设):

# robots.txt file start

# Exclude Files From All Robots:

User-agent: *
Disallow: /security/
Disallow: /admin/
Disallow: /admin

# End robots.txt file

User-agent:用于描述搜索引擎蜘蛛的名字,在 Robots.txt 文件中,如果有多条User-agent记录说明有多个搜索引擎蜘蛛会受到该协议的限制,对该文件来说,至少要有一条User-agent记录。如果该项的值设为*,则该协议对任何搜索引擎蜘蛛均有效,在”Robots.txt 文件中,“User-agent:*”这样的记录只能有一条。

Disallow:就表示不允许蜘蛛访问,你可以根据自己的需要设立后面的目录或者是文件,比如管理员后台登陆的页面或者目录等。

Disallow: /admin/:是指允许搜索引擎蜘蛛抓取/admin.html,而不能抓取/admin/index.html。

Disallow: /admin:是指/admin.html 和/admin/index.html都不允许搜索引擎蜘蛛抓取。

下面有四个举例:
例一:通过”/robots.txt”禁止所有搜索引擎蜘蛛抓取”/bin/cgi/”目录,以及 “/tmp/”目录和 /foo.html 文件,设置方法如下:
User-agent: *
Disallow: /bin/cgi/
Disallow: /tmp/
Disallow: /foo.html

例二:通过”/robots.txt”只允许某个搜索引擎抓取,而禁止其他的搜索引擎抓取。
如:只允许名为”slurp”的搜索引擎蜘蛛抓取,而拒绝其他的搜索引擎蜘蛛抓取 “/cgi/” 目录下的内容,设置方法如下:
User-agent: *
Disallow: /cgi/

User-agent: slurp
Disallow:

例三:禁止任何搜索引擎抓取我的网站,设置方法如下:
User-agent: *
Disallow: /

例四:只禁止某个搜索引擎抓取我的网站
如:只禁止名为“slurp”的搜索引擎蜘蛛抓取,设置方法如下:
User-agent: slurp
Disallow: /

Robots Meta标签
robot.txt主要是针对整个网站而言,相比之下,Robots Meta标签则是针对某个具体的网页不希望被搜索到。

需要注意的是:上述的robots.txt和Robots META标签限制搜索引擎机器人(Robots)抓取站点内容的办法只是一种规则,需要搜索引擎机器人的配合才行,并不是每个Robots都遵守的,这方面百度似乎做得不是很好。

 
上下篇: 各大搜索引擎网站提交登录入口,网站登录入口大全 伪静态的含义作用以及使用

最新推荐信息