蜘蛛机器人访问索引页面应该遵循Robots Meta规范标签。Robots Meta标签应该放到页中面的什么位置呢?Robots Meta标签跟任何一种META的标签都是统一的。
那么我们如何使用Robots Meta标签呢?
<meta name=”robots” content=”index,nofollow”> <meta name=”robots” content=”index,follow”> <meta name=”robots” content=”noindex,follow”> <meta name=”robots” content=”noindex,nofollow”> <meta name=”robots” content=”index,follow”>
例如content具备多重属性的时候要用逗号隔开,同时注意一个标签不能同时具备相悖的属性,比如index与noindex就不能同时出现在content的标签中,使用的时候应该多加注意。
Robots Meta放在HTML和HEAD的网页代码内部。格式如下:
<html> <head> <meta name="robots" content="index, follow" /> <meta name="googlebot" content="index, follow" /> <title> … </title> </head> <body> …
介绍一下content标签中经常用到的属性
NOODP -搜索结果中不使用
NOINDEX -屏蔽蜘蛛 哈哈(不索引当前页面)
NOFOLLOW -不跟踪当前页面中所有的链接
NOARCHIVE -在搜索结果中不保存当前页面的快照
DMOZ中的描述信息,MSN、Yahoo也支持此类标签。
NONE -不索引当前页面以及其中的所有链接,跟“NOINDEX, NOFOLLOW” 含义相同
NOSNIPPET - 在搜索结果中不采用当前页面的头部描述信息,且不保存当前页面的快照
通过以上标签的设置我们就可以轻松的设置自己想要的,比如屏蔽蜘蛛,不保存当前快照,或者优化人员针对相关引擎做一些标签的表现形式.