织梦模板代理加盟 2020全新代理计划 赚钱+省钱双管齐下,独立平台,丰厚利润!

您现在的位置: 麦站网 > 站长学院 > 编程语言 >

Meta name="robots"蜘蛛标签代码写法

来源:本站原创 发布时间:2020-09-23 09:29:50热度:我要评论(0

阿里云云产品优惠

meta标签是放在html网页中head头部标签内的,我们可以通过设置html元素<meta>标签中name="robots"相应的content属性值来告诉所有搜索引擎蜘蛛爬虫如何抓取页面。 在SEO中,对于蜘蛛的控制是非常重要的一部分内容,所以希望各位看官准确把握这部分的内容。

示例

如果我们希望所有搜索引擎蜘蛛爬虫来抓取页面,就可以这样写:

<meta name="robots" content="index">

但是要禁止所有搜索引擎蜘蛛爬虫抓取页面,就像这样写:

<meta name="robots" content="noindex">

 

书写格式

1、指定所有搜索引擎写法:

name="robots"表示content属性值指定的规则适用于所有搜索引擎,我们可以用如下格式表示:

<meta name="robots" content="属性值">

content="属性值"就是用来指定搜索引擎抓取方式,其属性值有all, none, index, noindex, follow, nofollow等。

 

2、指定单个搜索引擎写法:

我们已经知道,name=“robots”表示的是,所有的搜索引擎,如果想要content属性值的规则只适合被我们指定的搜索引擎的话,就把robots替换成你想要指定的搜索引擎种类。

比如,我只想禁止百度搜索引擎抓取页面,我们就应该这样写:

<meta name="baiduspider"  content="noindex">

 

content常用属性值

属性值 说明
all 允许搜索引擎抓取该网页,也能通过该网页中的链接去抓取其他网页
index 允许搜索引抓取该网页;
noindex 禁止搜索引擎抓取该页面,但能通过该网页中的链接去抓取其它网页
follow 允许搜索引擎通过该网页中的链接去抓取其它网页
nofollow 禁止搜索引擎通过该网页中的链接去抓取其它页面
none 禁止搜索引擎抓取,也不允许通过该网页中的链接去抓取其他网页
noarchive 在显示本网页于搜索结果中时,不要显示一个"网页快照"链接
unavailable_after:[日期] 在指定的日期和时间之后,从搜索结果中删除该网页
nosnippet 在搜索结果中显示当前页时,不要显示页面摘要

 

注意:content属性值为空,则表示默认值all

content的属性值也可以多个值,若包含多个属性值的时候,则需要用英文逗号隔开,注意同种属性正反两个方面(例如:index与noindex)不能同时出现在content之中。

< meta name="robots" content="index,follow">
< meta name="robots" content="noindex,follow">
< meta name="robots" content="index,nofollow">
< meta name="robots" content="noindex,nofollow">

content="index,follow",也可以直接用 content="all"代替,两者作用是相同的;同理,content="noindex,nofollow",可以直接用 content="none"代替;

还有需要注意的是,我们不能把对立的两个属性值写在一起,例如:"index,noindex"和"noindex,nofollow"两种组合是不成立的!

 

各大搜索引擎蜘蛛名称

1、百度蜘蛛:BaiduSpider

常见的Baiduspider和Baiduspider-image(抓取图片)

百度公司还有其它几个蜘蛛:Baiduspider-video(抓取视频)、Baiduspider-news(抓取新闻)、Baiduspider-mobile(抓取wap),都不常见

 

2、谷歌蜘蛛:Googlebot

有人说谷歌蜘蛛是GoogleBot,官方谷歌蜘蛛最新名称为Googlebot,还发现了Googlebot-Mobile,看名字是应该是抓取wap内容的

 

3、360蜘蛛:360Spider

 

4、搜狗蜘蛛:Sogou News Spider

搜狗公司还有其它几个蜘蛛:Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou Orion spider,冬镜在日志中只发现了常见的Sogou News Spider。

 

5、必应蜘蛛:bingbot

转载请注明来源网址:https://www.xiuzhanwang.com/bcyy/2715.html

    发表评论

    评论列表(条)