导航
您所在的位置: 首页  >> seo基础教程 >> 如何书写一个保护网站隐私的Robots协议

如何书写一个保护网站隐私的Robots协议

一个网站有两个部分组成,一个是针对所有人看的,另一个部分是不想给搜索引擎抓取的,这个部分是不容忽视的。我们可以通过一个Robots协议来规范。即一个robots.txt文件来规范。

robots.txt文件是一个文本文件,是一个规范搜索引擎抓取隐私的协议。 Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。

书写一个保护网站隐私的Robots协议要掌握好三个命令,二个通配符。

三个命令

User-agent 用户代理

Disallow 不允许

Allow 允许

二个通配符

$ 以某为后缀

* 所有,任何A~Z 0~9 a~z

错误示例:(:后无空格)
Disallow:/css
Disallow:/css/
User-agent:指定访客
Disallow:/某某目录(某URL)
Allow:/某某目录(某URL)

不允许所有的蜘蛛抓取所有内容,如:
User-agent: *
Disallow: /

不允许百度蜘蛛抓取所有内容,如:
User-agent: Baiduspider
Disallow: /

只允许Googlebot抓取news目录其它不允许抓取,如:
User-agent: Googlebot
Disallow: /
Allow: /news/

不允许抓取HTML为后缀的文件,如:
Disallow: /*.HTML$

*匹配任意个字符,$匹配url结束,提示一下,Disallow的内容要区分大小写。

Robots协议的检测

我们的robots.txt是否正确在没有一定的把握时一定要检查,否则适得其返。可以在百度站长平台(http://zhanzhang.baidu.com)用Robots工具检查,步骤如图所示:

Robots工具检测步骤

Robots工具检测步骤

Robots工具检测方法

Robots工具检测方法

转载请注明:广西seo-桂林seo-佳惠seo网站优化 » 如何书写一个保护网站隐私的Robots协议

上一篇:
下一篇:
分享到:更多 ()

评论 抢沙发

评论前必须登录!