为您提供专业的seo网站优化,seo网站推广,整站优化以及网站关键词优化服务,以专业的姿态为您提供seo优化服务.

济南seo

整站优化,关键词优化

济南SEO助您提升关键词排名,提高公司业绩销量

整站优化服务热线

窜天猴解答什么是Robots协议

点击次数: 发布时间:2019-09-24 09:22文章来源:搜索引擎优化

  在网站优化过程中robots.txt文件对于seo优化有很大的帮助,提高Baiduspider获取效率,还能保护站点内部需要保护的信息。在站点上线前,一定要检查robots.txt文件,假如没有及时添加,假如规则写错了,及时调整过来,以免影响站点的索引。

  1、Robots.txt存储位置?

  Robots文件必须换在站点的根目录下,因为搜索引擎获取网页是从根目录开始,而Baiduspider获取站点内容时会先检测Robots文件,按照Robots文件的规则去获取站点内容(即要查看其它站点的Robots文件可以直接输入“域名/robots.txt”就能看到具体内容)。

  2、Robots与Nofollow的区别?

  Robots与Nofollow的本质区别在于Nofollow只是在当前网页禁止Baiduspider跟踪超链接,而Baiduspider可能会通过其它路径获取到被Nofollow的网页。而Robots是禁止搜索引擎索引Disallow的网页。也就是说在搜索引擎可以搜索到Nofollow掉的网页,但是搜索不到Robots Disallow的网页。

  3、Robots的语法规则?

  Sitemap指定站点地图的路径,User-agent指定具体的搜索引擎Baiduspider(User-agent: *,代表所有搜索引擎、User-agent: Baiduspider指定baidu搜索引擎Baiduspider、User-agent:Googlebot指定谷歌搜索引擎Baiduspider)。Allow:是允许获取的路径,Disallow:是禁止获取的路径。可以使用通配符:Disallow: /*.css$禁止Baiduspider爬取所有css文件(具体可以查看本站的Robots文件)。

  4、Robots的运用?

  通过Robots禁止站点后台登入地址被搜索引擎索引,避免黑客使用搜索引擎的inulr命令找到站点后台的登入地址,以提高站点的安全性。同时也可以禁止Baiduspider获取容量较大的文件,以提高站点的访问速度。以上就是济南网站优化团队优化师总结的Robots.txt协议相关知识,希望对你有所帮助。