济南网站优化公司,为您提供专业的网站优化,排名优化,关键词优化服务,seo优化师一对一对接,助您快速提升网站关键词排名.

济南网站优化

帮助企业快速提升网站排名和流量

专注网站优化,SEO关键词排名,一切用数据说话!

整站优化业务咨询

Robots.txt文件如何编写?网站优化师告诉你

点击次数: 发布时间:2017-09-24 15:48文章来源:济南云无限
Robots文件相信很多人都不陌生,但是robots文件你真的不熟悉吗?或者仅仅停留在听说过的状态,那么robots文件有什么用?屏蔽蜘蛛抓取网站内的文件?如果你还停留在这个状态,那么就来看看网站优化师,是如何处理robots.txt的,如何编写才能让robots.txt充分发挥作用。
 网站优化
网站优化
先来说说robots.txt文件一般怎么用吧,这点相信很多的站长并没有仔细做好。
 
一、新站上线前
这个时候,新站时不需要蜘蛛来抓取的,我们需要做的是将所有蜘蛛屏蔽,等新站调整好,准备上线时,才能让蜘蛛来抓取,避免给蜘蛛留下不好的印象。这时候我们的robots.txt文件需要怎么编写呢?
User-agent: *
Disallow: /
二、新站上线后
网站上线后,我们需要蜘蛛来抓取,但是有一些文件却不便于让蜘蛛抓取,比如说后台文件,那么我们的robots.txt应该怎么编写呢?拿小编的一个网站来给大家示例一下。
User-agent: *
Disallow: /plus/ad_js.php
Disallow: /plus/advancedsearch.php
Disallow: /plus/car.php
Disallow: /plus/carbuyaction.php
Disallow: /plus/shops_buyaction.php
Disallow: /plus/erraddsave.php
Disallow: /plus/posttocar.php
........
    那么,我们的robots.txt 只有这些作用吗?还能做什么?其实robots.txt文件是用来给百度蜘蛛指路的一个功能,告诉蜘蛛哪些文件可以去抓取,哪些文件不能去抓取,那么我们应该怎么去给百度指路呢?告诉蜘蛛取抓取哪些文件,想知道吗?请联系我们网站优化师吧。
 
上一篇:没有了