北京云无限 > 库尔勒

robots文件是什么?网站robots文件应该怎么写?

2018/3/1 14:39:56 来源:本站原创

  网站优化的****堂课就是网站调整需要一气呵成,避免中间百度抓取,给百度一个频繁修改网站的印象。那么如果调整内容过多,短时间无法完成怎么办?这就需要robots文件,禁止搜索引擎抓取。等调整完毕后,你一定要记得修改robots文件,允许搜索引擎抓取,要不然蜘蛛是不会来抓取任何页面的。今天乌鲁木齐SEO就跟大家聊一聊网站的robots文件:

robots文件是什么?网站robots文件应该怎么写?

 

  robots文件是属于网站的一个协议文件,对网站跟搜索引擎之间的一份协议,大部分搜索引擎都会遵守这份robot文件的内容,它就好比是我们去一个旅游景点,在每个景点的入口处,都会有一份游客须知的公告,跟我们说清楚,景区内哪些地方可以去,哪些地方禁止去。

  这份网站协议也同样具有这样的作用,它告诉来到我们网站的蜘蛛,哪些页面可以抓取,哪些页面是禁止抓取的。这样对我们做seo优化来说是非常有帮助的,可以让我们不需要参与排名的页面不让蜘蛛去抓取,****去抓取那些我们需要用来做排名的页面。

  robots文件的写法非常简单,但是要使用好它,却不是一件容易的事情。

  一、它包含三个命令值

  1、user-agent: 这个代表用户代理(定义搜索引擎),例如针对百度搜索引擎的规则,可以写成:user-agent: baiduspider

  2、Disallow:禁止(填写禁止蜘蛛抓取的路径地址)

  3、Allow:允许(填写允许蜘蛛抓取的路径地址)

  二、两个通配符

  1、* 匹配数字0-9以及字母a-z多个任意字符

  2、$ 匹配行结束符(针对带各种后缀的文件) 例如:jpg$、png$

  三、一个简单的robots文件写法的例子

  user-agent: baiduspider

  Disallow:

  sitemap: http://www.XXXX.com/sitemap.xml

  这个就是允许蜘蛛抓取网站的所有内容,一般建议刚做网站的新手朋友写一个这样的robots文件上传到根目录即可。等熟悉网站的结构之后,再根据个人的需求进行修改。

  Z后一句sitemap是放置网站地图的链接地址,如果不会制作网站地图的朋友可以参考:网站地图的制作。

  以上就是关于网站的robots文件的写法,虽然它写法简单,但是要把它完全用好,还需要好好琢磨。

  • 上一篇文章:
  • 下一篇文章: 没有了
  • 推荐文章