网站优化的第一堂课就是网站调整需要一气呵成，避免中间百度抓取，给百度一个频繁修改网站的印象。那么如果调整内容过多，短时间无法完成怎么办?这就需要robots文件，禁止搜索引擎抓取。等调整完毕后，你一定要记得修改robots文件，允许搜索引擎抓取，要不然蜘蛛是不会来抓取任何页面的。今天乌鲁木齐SEO就跟大家聊一聊网站的robots文件：
robots文件是属于网站的一个协议文件，对网站跟搜索引擎之间的一份协议，大部分搜索引擎都会遵守这份robot文件的内容，它就好比是我们去一个旅游景点，在每个景点的入口处，都会有一份游客须知的公告，跟我们说清楚，景区内哪些地方可以去，哪些地方禁止去。
这份网站协议也同样具有这样的作用，它告诉来到我们网站的蜘蛛，哪些页面可以抓取，哪些页面是禁止抓取的。这样对我们做seo优化来说是非常有帮助的，可以让我们不需要参与排名的页面不让蜘蛛去抓取，重点去抓取那些我们需要用来做排名的页面。
robots文件的写法非常简单，但是要使用好它，却不是一件容易的事情。
一、它包含三个命令值
1、user-agent： 这个代表用户代理(定义搜索引擎)，例如针对百度搜索引擎的规则，可以写成：user-agent： baiduspider
2、Disallow：禁止(填写禁止蜘蛛抓取的路径地址)
3、Allow：允许(填写允许蜘蛛抓取的路径地址)
二、两个通配符
1、* 匹配数字0-9以及字母a-z多个任意字符
2、$ 匹配行结束符(针对带各种后缀的文件) 例如：jpg$、png$
三、一个简单的robots文件写法的例子
user-agent： baiduspider
Disallow：
sitemap： http://www.XXXX.com/sitemap.xml
这个就是允许蜘蛛抓取网站的所有内容，一般建议刚做网站的新手朋友写一个这样的robots文件上传到根目录即可。等熟悉网站的结构之后，再根据个人的需求进行修改。
Z后一句sitemap是放置网站地图的链接地址，如果不会制作网站地图的朋友可以参考：网站地图的制作。
以上就是关于网站的robots文件的写法，虽然它写法简单，但是要把它完全用好，还需要好好琢磨。
