相信大多数的seo辛手对robots的写法并不了解，甚至robots是什么都不一定知道！今天我们就来与大家说一下robots的写法与注意事项！

 
一、什么是robots
robots是一个协议，给搜索引擎蜘蛛看的，告诉搜索引擎那些文件不准抓取，那些文件可以抓取，就像一个守门
的保安站在门口，有goog比如入学xian要看校规一样,robots文件是放在根目录里面的，格式为robots.txt
二、robots应该怎么写？
1、 robots文件解读
User-agent: *
User-agent指的是针对谁，允许谁的意思，*指的匹配所有的意思，整句话可以理解为允许所有的意思
User-agent: Baiduspider指的是允许百度蜘蛛抓取
allow指的是允许
/指的是目录下面的层几，路径层次
allow：/ 指的是允许抓取整个网站的目录
Disallow指的是不允许
Disallow：/ 指的是不允许抓取整个网站的目录
Disallow: /data/指的是不允许抓取data/下面的文件
$:美元符号指的是匹配文件类型的意思，比如：jpg,png,txt,html等文件格式
2、 robots需要屏蔽的内容
Disallow: /api/
Disallow: /data/
Disallow: /sourcel/
Disallow: /install/
Disallow: /template/
3、 网站地图可以写入robots吗
网站地图有两种，一种是html的，另一种是xml的,蜘蛛di一时间访问的是robots，所以我们把网站的地图也放在这里，更容易让蜘蛛知道我们网站的文件有什么，两种文件地图都可以写入robots里面！
4、 如何写一个简单的robots
User-agent: *
Disallow: /api/
Disallow: /data/
Disallow: /sourcel/
Disallow: /install/
Disallow: /template/
三、robots应该注意什么问题？
1、一定不要写j对路径，就是不要带我们网站域名。用/代替就可以。
2、注意robots文件zhong的所有符号都是在英文状态下写的，比如：Disallow: /wp-admin/ zhong“:”是英文状态下的。
3、注意空格；例如：Disallow: /wp-admin/  zhong":"后面紧跟着是一个空格；
4、注意大小写；例如：Disallow: /wp-admin/zhongDisallow的“D”是大写的。
5、robots是有生效时间的，是由百度决定的，几天或者两个月以内，所以，一定不要随便屏蔽整站。
6、还有一点要弄清楚的就是：
Disallow: /help  意思是禁止蜘蛛访问/help.html、/helpabc.html、/help/index.html所有的带help的文件及文件夹。
Disallow: /help/则是禁止蜘蛛访问/help/index.html这种形式的路径，允许访问/help.html、/helpabc.html，这两个是不一样的，大家要记清楚。