北京seo教你玩转robots协议

robots爬虫协议，相信很多SEOer或个人站长都不会感到陌生，即使刚入行的SEO小白也略有耳闻。对于SEO小白来说，只是听过robots爬虫协议并不了解robots协议真正意义和用法。今天北京seo就来带大家一探究竟，并教你玩转robots协议。

什么是robots协议
robots(中文翻译为机器人)，robots协议即搜索引擎爬虫协议，它是搜索引擎爬虫与网站站点沟通的“桥梁”。网站站点通过robots文件中的声明规则明确告知搜索引擎爬虫哪些文件/目录可以抓取，哪些文件/目录不可以抓取。
注意如果网站站点存在不希望搜索引擎爬虫抓取收录的内容是，才有必要创建robots.txt文件;如果您希望搜索引擎收录网站上所有内容，则无需建立robots.txt文件。
robots.txt文件的存放位置
　　通常，网站的robots.txt文件放置在网站根目录下，便于搜索引擎爬虫第一时间抓取该文件。
robots.txt文件格式
1、robots文件通常包含以一条或多条User-agent开始，后面加上若干条Disallow或Allow。
2、User-agent:用来描述搜索引擎robot的名字。
3、如果存在多条User-agent记录说明有多个robot会受到"robots.txt"的限制，至少要有一条User-agent记录。
4、如果User-agent的值设为，则对任何robot均有效，且"User-agent:"这样的记录只能有一条。
5、如果有"User-agent:SomeBot"和若干Disallow、Allow行，那么搜索引擎爬虫名为"SomeBot"只受到"User-agent:SomeBot"后面的 Disallow和Allow行的限制。
6、Disallow:用来描述不希望被访问的一组URL。
7、这个值可以是一条完整的路径，也可以是路径的非空前缀，以Disallow项的值开头的URL不会被 robot访问。
8、比如"Disallow:/help"这条规则表示的是禁止robot访问/help.html、/helpabc.html、/help/dex.html等。
9、比如"Disallow:/help/"这条规则表示的是允许robot访问/help.html、/helpabc.html，不能访问/help/dex.html。
10、"Disallow:"说明允许robot访问该网站的所有url，robots.txt文件中，至少要有一条Disallow记录。
11、如果网站根目录下robots.txt不存在或者为空文件，则对于所有的搜索引擎爬虫来说，该网站都是开放的。
12、Allow:用来描述希望被访问的一组URL。
13、与Disallow项相似，这个值可以是一条完整的路径，也可以是路径的前缀，以Allow项的值开头的URL 是允许robot访问的。
14、比如"Allow:/hibaidu"这条规则表示的是允许robot访问/hibaidu.htm、/hibaidu.html、/hibaidu/.html。一个网站的所有URL默认是Allow的，所以Allow通常与Disallow搭配使用，实现允许访问一部分网页禁止访问其它所有URL的功能。
15、使用""and"$"Baiduspider支持使用通配符""和"$"来模糊匹配url("" 匹配0或多个任意字符，"$" 匹配行结束符)。
北京SEO如何玩转robots协议
1、禁止所有搜索引擎爬虫访问网站的任何内容
　　User-agent:
　　Disallow: /

2、允许所有搜索引擎爬虫访问网站的任何内容
　　User-agent:
　　Allow: /
3、仅禁止baidu搜索引擎爬虫访问网站的任何内容
　　User-agent: Baiduspider
　　Disallow: /
　　User-agent:
　　Allow: /
4、仅允许baidu搜索引擎爬虫访问网站的任何内容
　　User-agent: Baiduspider
　　Allow: /
　　User-agent:
　　Disallow: /
5、仅允许baidu及google爬虫访问网站的任何内容
　　User-agent: Baiduspider
　　Allow: /
　　User-agent: Googlebot
　　Allow: /
　　User-agent:
　　Disallow: /
6、仅允许baidu及360搜索引擎爬虫访问网站内容，并且禁止抓取所有图片和php网页内容
　　User-agent: Baiduspider
　　Allow: /
　　Disallow: /.jpg$
　　Disallow: /.jpeg$
　　Disallow: /.png$
　　Disallow: /.gif$
　　Disallow: /.bmp$
　　Disallow: /.php$
　　User-agent: 360Spider
　　Allow: /
　　Disallow: /.jpg$
　　Disallow: /.jpeg$
　　Disallow: /.png$
　　Disallow: /.gif$
　　Disallow: /.bmp$
　　Disallow: /.php$
　　User-agent:
　　Disallow: /
　　其他的robots爬虫协议规则，北京seo就不在这里给大家一一举例了。大家可以自己去练习并理解，robots爬虫协议也是很重要的。