robots.txt语法教程

用几个最常见的情况，直接举例说明:

1. 允许所有SE收录本站:robots.txt为空就可以，什么都不要写。

2. 禁止所有SE收录网站的某些目录:

User-agent:

Disallow: /目录名1/

Disallow: /目录名2/

Disallow: /目录名3/

3. 禁止某个SE收录本站，例如禁止百度:

User-agent: Baiduspider

Disallow: /

4. 禁止所有SE收录本站:

User-agent:

Disallow: /

5. 加入sitemap.xml路径,例如:

推火专家360站长平台