robots.txt是什么？

　　robots.txt是什么?

　　这里再详细介绍下

　　搜索引擎用来爬取网页内容的工具我们称之为搜索引擎机器人。

　　搜索引擎机器人每次来到要抓取的网站，都会先访问这个网站根目录下的一个文件(robots.txt)，如果不存在该文件，则搜索引擎机器人默认这个网站允许其全部抓取。

　　robots.txt是一个简单的纯文本文件(记事本文件)，搜索引擎机器人通过robots.txt里的“说明”，理解该网站是否可以全部抓取或部分抓取。

　　如果你希望搜索引擎收录你网站的全部网页，则你可以不设置robots.txt或上传一个命名为robots.txt的空记事本到根目录。

　　上传你的robots.txt后，通过 你的域名/robots.txt 可以正常访问。 注意，robots.txt的命名，都应该是小写。

　　访问如.maiziseo./robots.txt

　　robots.txt文件的内容主要就是一个代码Disallow:

　　注意，robots.txt文件中一般要包含至少一个Disallow:

　　如果都允许收录，你可以写一行Disallow:/search.html 这个文件(search.html)本来就不存在也没事。

　　格式如

　　User-agent:

　　Disallow: /search.html

　　Disallow: /dex.php?

　　Disallow: /tempweb/

　　说明

　　User-agent: 星号说明，允许所有的搜索引擎来收录，包括百度、google、yahoo等。

　　Disallow: /search.html 说明不允许收录 /search.html 这个文件。

　　Disallow: /dex.php? 说明不允许收录以dex.php?为前缀的链接如dex.php?122.html、dex.php?=12、dex.php?/baidu等等

　　Disallow: /maiziweb/ 说明不允许收录/maiziweb/里的所有文件。但可以收录如/maiziwebtaim.html 的链接。

　　Disallow: /-

　　Disallow: /? 这两个写法屏蔽全站url内带有 - 和 ? 的连接

　　这里介绍的是常用的几个代码。

　　如果需要了解更多关于Disallow:的用法，请了解百度官方的介绍http://.baidu./search/robots.html

　　通过robots.txt来删除被收录的内容

　　1、当你的网页已被收录，但想用robots.txt删除掉，一般需要1-2个月。

　　2、结合Google网站管理员工具，你可以马上删除被Google收录的网页。

　　3、结合百度的站长平台，通过这里可以尽快删除被百度收录的页面http://.baidu./search/badlk_help.html#03

　　相关问题

　　1、我发现有一个网站被K了，但它加了我的网站链接，我可以把它屏蔽吗?

　　被K的网站加你网站的链接，对你网站是没有太大影响的。通过robots.txt也没有办法屏蔽外部链接。

　　2、我的首页是dex.html，我可以把dex.php屏蔽吗?

　　为了安全起见，请不要屏蔽，因为dex.html 才是真实存在的首页。不屏蔽是一定没事，但屏蔽了，可能存在隐患。

　　3、我不喜欢我网站的后台登陆地址被搜索引擎收录，也不希望放在robots.txt里被其他人知道。我怎么来屏蔽呢?

　　这个确实是一个问题，我们想到一个解决办法是这样

　　比如你的网站后台是/maiziseo-adm.php 那么你在robtos.txt里只要写上

　　Disallow: /maiziseo-admi 这样的写法，就屏蔽了 /maiziseo-admi 之后所有的url方式。

　　4、如果我只是具体某一个页面不希望被收录，怎么办?

　　在这个robtos.txt里直接屏蔽这个页面的URL就可以。

　　如Disallow: /123/nourl.html

　　5、有什么注意的经验?

　　1、我们看到一些同学，在robots.txt里屏蔽了首页文件。比如dex.html、dex.php、Default.php，原因是，他的首页可能是dex.asp，但通过以上这几个也能访问首页，于是，他就想屏蔽了他们。这样的做法是不对的。首页，尽量都不要屏蔽。

　　2、如果网站上存在一些比较大的文件、比如打包文件、大图片文件、音乐文件、或电影文件、日志文件夹等等，可以屏蔽掉，因为这些文件可能让你的流量过大，占用过多宽带。

　　例如 网站里很多图片放在tupian里 那么写上一句

　　Disallow: /tupian/ ，通过这个方式，就可以避免图片被收录，从而节省流量和带宽。

　　6、举个例子说明robots.txt的作用和做法

　　我们在思维扩展进阶会给大家带来更细致的引导。那么，请你先熟知基本的语句写法及作用。

　　7、用工具判断自己设置的robots.txt 有没语法错误

　　地址http://tool.chaz./Tools/Robot.aspx

　　8、我想屏蔽某一个二级域名，如何屏蔽?

　　新建一个robots.txt文件，里面是屏蔽全站的代码(Disallow: /)，然后上传到二级域名的根目录下，让通过 xx.maiziseo./robots.txt 可以访问到。

　　9、但为什么有的网站的robots.txt那么复杂?

　　作为未来的seo精英，你需要深入了解并充分利用robots.txt。 扩展思维里面麦子seo会给你带来更加细致讲解引导。