啥是robots.txt?robots.txt文件对网站有啥利益?

　　啥是robots.txt?robots.txt文件对网站有啥利益?

　　一、啥是robots.txt

　　笔者引证baidu站长东西中后段话来阐明。查找引擎运用spider程序自动访问互联网上的页面并获取页面信息。spider在访问一个网站时，会会 查看该网站的根域下是不是有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取计划。您可以在您的网站中创立一个robots.txt，在文件中声明 该网站中不想被查找引擎录入的有些或许指定查找引擎只录入特定的有些。

　　二、robots.txt文件对网站有啥利益

　　1、快速添加网站权重和访问量;

　　2、阻遏某些文件被查找引擎索引，可以节省服务器带宽和网站访问速度;

　　3、为查找引擎供应一个简洁明了的索引环境