robots.txt文件放在哪里?

robots.txt文件放在哪里?

robots.txt文件应该放置在网站根目录下。举例来说，当spider访问一个网站（比如 http://.abc.）时，会检查该网站中是否存在http://.abc./robots.txt这个文件，如果 Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。

网站 URL

相应的 robots.txt的 URL

http://.w3./

http://.w3./robots.txt

http://.w3.:80/

http://.w3.:80/robots.txt

http://.w3.:1234/

http://.w3.:1234/robots.txt

http://w3./

http://w3./robots.txt

推火专家百度搜索资源平台 百度搜索学堂