robots文件应该注意什么?解robots文件的用法!

　　robots文件应该注意什么?解robots文件的用法!

　　下面我们一起来了解robots文件的用法

　　1.“user-agentdisallow/”表示“禁止所有搜索引擎访问网站的任何部分”，这相当于该网站在搜索引擎里没有记录，也就谈不上排名。

　　2.“user-agentdisallow”表示“允许所有的robots访问”，即允许蜘蛛任意抓取并收录该网站。这里需要注意，前两条语法之间只相差一个“/”。

　　3.“user-agentbadbot disallow/”表示“禁止某个搜索引擎的访问”。

　　4.“user-agentbaiduspider disallowuser-agentdisallow/”表示“允许某个搜索引擎的访问”。这里面的“baiduspider”是百度蜘蛛的名称，这条语法即是允许百度抓取该网站，而不允许其他搜索引擎抓取。

　　说了这么多，我们来举个例子，某个网站以前是做人才招聘的，现在要做汽车行业的，所以网站的内容要全部更换。删除有关职场资讯的文章，这样就会出现大量404页面、很多死链接，而这些链接以前已经被百度收录，但网站更换后蜘蛛再过来发现这些页面都不存在了，这就会留下很不好的印象。此时可以利用robots文件把死链接全部屏蔽，不让百度访问这些已不存在的页面即可。

　　后我们来看看使用robots文件应该注意什么?，在不确定文件格式怎么写之前，可以先新建一个文本文档，注意robots文件名必须是robots.txt，其后缀是txt并且是小写的，不可以随便更改，否则搜索引擎识别不了。然后打开该文件，可以直接复制粘贴别人的格式，

　　Robots文件格式是一条命令一行，下一条命令必须换行。还有，“disallow ”后面必须有一个空格，这是规范写法。文章由,公司.mvidc.,整理发布，转载保留地址。