如何屏蔽已收录的不必要二级目录

前些日子遇到一个朋友他问了我一个问题“我们的网站只收录abc.XXX.,的二级目录类，不收录.xxx.的怎么办？”我看到这个问题时候我当时下意识的说了句robots屏蔽就好了，然后我更具他们各个二级站点例如合肥站上海站写了一个robots文件发给她如下

User-agent:

Disallow: /abc/

紧接着方法都被一一放弃了，因为统统行不通。因为他们的网站所有二级目录和主目录在ftp中都是在同一文件夹下，然后我又了他们网站出现的问题。

1.网站不带的二级已经收录过万，且每日都有蜘蛛爬取，但带的主域名至今只收录二三十个，且还有下降的趋势，所以想让网站收录带的主域名页面。

2.网站所有页面在同一个文件夹下无法利用robots屏蔽路径方式屏蔽页面。

虽然我在百度查询了很久却并未查到过多有用信息，大多都是和我第一次给出的答案一样，但我们还是想出了办法解决了这个问题，那关于屏蔽二级目录收录问题，了以下几点可供选择。

1.如果需要屏蔽的页面和主页面是在不同的文件夹下我们可以直接采取我上面提到的直接robots文件屏蔽，写法例如Disallow: /abc/之类的直接robots屏蔽方法。

2.无法利用robots禁止收录某个二级域名的，最好的方法就是301，对于有用的页面将所有的二级目录类域名重定向，无用的就直接删除。

3.法，将而与目录分配到不同的空间下利用robots屏蔽。

4.个判断程序，让要屏蔽的二级域名下面有一个robots.txt文件。abc.xxx./robots.txt,然后在利用robots屏蔽。此方法我没有试过我是看到夫唯老师很久前给别人的一个建议，就理论而言是可以行的通的。

对于在网站建设中如何避免此类不需要收录的二级域名我罗列了一下几点如果有不完善的欢迎大家补充。

1.虚拟主机时空间自带了二级域名地址且地址已经收录的话最直接的办法就是站内开放的链接上要统一url规范不要给不想收录的二级域名任何的入口。

2.须分二级目录时，将主目录和二级目录分开在不同的文件夹。