网站如何终止被搜索引擎收录呢？ 一般状

但有时候，怎样终止搜索引擎包含变成难题、愈来愈贴近的可能性。必须屏蔽掉的信息内容，如保密信息、复制内容、广告词链接等。以往，常见的防止包含的方式密码设置、将內容掩藏在表单后边、应用JS/Ajax、应用flash等。

 

 

一、使用Flash

 

几年来，搜索引擎一直试图抢占flash内容。简单的文本内容已经可以被抓取。flash中的链接也可以被跟踪。

 

二，形式

 

搜索引擎蜘蛛还可以填写表单和获取post请求页面。这可以在日志中看到。

 

三、JS/Ajax

 

使用JS链接一直被认为是搜索引擎不友好的方式，可以防止蜘蛛爬行。但两三年前，我发现JS链接无法阻止搜索引擎蜘蛛爬行。不仅会对JS中出现的url进行爬网，还可以执行简单的JS来查找更多的url。

 

日前，人们发现，许多网站使用的Facebook评论插件中的评论被抓取并包含在内。插件本身是一个Ajax。这是个好消息。我的实验性电子商务网站的产品评审功能为此做出了很大的努力。使用Facebook评论插件有很大的好处。具体的好处将在后面解释。 更好的问题是评论是启用 ajax 的，不能捕获，而产品评论是作为目的之一包括在内的(生成原始内容)。我一直在考虑它，我没有解决方案，所以我不得不打开Facebook评论插件，然后打开购物车的评论功能。既然Facebook评论中的评论可以包含在内，就没有两套评论功能了。

 

四、robots文件

 

目前，确保内容不被包含的方法是禁止robots文件。有一个缺点，即体重会减少，但内容不能被包括在内，但网页已经成为一个链接只接受重量不无底洞的流出量。

 

五、限制跟踪

 

Nofollow不保证不包括在内。即使将NF添加到站点上的所有链接，也无法保证其他站点不会获取到页面的链接。搜索引擎仍然可以找到这个页面。

 

六、metanodex+follow

 

为了防止集合转移权重，我们可以在页面上使用metadex和metaflow，这样页面就不包括在内，而是可以流出权重。的确，这是一种更好的方式。还有一个问题，否则这将是一次爬行蜘蛛的浪费。

 

如何使网页不包括是一个值得思考的问题。对于那些没有意识到严重性的人，你可以考虑在你的网站上有多少重复内容、低质量内容、各种非搜索价值类别和过滤 url。