我不想我的网站被Baiduspider访问,我该怎么做?
我不想我的网站被Baiduspider访问,我该怎么做?
Baiduspider遵守互联网robots协议。您可以利用robots.txt文件完全禁止Baiduspider访问您的网站,或者禁止 Baiduspider访问您网站上的部分文件。 注意禁止Baiduspider访问您的网站,将使您的网站上的网页,在百度搜索引擎以及所有百度提供搜索引擎服务的搜索引擎中无法被搜索到。关于 robots.txt的写作方法,请参看我们的介绍robots.txt写作方法
您可以根据各产品不同的user-agent设置不同的抓取规则,如果您想完全禁止百度所有的产品收录,可以直接对Baiduspider设置禁止抓取。
以下robots实现禁止所有来自百度的抓取
User-agent: Baiduspider
Disallow: /
以下robots实现禁止所有来自百度的抓取但允许图片搜索抓取/image/目录
User-agent: Baiduspider
Disallow: /
User-agent: Baiduspider-image
Allow: /image/
请注意Baiduspider-cpro抓取的网页并不会建入索引,只是执行与客户约定的操作,所以不遵守robots协议,如果Baiduspider-cpro给您造成了困扰,请联系union1@baidu.。
Baiduspider-ads抓取的网页并不会建入索引,只是执行与客户约定的操作,所以不遵守robots协议,如果Baiduspider-ads给您造成了困扰,请联系您的客户服务专员。
网站seo
- 洛扎企业官网搭建公司:提升品牌形象与网络实
- 北京百度快照排名怎么把网站排名在百度首页
- 湖南seo网站排名关键词优化如何提升销售额和销
- 打造企业形象的利器:金塔企业官网搭建公司
- 提升平舆百度快照排名的全面指南
- 浙江企业网站优化怎样做网站排名
- 云南整站优化:提升网站价值的关键
- 西藏新手做seo怎么做发展潜力如何
- 提升扬州网站排名优化的有效策略
- 中山建站公司有哪些:全面解析与推荐
- 长寿百度关键词SEO:提升你的网站排名技巧
- 寻找优质服务的秘诀:库车会SEO的网站建设公司
- 兴义企业网站优化:提升网站可见性的策略与方
- 威海优化关键词排名推广:提升您网站流量的有
- 松原建站公司:助力企业数字化转型的最佳选择
- 罗甸企业官网搭建公司:助力企业数字化转型