如何让网站robots.txt不泄露后台等安全秘密
网站建设 2022-07-27 09:12www.1681989.com免费网站
搞过网站的朋友都知道robots.txt文件是用来限制搜索引擎不乱抓取,只抓取我们希望被收录的内容的。比如我们网站的后台就不希望被搜索抓取,那么robots文件需要这样写 User-agent: […]
搞过网站的朋友都知道robots.txt文件是用来限制搜索引擎不乱抓取,只抓取我们希望被收录的内容的。比如我们网站的后台就不希望被搜索抓取,那么robots文件需要这样写
User-agent:
Disallow: /adm/
这样我们很容易发现了一个问题,如果有人要破解攻击的话,很容易就知道了后台,一下子就清楚了网站的结构。
我们并不想这样!
有没有办法让robots.txt既能限制搜索引擎,又不泄露后台地址和隐私目录呢?有!
一、使用通配符()
User-agent:
Disallow: /a/
这样的写法,禁止所有的搜索引擎抓取根目录下a开头的目录。当您的后台是admok165的话,还有谁会看到呢?
二、只写目录前几个字母,不写全
User-agent:
Disallow: /ad
这种的写法,是禁止所有的搜索引擎抓取根目录下ad开头的目录。
说明一下,以上这两种方法,需要网站目录没有相同字母开头的,例如ad目录,如果有两个一样的,那需在robots.txt文件里再加上一个字母区别开来。
上一篇:
哪些网站必须启用HTTPS加密?
下一篇:网站降权前的征兆
网站设计
- 静宁会SEO的网站建设公司:全面提升您的网络影
- 提升在线业务的关键:选择最佳的丽水网站建设
- 浙江网站优化发展潜力如何
- 井研专业的网站建设公司:打造您的在线品牌
- 灵山SEO网站建设公司:提升您的在线业务表现
- 蒙城网站建设优化公司:提升您网站表现的理想
- 阳谷企业网站优化:提升线上业务力的关键
- 樟树专业的网站建设公司:打造您在线业务的坚
- 通河百度SEO排名的策略与技巧
- 重庆百度快照排名如何进行精准的客户引流
- 重庆百度快照排名
- 常宁便宜的建站公司:助您轻松打造在线业务
- 巫溪百度网站优化:提升网站曝光率与流量的关
- 湖北整站优化怎么做才能放大客户需求
- 闸北网站建设多少钱?全面解析与预算规划
- 辽宁企业网站优化怎么做电话营销