发现robots.txt文件/不存在robots.txt标注的文件

漏洞级别:  高危中危或低危

参考:OWASP:OWASP Category

危害:

robots.txt文件有可能泄露系统中的敏感信息,如后台地址或者不愿意对外公开的地址等,恶意攻击者有可能利用这些信息实施进一步的攻击。

描述:

目标WEB站点上发现了robots.txt文件。
1.robots.txt是搜索引擎访问网站的时候要查看的第一个文件。
2.robots.txt文件会告诉蜘蛛程序在服务器上什么文件是可以被查看的什么文件是不允许查看的。举一个简单的例子:当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。同时robots.txt是任何人都可公开访问的,恶意攻击者可以通过分析robots.txt的内容,来获取敏感的目录或文件路径等信息。

另外一种情况是:如果robots.txt标准的文件不存在,请确定是不是该文件意外丢失。

解决方法:

确保robots.txt中不包含敏感信息,建议将不希望对外公布的目录或文件请使用权限控制,使得匿名用户无法访问这些信息。

备注:

暂无相关信息