安全界的Baidu、Google——FOFA提速啦!
安全界的Baidu、Google
网络空间资产检索系统(FOFA)与谷歌、百度不同,FOFA直接进入互联网的背后通道,搜索的不是与某个字段相关联的内容,而是各种各样完全不同的IP地址。FOFA能找到几乎所有与互联网相关联的东西,像服务器、摄像头、打印机、路由器,甚至交通监控摄像头,倘若你能掌握FOFA的搜索技巧,那将呈现出一个完全不同的世界。
FOFA的运营规模很大,目前的网站和服务记录数已经超过13亿(服务7.49亿,网站5.59亿),服务白帽子超过2万,每天检索次数超过百万次。随着数据量的增长和查询量的加大,原有的fofa后端架构已经不能很好的支持了,表现为:搜索任何一个产品时间都很长,统计数据需要很长时间才能出来,网站经常出现502错误等;已经严重影响使用。
为了尽可能给用户提供更好的服务,我们对服务器和带宽进行了升级;fofa的硬件升级经历了如下三个阶段:
扩展服务器集群;
增加一主多数据的全SSD服务器;
同时将ES大版本。
检索速度得到了极大的提升,大部分检索都能在一秒内出结果。
本次主要对ES分片进行了调整,由之前的5个分片增加到近百个分片,新增分片后集群最大可以扩展到近百台机器(总数据量可支持到96亿),可以支持FOFA继续运行至少2年左右。
白帽汇安全研究院隶属于北京华顺信安科技有限公司。研究院拥有一支从事网络安全研究的资深技术团队,致力于网络信息安全领域的深入探究,研究方向为网络空间测绘、安全大数据、威胁情报、态势感知、区块链安全等前沿安全领域。
昵称
邮箱
最新评论