9月24日,由360公司主办的中国互联网安全大会(ISC)进行到第二天,本次大会旨在为国内外安全业界搭建最新的信息安全技术与解决方案的交流平台。在当天下午的高峰论坛中,360公司资深研究员董方对大数据时代背景下的网络黑客攻击进行了详细的分析。董方表示,在黑客攻击网站的过程中,实际上很多有价值的信息都埋藏在大量的数据中。
图:360资深安全研究员董方
据董方介绍,从去年12年到今年8月份,360网站卫士一共积累了16.85TB数据,其中每天能够达到81.24GB。“现在每天有受到数十万网站请求,现在超过了31亿次。这个是漏洞攻击数是基于Web传统漏洞攻击,我们每天拦截超过30万次的来自全国各地的漏洞攻击。”
然而对于如此庞大的数据该如何处理?董方透露,“为了应付脏数据我们有两套平台,一套实时处理平台,架构都是一些开源的解决方案,我们自己做一些修改或者打补丁,还有一个实时平台,包括淘宝自己也有一套东西。第二个是推特出的实时在线处理平台。”
对于此前微博上谈到的Storm话题,董方认为,Storm竞争不适合做大两耗时,耗内存的操作,应该数据快速拆分、重组,所有数据详细分析,不能放在平台上。同时,董方还透露360公司采用Storm做两件事,一个是攻击日志的分析,一个是快速的流式计算,尤其是做CC的。据360方面统计,截止目前每天差不多有6800万次也是来自全国各地的CC攻击。