-
-
[审核没通过,请注明转载地址]云中利剑 ——浅谈百度杀毒自有云查杀技术
-
发表于: 2015-2-9 16:45 982
-
随着互联网越来越深入到大家的生活,网络安全问题也日益突出。木马盗号、钓鱼网站、病毒蠕虫、恶意广告软件等等令大家防不胜防。传统的杀毒软件是基于特征进行查杀,但这种方式需要提前获得样本,再经过人工分析以后才能更新病毒特征库。这也就导致本地特征库不断更新,而且会越来越大,再以后的扫描过程中需要扫描比对的特征也越来越多,最终导致用户电脑卡慢,用户磁盘空间浪费等想象,严重影响用户的使用体验,给工作和生活造成了诸多不便。
云查杀是什么
大概在2009年前后,兴起了“云查杀”。顾名思义,云查杀就是将可疑文件的鉴定过程放在云端进行,依靠云端强大的计算能力对可疑的文件进行鉴定。这样杀毒客户端就不需要在本地存储特征库了,大大减少了更新病毒库带来的开销,通过“管道”的形式,批量的向云端发送请求,能大大的提高鉴定速度。
传统云查杀技术
传统的云查杀技术主要是依靠于云端强大的存储能力。一方面,云端服务器会存储大量的操作系统文件,带有公司签名的可靠的文件作为“白名单”;另一方面,云端服务器会根据参与云查杀计划的用户上报的可疑文件进行分析,云端强大的鉴定中心给出文件的详细属性。这些黑白文件的哈希值和属性的键值对信息存储在云端,客户端的查杀就告别了传统的特征比对,采用更简单有效的方式,文件哈希比对即可。这也是为什么云端查杀的速度会更快。
目前百度杀毒和百度卫士的后台经过2年时间的建设,已经迅速缩小与竞争对手的差距,云端样本查杀覆盖度达到98%。
图1:引擎发展趋势
百度独有的云查杀技术
传统的云查杀技术虽然简单有效,但是面对未知的样本却一筹莫展。2012年以后,大数据和机器学习等互联网新技术的发展也日新月异。依托百度的大数据处理平台和海量的样本分析处理能力,百度杀毒研发了具有启发能力的云查引擎,并提交了相关专利4篇和论文1篇,推出了强大的两把神剑:干将和莫邪,解决了传统云查杀不能检出未知文件的缺点。
图2:百度独有云查杀技术
干将神剑又名CCE,是特征云引擎(Characteristic-based Cloud Engine)的英文缩写,特征云引擎相对于传统的云查杀系统而言具有如下特点,扫描更快、云端存储特征更小。CCE通过对已有黑白样本的学习,重新提取发现了具有相似特点的家族类型的文件的特征,将这些特征取代之前存储在云端的文件哈希值,使得不断膨胀的传统哈希云的存储开销大大降低,而且在扫描时候计算特征只需要提取一些区段的信息,比计算哈希值的速度还要快上3~5倍,尤其对一些比较大的文件效果更佳明显。此外,由于CCE的特征具有一定的广谱特性,不仅能够表征已知的文件,而且还能够对未知的一些相同家族的文件进行检出,这个是传统的云查杀系统不具备的。CCE的上线,在未知文件检出方面,大概提升了10%左右云端检出能力,使我们百度杀毒的云端变的更强大。
图3:云查杀CCE(干将)
CCE虽然增强了我们传统云查杀的能力,但是其本质还是一种基于文件特征的表示,对于一些构建复杂的病毒的查杀能力还是不足。这里我们利用多种机器学习算法,研发了具有更高检出能力的一款高启发式智能引擎——莫邪(BVM)。莫邪神剑通过海量的样本的学习,通过SVM和独有的rule-based 自动优化算法,并借鉴深度学习技术来打造一系列的模型,这些模型完全是通过我们上百台服务器通过大规模分布式训练得来,提取特征点的位置依赖于统计和机器学习模型,完全脱离了的人工的干预,更难“免杀”。这些模型部署在云端,客户端在扫描的时候只需要将一些区段位置的信息转化为一些bitmap表传送到云端,云端根据这些模型通过计算就能够返回结果。BVM的高度智能性具有更高的检出率,目前仅有8个模型,就已经达到了未知文件70%的检出率,并且对于隐蔽型的变种的查杀能力比CCE更强大。对于一些具有断网查杀需求的用户,莫邪神剑的模型也可以精选下放到客户端,直接进行查杀,可谓云端,终端伸缩自如,灵活多样。
图4 云查杀BVM(莫邪)
综上所述,百度云端查杀系统目前不但具有日趋成熟的传统云查杀系统,而且还拥有干将、莫邪两把神剑的保驾护航。从用户的角度来看,这样的配置将会给用户带来更加轻快、安全的使用体验。
云查杀是什么
大概在2009年前后,兴起了“云查杀”。顾名思义,云查杀就是将可疑文件的鉴定过程放在云端进行,依靠云端强大的计算能力对可疑的文件进行鉴定。这样杀毒客户端就不需要在本地存储特征库了,大大减少了更新病毒库带来的开销,通过“管道”的形式,批量的向云端发送请求,能大大的提高鉴定速度。
传统云查杀技术
传统的云查杀技术主要是依靠于云端强大的存储能力。一方面,云端服务器会存储大量的操作系统文件,带有公司签名的可靠的文件作为“白名单”;另一方面,云端服务器会根据参与云查杀计划的用户上报的可疑文件进行分析,云端强大的鉴定中心给出文件的详细属性。这些黑白文件的哈希值和属性的键值对信息存储在云端,客户端的查杀就告别了传统的特征比对,采用更简单有效的方式,文件哈希比对即可。这也是为什么云端查杀的速度会更快。
目前百度杀毒和百度卫士的后台经过2年时间的建设,已经迅速缩小与竞争对手的差距,云端样本查杀覆盖度达到98%。
图1:引擎发展趋势
百度独有的云查杀技术
传统的云查杀技术虽然简单有效,但是面对未知的样本却一筹莫展。2012年以后,大数据和机器学习等互联网新技术的发展也日新月异。依托百度的大数据处理平台和海量的样本分析处理能力,百度杀毒研发了具有启发能力的云查引擎,并提交了相关专利4篇和论文1篇,推出了强大的两把神剑:干将和莫邪,解决了传统云查杀不能检出未知文件的缺点。
图2:百度独有云查杀技术
干将神剑又名CCE,是特征云引擎(Characteristic-based Cloud Engine)的英文缩写,特征云引擎相对于传统的云查杀系统而言具有如下特点,扫描更快、云端存储特征更小。CCE通过对已有黑白样本的学习,重新提取发现了具有相似特点的家族类型的文件的特征,将这些特征取代之前存储在云端的文件哈希值,使得不断膨胀的传统哈希云的存储开销大大降低,而且在扫描时候计算特征只需要提取一些区段的信息,比计算哈希值的速度还要快上3~5倍,尤其对一些比较大的文件效果更佳明显。此外,由于CCE的特征具有一定的广谱特性,不仅能够表征已知的文件,而且还能够对未知的一些相同家族的文件进行检出,这个是传统的云查杀系统不具备的。CCE的上线,在未知文件检出方面,大概提升了10%左右云端检出能力,使我们百度杀毒的云端变的更强大。
图3:云查杀CCE(干将)
CCE虽然增强了我们传统云查杀的能力,但是其本质还是一种基于文件特征的表示,对于一些构建复杂的病毒的查杀能力还是不足。这里我们利用多种机器学习算法,研发了具有更高检出能力的一款高启发式智能引擎——莫邪(BVM)。莫邪神剑通过海量的样本的学习,通过SVM和独有的rule-based 自动优化算法,并借鉴深度学习技术来打造一系列的模型,这些模型完全是通过我们上百台服务器通过大规模分布式训练得来,提取特征点的位置依赖于统计和机器学习模型,完全脱离了的人工的干预,更难“免杀”。这些模型部署在云端,客户端在扫描的时候只需要将一些区段位置的信息转化为一些bitmap表传送到云端,云端根据这些模型通过计算就能够返回结果。BVM的高度智能性具有更高的检出率,目前仅有8个模型,就已经达到了未知文件70%的检出率,并且对于隐蔽型的变种的查杀能力比CCE更强大。对于一些具有断网查杀需求的用户,莫邪神剑的模型也可以精选下放到客户端,直接进行查杀,可谓云端,终端伸缩自如,灵活多样。
图4 云查杀BVM(莫邪)
综上所述,百度云端查杀系统目前不但具有日趋成熟的传统云查杀系统,而且还拥有干将、莫邪两把神剑的保驾护航。从用户的角度来看,这样的配置将会给用户带来更加轻快、安全的使用体验。
赞赏
看原图
赞赏
雪币:
留言: