首页
社区
课程
招聘
[翻译] VT杀毒厂商引擎比较
2018-11-29 06:00 9209

[翻译] VT杀毒厂商引擎比较

2018-11-29 06:00
9209

在比较移动安全供应商时,可靠性存在很大差异。

我是硅谷一家IT公司的采购人员。最近,我们公司需要一个新的移动安全供应商,所以我对当今市场上的网络安全提供商进行了比较。

结果出人意料。显然,最可靠的提供商不是最知名的,而是来自斯洛伐克,韩国,印度和美国创业公司。所以请在下订单之前进行研究,特别是当结果会影响您的晋升时。

现在,让我告诉你我们做了哪些测试,以及我们收集的结果。

我们从VirusTotal(VT)收集了大部分测试数据。VT是一个托管许多防病毒扫描程序的网站。用户可以将不同类型的文件(包括exe,dll,pdf,doc,ppt,apk等)上传到VT,它将返回所有托管供应商的扫描结果。VT成立于2004年,随后于2012年被谷歌收购。现在,VT拥有60多个防病毒引擎,每天扫描全球用户提交的数百万个样本。所有扫描报告都与公共VT社区共享。可以通过在VT上查询测试样本来验证这些测试结果。

为了执行测试,我需要准备好的和恶意的样本。我们公司有一些良性的APK样本,但没有恶意样本。幸运的是,VT提供了一个API来获取提交给VT的最新样本的实时源。因此,我们将我们的良性APK样本上传到VT,以查看是否有任何供应商将其错误分类为恶意软件。从实时Feed示例中,我们还使用非常保守的标签政策选择一些恶意APK样本和良性APK样本。首先,我们将具有高阳性率的样本标记为恶意软件; 当防病毒引擎将其标记为恶意软件时,样本获得肯定。接下来,我们将样品标记为良性,如果它具有非常低的阳性率,已被扫描多次,并且已经在VT中至少几个月。另外,

使用上述方法,我们可以构建一个具有最小误报和误报的测试数据集。每天,我们都会准备这样一个数据集来测试防病毒供应商的性能。我们测试了66家供应商,为期14天:从11月1日到11月14日。最终结果显示在下表中,并反映平均每日结果。共有9列:

供应商:防病毒供应商的名称

国家/地区:防病毒供应商的国家/地区

总计:测试样本总数

TN:真负,正负数(良性)样本被正确预测为负数

FN:False Negative,正面(恶意)样本的数量被错误预测为负面

FP:假阳性,阴性样本的数量被错误预测为阳性

TP:真阳性,阳性样本的数量被正确预测为阳性

TPR:真阳性率,阳性样本的百分比被正确预测为阳性

FPR:假阳性率,阴性样本被误预测为阳性的百分比。

因此,只有当它具有高TPR(因此它可以检测到更多恶意软件)和低FPR(因此它具有较少的误报警)时,才认为防病毒引擎是好的。


在表中,我们根据他们的TPR对供应商进行了分类,这代表了他们的恶意软件检测功能。总共有四家供应商的检测率达到95%以上,分别来自斯洛伐克的ESET-NOD32,美国的Trustlook,韩国的AhnLab-V3和印度的K7GW。其中,Trustlook的最低FPR为0.12%。在TPR超过90%的八家供应商中,Fortinet的FPR最低,接近0。

测试结果对我来说有点令人惊讶。Avast,BitDefender,迈克菲和赛门铁克等知名厂商在TPR方面甚至没有进入前20名。有大约20家供应商的TPR接近0,我猜他们不提供APK扫描服务。引起我注意的是一家名为Trustlook的创业公司。我之前从未听说过这家公司,但显然基于我的测试,他们提供了出色的移动安全服务。

我还在github上传了一个包含所有测试结果的Excel文件。

https://github.com/alekswicked/VTEngines/blob/master/data/Data_Nov_2018.xlsx

在文件内部,有14个工作表,以测试日期命名。在每个工作表中,第一列是样本的MD5哈希,第二列是样本的标签,1表示正(恶意),0表示负(良性)。其他列是供应商对样本的检测结果,1表示供应商将样本检测为恶意软件。可以使用VT验证结果。例如,Ad-Aware,AhnLab-V3,Arcabit,BitDefender,CAT-QuickHeal,ESET-NOD32,Emsisoft,F-Secure,Fortinet,GData,Ikarus检测到带有MD5“8C3C107D8CB67E869D02EB73850A76A9”的工作表“20181114”上的第一个样本,K7GW,卡巴斯基,MAX,MicroWorld-eScan,Sophos,Trustlook和ZoneAlarm。如果你在VT上搜索样本,你会发现这样的东西:




它显示,该文件在2018-11-14 18:40:47 UTC扫描并由之前列出的供应商检测到。

总之,如果您需要移动安全服务,我建议您从ESET-NOD32,Trustlook,AhnLab-V3和K7GW中进行选择。


原稿:

https://medium.com/@alekswicked/do-the-most-well-known-anti-virus-vendors-make-the-best-engines-eb5c9165497f

翻译:

google translate


[培训]内核驱动高级班,冲击BAT一流互联网大厂工作,每周日13:00-18:00直播授课

最后于 2018-12-28 10:00 被CCkicker编辑 ,原因: 添加图片
收藏
点赞1
打赏
分享
最新回复 (7)
雪    币: 1126
活跃值: (3357)
能力值: ( LV8,RANK:120 )
在线值:
发帖
回帖
粉丝
FIGHTING安 1 2018-11-29 10:58
2
1
ESET-NOD32和AhnLab-V3 都不算是知名厂商吗
雪    币: 1038
活跃值: (1216)
能力值: ( LV3,RANK:35 )
在线值:
发帖
回帖
粉丝
StriveXjun 2018-11-29 11:11
3
1
你需要用一些中国的样本进行测试。
雪    币: 1535
活跃值: (695)
能力值: ( LV2,RANK:10 )
在线值:
发帖
回帖
粉丝
开花的水管 2018-11-29 13:07
4
0
666
雪    币: 182
活跃值: (25)
能力值: ( LV2,RANK:10 )
在线值:
发帖
回帖
粉丝
jbtzhm 2018-11-29 21:53
5
0
ESET-NOD32和AhnLab-V3肯定算是知名的厂商了,但是其他大厂表现一般。
雪    币: 182
活跃值: (25)
能力值: ( LV2,RANK:10 )
在线值:
发帖
回帖
粉丝
jbtzhm 2018-11-29 21:54
6
0
StriveXjun 你需要用一些中国的样本进行测试。
我只是转一下贴,不是我测试的。 :)
雪    币: 19
活跃值: (10)
能力值: ( LV2,RANK:10 )
在线值:
发帖
回帖
粉丝
QuinnA 2018-11-30 02:28
7
0
StriveXjun 你需要用一些中国的样本进行测试。
跟中国的样本有啥关系么?随便看了下github上的文件,有一些是中文的app..
雪    币: 6103
活跃值: (1207)
能力值: (RANK:30 )
在线值:
发帖
回帖
粉丝
CCkicker 2018-12-28 10:00
8
0
图片掉了,重新上传了图片
游客
登录 | 注册 方可回帖
返回