在比较移动安全供应商时,可靠性存在很大差异。
我是硅谷一家IT公司的采购人员。最近,我们公司需要一个新的移动安全供应商,所以我对当今市场上的网络安全提供商进行了比较。
结果出人意料。显然,最可靠的提供商不是最知名的,而是来自斯洛伐克,韩国,印度和美国创业公司。所以请在下订单之前进行研究,特别是当结果会影响您的晋升时。
现在,让我告诉你我们做了哪些测试,以及我们收集的结果。
我们从VirusTotal(VT)收集了大部分测试数据。VT是一个托管许多防病毒扫描程序的网站。用户可以将不同类型的文件(包括exe,dll,pdf,doc,ppt,apk等)上传到VT,它将返回所有托管供应商的扫描结果。VT成立于2004年,随后于2012年被谷歌收购。现在,VT拥有60多个防病毒引擎,每天扫描全球用户提交的数百万个样本。所有扫描报告都与公共VT社区共享。可以通过在VT上查询测试样本来验证这些测试结果。
为了执行测试,我需要准备好的和恶意的样本。我们公司有一些良性的APK样本,但没有恶意样本。幸运的是,VT提供了一个API来获取提交给VT的最新样本的实时源。因此,我们将我们的良性APK样本上传到VT,以查看是否有任何供应商将其错误分类为恶意软件。从实时Feed示例中,我们还使用非常保守的标签政策选择一些恶意APK样本和良性APK样本。首先,我们将具有高阳性率的样本标记为恶意软件; 当防病毒引擎将其标记为恶意软件时,样本获得肯定。接下来,我们将样品标记为良性,如果它具有非常低的阳性率,已被扫描多次,并且已经在VT中至少几个月。另外,
使用上述方法,我们可以构建一个具有最小误报和误报的测试数据集。每天,我们都会准备这样一个数据集来测试防病毒供应商的性能。我们测试了66家供应商,为期14天:从11月1日到11月14日。最终结果显示在下表中,并反映平均每日结果。共有9列:
供应商:防病毒供应商的名称
国家/地区:防病毒供应商的国家/地区
总计:测试样本总数
TN:真负,正负数(良性)样本被正确预测为负数
FN:False Negative,正面(恶意)样本的数量被错误预测为负面
FP:假阳性,阴性样本的数量被错误预测为阳性
TP:真阳性,阳性样本的数量被正确预测为阳性
TPR:真阳性率,阳性样本的百分比被正确预测为阳性
FPR:假阳性率,阴性样本被误预测为阳性的百分比。
因此,只有当它具有高TPR(因此它可以检测到更多恶意软件)和低FPR(因此它具有较少的误报警)时,才认为防病毒引擎是好的。
在表中,我们根据他们的TPR对供应商进行了分类,这代表了他们的恶意软件检测功能。总共有四家供应商的检测率达到95%以上,分别来自斯洛伐克的ESET-NOD32,美国的Trustlook,韩国的AhnLab-V3和印度的K7GW。其中,Trustlook的最低FPR为0.12%。在TPR超过90%的八家供应商中,Fortinet的FPR最低,接近0。
测试结果对我来说有点令人惊讶。Avast,BitDefender,迈克菲和赛门铁克等知名厂商在TPR方面甚至没有进入前20名。有大约20家供应商的TPR接近0,我猜他们不提供APK扫描服务。引起我注意的是一家名为Trustlook的创业公司。我之前从未听说过这家公司,但显然基于我的测试,他们提供了出色的移动安全服务。
我还在github上传了一个包含所有测试结果的Excel文件。
https://github.com/alekswicked/VTEngines/blob/master/data/Data_Nov_2018.xlsx
在文件内部,有14个工作表,以测试日期命名。在每个工作表中,第一列是样本的MD5哈希,第二列是样本的标签,1表示正(恶意),0表示负(良性)。其他列是供应商对样本的检测结果,1表示供应商将样本检测为恶意软件。可以使用VT验证结果。例如,Ad-Aware,AhnLab-V3,Arcabit,BitDefender,CAT-QuickHeal,ESET-NOD32,Emsisoft,F-Secure,Fortinet,GData,Ikarus检测到带有MD5“8C3C107D8CB67E869D02EB73850A76A9”的工作表“20181114”上的第一个样本,K7GW,卡巴斯基,MAX,MicroWorld-eScan,Sophos,Trustlook和ZoneAlarm。如果你在VT上搜索样本,你会发现这样的东西:
它显示,该文件在2018-11-14 18:40:47 UTC扫描并由之前列出的供应商检测到。
总之,如果您需要移动安全服务,我建议您从ESET-NOD32,Trustlook,AhnLab-V3和K7GW中进行选择。
原稿:
https://medium.com/@alekswicked/do-the-most-well-known-anti-virus-vendors-make-the-best-engines-eb5c9165497f
翻译:
google translate
[培训]内核驱动高级班,冲击BAT一流互联网大厂工作,每周日13:00-18:00直播授课
最后于 2018-12-28 10:00
被CCkicker编辑
,原因: 添加图片