PCMag编辑选择和审查产品独立.如果您通过附属链接购买,我们可能获得佣金,这有助于支持我们的测试。

我们如何测试防病毒和安全软件

哪些安全产品能最好地保护你和你的电脑的安全?为了找到答案,我们对他们进行了测试。

通过尼尔·j·Rubenking

我的经验

当IBM个人电脑刚刚问世时,我在旧金山个人电脑用户组担任了三年的总统。我就是这样认识《pc杂志》的编辑团队的,他们在1986年把我带进了公司。在那次决定性的会议之后的几年里,我已经成为PCMag的安全、隐私和身份保护方面的专家,对杀毒工具、安全套件和各种安全软件进行了全方位的测试。

阅读完整的生物
(照片:invincible_bulldog /盖蒂图片社)

安装杀毒软件的意义就在于安全套件产品是为了保护您和您的数据免受大量的安全风险和烦恼。但你怎么知道它在工作呢?它不像动作感应相机。你不可能朝它挥挥手就看到它起作用了。在对这些产品进行评估时,我们从许多方面对它们的说法进行了检验。每个评审报告我们的测试结果,以及产品的实际操作经验。本文将解释这些测试是如何工作的。

当然,不是每一种测试都适用于每一种产品。许多杀毒例如,公用事业包括防止网络钓鱼,但有些没有。许多套件包含家长控制,但其他套件忽略了此功能。一些名义上独立的防病毒产品附加了防火墙保护功能。无论给定的产品提供什么功能,我们都会对其进行测试。

测试实时反病毒

每个全功能的防病毒工具都包括两个核心功能。按需扫描仪寻找并摧毁现有的恶意软件侵扰,实时监视器抵御新的攻击。只有一种方法可以确保这些保护功能有效,那就是用真实世界的恶意软件攻击它们。我们使用虚拟机进行测试,所以没有传播任何遗漏的感染的风险。

每年春天,当大多数安全供应商完成他们的年度更新周期时,我们收集一个新的恶意软件集合此测试的样本。我们从最新的恶意软件托管url提要开始,下载数千个示例,并将它们筛选到可管理的数量。

个人电脑的标志让自己在网上变得更安全其实很容易

我们使用各种手工编码工具分析每个样本。一些样本在虚拟机中运行时进行检测,并避免恶意活动;我们只是不使用这些。我们寻找各种不同的类型,以及对文件系统和Registry进行更改的示例。一旦我们将集合精简到合理的程度,我们就可以准确记录每个样本所做的系统更改。

要测试产品的恶意软件阻止能力,我们首先打开样本文件夹。一些产品的实时保护会立即生效,清除已知的恶意软件。如果需要触发实时保护,我们可以单击每个样本,或将集合复制到一个新文件夹,或从云存储下载样本——无论需要什么。我们注意到杀毒软件一看到就删除了哪些样本。

接下来,我们启动每个存活的样本,并观察反病毒程序如何处理它。我们记录检测到的总百分比,不管检测是什么时候发生的。

检测恶意软件攻击是必要的,但不是充分的;防病毒软件必须主动阻止攻击。一个小的内部程序检查系统,以确定恶意软件是否设法进行任何注册表更改或安装任何它的文件。对于可执行文件,它还检查这些进程是否正在运行。一旦测量完成,我们就关闭虚拟机。

如果一个产品阻止恶意软件样本安装所有可执行跟踪,它将获得8分、9分或10分,这取决于它防止系统被不可执行跟踪弄得混乱的程度。检测到恶意软件但未能阻止可执行组件的安装得半分,5分。最后,如果,尽管杀毒软件试图保护,但我们发现一个或多个恶意软件进程正在运行,这只值3分。所有这些分数的平均值成为产品的最终分数恶意软件防护得分。

测试Web-Level保护

消灭恶意软件的最佳时机是在它到达你的电脑之前。许多反病毒产品与您的浏览器集成,引导它们远离已知的恶意软件宿主页面。如果保护没有在那个级别发挥作用,总是有机会在下载过程中或下载后立即清除恶意软件有效载荷。

虽然我们的基本恶意软件保护测试使用同一季的同一组样本,但我们用于测试基于web的保护的恶意软件托管url每次都是不同的。我们从伦敦检测到的最新恶意url的提要中获得这些链接MRG-Effitas(在一个新窗口中打开)通常使用的url不会超过几天。

使用一个专门构建的小实用程序,我们沿着列表向下,依次启动每个URL。我们丢弃任何不指向恶意软件下载的,以及任何返回错误消息的。至于其他的,我们关注的是反病毒是否阻止访问URL,清除下载,或者无所事事。在记录结果之后,实用程序跳转到列表中不在同一域的下一个URL。我们会跳过任何大于5MB的文件,并且会跳过已经出现在相同测试中的文件。我们一直这样做,直到我们积累了几十个经过验证的恶意软件托管url的数据。

在这个测试中的分数只是反病毒阻止下载恶意软件的URL的百分比,无论是通过完全切断对URL的访问,还是通过删除下载的文件。100%的完美得分并不罕见,大多数经过测试的防病毒工具都能提供90%或更好的保护。

测试网络钓鱼检测

当你可以欺骗人们放弃他们的密码时,为什么要求助于复杂的数据窃取木马呢?这是那些创建和管理钓鱼网站的不法分子的心态。这些欺诈网站模仿银行和其他敏感网站。如果你输入你的登录凭证,你就送出了这个王国的钥匙。网络钓鱼是平台独立的;它适用于任何支持浏览网页的操作系统。

这些虚假网站通常在创建后不久就会被列入黑名单,因此我们只使用最新的钓鱼url进行测试。我们从以钓鱼为导向的网站收集这些信息,偏爱那些被报告为欺诈但尚未得到核实的网站。最好的安全程序通过实时分析来检测这些新的假货。那些只依赖简单黑名单的人通常得分较低。

我们使用四个虚拟机进行测试,一个受测试产品保护,另一个使用Chrome、Edge和Firefox内置的钓鱼保护。一个小实用程序启动四个浏览器中的每个URL。如果其中任何一个返回错误消息,则丢弃该URL。如果生成的页面不主动尝试模仿其他站点,或者不尝试捕获用户名和密码数据,则丢弃它。对于其余部分,我们注意每个产品是否检测到欺诈。

与网络级保护测试一样,分数差别很大。有些产品可以达到100%的检测,而另一些产品甚至无法超过这三种浏览器内置的保护评分。

检测垃圾邮件过滤

如今,大多数消费者的电子邮件账户都被电子邮件提供商或运行在电子邮件服务器上的实用程序清除了垃圾邮件。事实上,普通消费者对垃圾邮件过滤的需求几乎为零。奥地利测试实验室av比较测试反垃圾邮件功能(在一个新窗口中打开)早在2016年,他就发现,就连微软Outlook一个软件也能拦截近90%的垃圾邮件,而且大多数套件都做得更好,其中一些要好得多。但该实验室尚未公布另一项此类测试。根据其中一位负责人的说法,“终端消费者使用像Gmail这样的托管邮件解决方案,因此不再需要垃圾邮件过滤器。”

几年前,我们用一个真实的账户进行了自己的反垃圾邮件测试,我们对这个账户进行了精心调整,使其既能接收大量垃圾邮件,也能接收大量有效电子邮件。为了测试垃圾邮件过滤器,我们将下载数千条消息,并手动检查是否有垃圾邮件进入Inbox,或者更糟糕的是,有效邮件被标记为垃圾邮件。这个测试比我们的任何其他实际操作测试都要花费更多的时间和精力。在最不重要的功能上花费最大的努力不再有意义。

关于套件的垃圾邮件过滤器,还有一些重要的地方需要报告。它支持什么电子邮件客户端?您可以在不受支持的客户机上使用它吗?它是否仅限于POP3电子邮件帐户,或者它也处理IMAP, Exchange,甚至基于web的电子邮件?目前,我们仔细考虑了每个套件的反垃圾邮件功能,但下载和分析数千封电子邮件的时间更长了

测试安全套件性能

当您的安全套件忙于监视恶意软件攻击、防御网络入侵、防止浏览器访问危险网站等时,它显然正在使用系统的一些CPU和其他资源来完成其工作。许多年前,安全套件因占用大量系统资源而名不虚实,以至于影响了您自己的计算机使用。如果用户因为性能拖累而关闭保护,那就不是一种保护。安全公司对他们的产品进行了改造,所以你几乎看不到明显的减速。我们仍然运行一些简单的测试,以深入了解每个套件对系统性能的影响。

安全软件需要在启动过程中尽可能早地加载,以免它发现恶意软件已经在控制中。但用户不希望在重启后再等太久才开始使用Windows。我们的测试脚本在引导后立即运行,并开始要求Windows每秒报告一次CPU使用水平。在CPU使用率不超过5%的情况下连续运行10秒后,它就宣布系统可以使用了。减去启动过程的开始时间(如Windows报告的那样),我们就知道启动过程花了多长时间。我们多次重复此测试,并将平均值与没有套件时多次重复的平均值进行比较。

事实上,你可能每天重启不超过一次。降低日常文件操作速度的安全套件可能会对您的活动产生更有害的影响。为了检查这种减速,我们对一个脚本进行计时,该脚本在驱动器之间移动和复制大量从大到大的文件集合。将没有套件的几次运行和激活安全套件的几次运行进行平均,我们可以确定套件对这些文件活动的影响有多大。类似的脚本会对压缩和解压缩同一文件集合的脚本的效果进行度量。

仍然有一些套件会明显减缓一个或多个测试,但它们的数量正在减少。在另一端,我们发现了几个实例,在这些实例中,安装套件后测试运行得更快了。

测试防火墙保护

典型的个人防火墙有两个作用,保护计算机免受外部攻击,并确保程序不会滥用网络连接。为了测试对攻击的保护,我们使用一台通过路由器的DMZ端口连接的物理计算机。这就产生了计算机直接连接到互联网的效果。这对测试很重要,因为通过路由器连接的计算机对整个互联网来说是隐形的。我们用端口扫描和其他基于web的测试冲击测试系统。在大多数情况下,我们发现防火墙完全隐藏测试系统不受这些攻击,将所有端口置于隐身模式。内置的Windows防火墙处理隐藏所有端口的问题,因此这个测试只是一个基线。

最早的个人防火墙程序控制是交互式的。每当一个未知程序试图访问网络时,防火墙就会弹出一个查询,询问用户是允许还是阻止访问。这种方法不是很有效,因为用户通常不知道什么操作是正确的。大多数人会允许一切。另一些人每次都会点击“阻止”,直到他们破坏了一些重要的程序;在那之后,他们什么都允许。

套件防火墙提供这种详细的程序控制,而不将其设为默认,这种做法越来越普遍。对于这些产品,我们在测试前打开它。此外,许多防火墙都预先配置了对已知程序的访问权限。为了亲自检查程序控制功能,我们使用了一个肯定是未知的应用程序——一个内部编码的、在其他任何地方都不存在的小型浏览器实用程序。

另一方面,最好的防火墙会自动为已知的好程序配置网络权限,消除已知的坏程序,并加强对未知程序的监视。只有当一个未知程序试图连接一个可疑的连接时,防火墙才会启动阻止它。这不是我们可以测试的东西,因为我们不编写恶意软件,但我们可以在恶意软件保护测试中观察到这种功能。

软件不是也不可能是完美的,所以坏人努力在流行的操作系统、浏览器和应用程序中寻找安全漏洞。他们利用发现的任何漏洞设计漏洞来破坏系统安全。自然,被利用的产品的制造商会尽快发布安全补丁,但在您应用该补丁之前,您是很容易受到攻击的。

最聪明的防火墙在网络级别拦截这些利用攻击,所以它们甚至不会到达您的计算机。即使是那些没有在网络级别进行扫描的软件,在很多情况下,反病毒组件也会清除恶意软件的有效载荷。我们使用核心的影响(在一个新窗口中打开)渗透工具,打击每个测试系统约30个最近的漏洞,并记录安全产品如何很好地抵御它们。

最后,我们运行一个完整性检查,看看恶意软件编码器是否可以轻松地禁用安全保护。我们在注册表中寻找一个开/关开关,并测试它是否可以用来关闭保护(尽管我们已经很多年没有发现容易受到这种攻击的产品了)。我们尝试使用任务管理器和第三方任务杀死器实用程序终止安全进程。我们还检查是否有可能停止或禁用产品的基本Windows服务。

家长控制测试

的类别家长控制和监督涵盖了各种各样的程序和功能。典型的家长控制工具可以让孩子远离讨厌的网站,监控他们的互联网使用情况,并让父母决定孩子每天可以使用互联网的时间和时间。其他功能还包括限制聊天联系人,检查Facebook帖子中的危险话题。

我们总是执行一个健全的检查,以确保内容过滤器正确地阻止不适当的网站。事实证明,找到色情网站进行测试是件轻而易举的事。几乎任何由尺寸形容词和通常覆盖的身体部位的名称组成的URL都已经是色情网站了。很少有产品不能通过这个测试。

我们使用一个很小的内部浏览器实用程序来验证内容过滤是否与浏览器无关。我们发出一个三个字的网络命令(不,我们不在这里发布它)来禁用一些简单的内容过滤器。然后我们检查是否可以通过使用一个安全的匿名代理网站来破解过滤器。

对孩子使用电脑或互联网的时间进行限制,只有在孩子不能干扰时间的情况下才有效。我们验证时间调度特性是否有效,然后尝试通过重置系统日期和时间来阻止它。最好的产beplay体育赞助品不依赖于系统时钟来确定它们的日期和时间。

在此之后,测试程序声称具有的功能就很简单了。如果它承诺能够阻止特定程序的使用,我们就使用该特性,并试图通过移动、复制或重命名程序来打破它。如果它说它会从电子邮件或即时消息中删除不良词汇,我们就会在阻止列表中添加一个随机的单词,比如“fnord”,并验证它没有被发送出去。如果它声称可以限制即时通讯联系,我们就会在两个账户之间建立对话,然后禁止其中一个账户。无论程序承诺了怎样的控制或监控能力,我们都会尽最大努力进行测试。

解释防病毒实验室测试

我们没有资源进行全球独立实验室进行的那种详尽的反病毒测试,所以我们密切关注他们的发现。我们跟随四个实验室定期发布评分测试结果,使用他们的结果来帮助我们的评审。beplay手机官网下载

总部设在德国马格德堡AV-Test研究所(在一个新窗口中打开)持续将防病毒程序通过各种测试。我们关注的是一个由三部分组成的测试,在三个类别中每一个都奖励6分:保护、性能和可用性。beplay3体育app手机版要获得认证,产品必须总共获得10分,并且在任何类别中不得有零分。beplay3体育app手机版最好的产品在这次测beplay体育赞助试中得到了满分18分。

为了测试保护性能,研究人员将每种产品暴露在AV-Test的超过10万个样本的参考集中,以及数千个非常广泛的样本中。产品可以在任何阶段阻止恶意软件的入侵,无论是阻止对恶意软件宿主URL的访问,使用签名检测恶意软件,还是阻止恶意软件运行。在这种测beplay体育赞助试中,最好的产品往往能达到100%的成功率。

性能是很重要的——如果防病毒软件明显拖慢了系统性能,一些用户就会关闭它。AV-Test的研究人员测量了在有和没有安全产品的情况下执行十几种常见系统操作所需的时间差异。这些操作包括从因特网下载文件,在本地或跨网络复制文件,以及运行常用程序。平均多次运行,他们可以确定每个产品的影响有多大。

可用性测试并不一定是你所想的那样。它与易用性或用户界面设计无关。相反,它衡量的是当反病毒程序错误地将合法程序或网站标记为恶意或可疑时发生的可用性问题。研究人员积极安装和运行一个不断变化的流行程序集合,注意到任何奇怪的反病毒行为。一个单独的扫描测试检查,以确保反病毒软件不会识别任何超过60万个合法文件为恶意软件。

我们跟踪了其中三项测试的结果AV-Comparatives(在一个新窗口中打开)该学院总部位于奥地利,与因斯布鲁克大学(University of Innsbruck)密切合作。通过测试的安全工具将获得标准认证;那些不合格的仅仅被指定为测试。如果一个项目超过了必要的最低要求,它可以获得高级或高级+认证。

这个实验室的文件检测测试是一个简单的静态测试,它针对大约10万个恶意软件样本检查每种杀毒软件。平行的假阳性测试确保了准确性——太多的假阳性会影响节目的评分。性能测试与AV-Test非常相似,它度量对系统性能的任何影响。我们认为动态全产品测试是最重要的。该测试旨在尽可能接近真实用户的体验,让安全产品的所有组件都参与到对抗恶意软件中来。

AV-Test和av - comparison通常包括几十种产品进行测试,SE实验室(在一个新窗口中打开)一般报告不超过10份。这在很大程度上是因为这个实验室测试的性质。研究人员捕获现实世界的恶意软件托管网站,并使用重放技术,使每个产品遭遇完全相同的驱动下载或其他基于web的攻击。这是非常现实的,但艰巨的。

一个完全阻止其中一种攻击的程序可以得3分。如果它在攻击开始后立即行动,但成功删除了所有可执行的痕迹,这值得两分。如果它只是终止了攻击,而没有完全清除,它仍然得到1分。在不幸的情况下,恶意软件在测试系统上自由运行,被测试的产品失去了5分。正因为如此,一些产品(特别是早期版本的Windows Defender)得到了低于零分的分数。

在一个单独的测试中,研究人员评估每个产品在防止将有效软件错误识别为恶意软件方面的表现,根据每个有效程序的流行程度对结果进行加权,并评估假阳性识别会产生多大的影响。他们将这两项测试的结果结合在一起,并在以下五个级别之一对成功的产品进行认证:AAA、AA、A、B和C。

如上所述,我们使用由MRG-Effitas提供的样本提要进行恶意URL拦截测试。我们还关注实验室进行的两项测试的季度结果。360评估和认证测试模拟了对当前恶意软件的现实世界保护,很像av - comparations使用的动态现实世界测试。一个产品完全防止任何感染的样本集获得一级认证。第2级认证意味着至少有一些恶意软件样本在测试系统中植入了文件或其他痕迹,但这些痕迹后来被消除了。任何没有达到这些标准的产品都会失败。网上银行认证非常专门地测试对金融恶意软件和僵尸网络的保护,基于类似的通过/不通过的基础。

要得出实验室结果的总体总结并不容易,因为实验室并不都测试同一组程序,而且它们都使用不同的评分系统。我们设计了一个算法,将每个实验室的分数标准化为0到10的值。我们的综合实验室结果图表报告了这些分数的平均值,以及实验室测试的数量。根据所有四个实验室的结果,最好的结果是满分10分。如果只有一个实验室在测试中包含一种产品,我们认为这是一个综合评分的不足信息。

您可能已经注意到,这个测试方法列表不包括虚拟专用网络,或者vpn.测试VPN与测试安全套件的任何其他部分非常不同,因此我们提供了一个单独的解释我们如何测试VPN服务

SecurityWatch<\/strong> newsletter for our top privacy and security stories delivered right to your inbox.","first_published_at":"2021-09-30T21:22:09.000000Z","published_at":"2022-03-24T14:57:33.000000Z","last_published_at":"2022-03-24T14:57:28.000000Z","created_at":null,"updated_at":"2022-03-24T14:57:33.000000Z"})" x-show="showEmailSignUp()" class="rounded bg-gray-lightest text-center md:px-32 md:py-8 p-4 mt-8 container-xs">

比如你在读什么?

报名参加SecurityWatch我们的顶级隐私和安全故事的通讯,直接发送到您的收件箱。

本通讯可能包含广告、交易或附属链接。订阅通讯表明您同意我们的使用条款而且隐私政策.您可以随时取消订阅通讯。beplay体育苹果下载


感谢您的报名!

您的订阅已被确认。留意你的收件箱!

注册其他通讯beplay体育苹果下载

你会喜欢的PCMag故事

关于尼尔·j·鲁本金

首席保安分析师

当IBM个人电脑刚刚问世时,我在旧金山个人电脑用户组担任了三年的总统。我就是这样认识《pc杂志》的编辑团队的,他们在1986年把我带进了公司。在那次决定性的会议之后的几年里,我已经成为PCMag的安全、隐私和身份保护方面的专家,对杀毒工具、安全套件和各种安全软件进行了全方位的测试。

在我从事目前的安全工作之前,我在“用户对用户”和“问尼尔”专栏中为PCMag读者提供使用流行应用程序、操作系统和编程语言的技巧和解决方案,该专栏从1990年开始,持续了近20年。在此过程中,我写了40多篇实用工具文章,以及《Delphi Programming for Dummies》和其他六本书,内容涉及DOS、Windows和编程。我还评论了数以千计的产品,从早期的Sierra Online冒险游戏到AOL的前身Q-Link。

在21世纪初,我把注意力转向了安全和不断增长的反病毒行业。在从事反病毒工作多年后,我在整个安全行业都被认为是评估反病毒工具的专家。我是反恶意软件测试标准组织(AMTSO)的顾问委员会成员,这是一个国际非营利组织,致力于协调和改进反恶意软件解决方案的测试。

读尼尔·J。完整的生物

阅读尼尔·j·鲁本金的最新报道

Baidu
map