Сравнительное тестирование антивирусов на качество сканирования (часть I)

Сергей Ильин

В статье приводится анализ результатов сравнительного теста 58 антивирусов на качество проверки, среди них: BitDefender Anti-Virus, CA E-Trust, ClamWin, Dr. Web, Eset Nod32, FRISK F-Prot Anti-Virus, F-Secure Anti-Virus, Grisoft AVG, H+BEDV AntiVir, Kaspersky Anti-Virus Personal, McAfee VirusScan, Norman Anti-Virus, Norton Anti-Virus, Panda Platinum, Panda Titanium Anti-Virus, RAV Anti-Virus, Sophos Sweep, Symantec Anti-Virus Corporate, Trend Micro PC-Cillin и UNA Anti-Virus.

Главная характеристика любой антивирусной программы, то для чего она покупается, - качество защиты компьютера от вредоносного кода. Все остальные параметры по определению отходят на второй план, с этим, я уверен, никто спорить не будет. Необходимо, чтобы данные были надежно защищены антивирусом от любого известного вируса, червя, трояна и т.д.

Понятно, что все антивирусы обеспечивают защиту по-разному, кто-то справляется со своей задачей лучше, кто-то - увы, хуже. Как же понять, какой антивирус превосходит по возможностям обнаружения вредоносного кода? Для этого обратимся к результатам последнего теста, проведенного Энтони Петракисем (Antony Petrakis, www.virus.gr) в апреле 2005 года.

Суть теста: в каждом тестируемом антивирусе запускалась задача сканирования по требованию каталога с огромным количеством вирусных экземпляров (detection rate test).

Тест проводится на машине Intel Pentium 4 2600Mhz, 512MB DDRAM с установленной Microsoft Windows XP Professional SP1.

Тестовая база вирусов насчитывала 91202 вируса (коллекция VS2000, сформированная совместно антивирусными компаниями Kaspersky, F-Prot, RAV, Nod32, Dr.Web, Sweep, BitDefender и McAfee). Вирусы в коллекции не повторяются и не имеют уникальные имена согласно антивирусной программе AT LEAST 1.

Все вирусные экземпляры были распакованы (не было файлов zip, rar, ace и т.д.) и имеют корректные расширения файлов согласно специальной программе Renexts и были уникальны контрольной сумме (checksum32).

Файлы вирусных экземпляров для тестирования были следующих типов:

BAT, BIN, CLA, CLASS, CLS, COM, CSC, DAT, DOC, ELF, EML, EXE, HLP, HQX, HTA, HTM, IMG, INF, INI, JS, MAC, MDB, MSG, OLE, PHP, PIF, PL, PPT, PRC, REG, SCR, SH, SHS, SMM, STI, TD0, TPU, VBA, VBS, WBT, XLS, XMI, XML.

Вирусные экземпляры из коллекции были распределены по следующим категориям:

File = BeOS, FreeBSD, Linux, Palm, OS2, Unix, BinaryImage, BAS viruses, MenuetOS viruses.
MS-DOS = MS-DOS and HLL*. viruses
Windows = Win.*.* viruses
Macro = Macro and Formula viruses
Malware = Adware, DoS, Constructors, Exploit, Flooders, Nukers, Sniffers, Spoofers, Virus Construction Tools, Virus Tools, Droppers, PolyEngines
Script = BAT, Corel, HTML, Java, Scripts, VBS, WBS, Worms, PHP, Perl viruses
Trojans = Trojan and Backdoor viruses

Все тестируемые программы на момент тестирования имели актуальные версии с обновленными базами данных и максимальными настройками сканирования (включенная эвристика, полное сканирование и т.д.). Настройки по умолчания не использовались, по причине того, что они не обеспечивают максимально возможное качество обнаружения вирусов.

Однако стоит оговориться, что активация максимального уровня защиты могла привести к некоторым "ложным срабатываниям", благодаря чему результаты работы некоторых антивирусов потенциально могут быть искажены в лучшую сторону.

Всего тестировалось 58 различных антивирусов, большая часть из которых мало известна широкой аудитории, поэтому в данной статье результаты по ним будут опущены.

Результаты сравнительного тестирования

Отобранные 26 антивирусов показали следующие результаты по обнаружению вредоносных программ:

Kaspersky Anti-Virus Personal Pro version 5.0.20 - 99.28%
F-Secure Anti-Virus 2005 version 5.10.450 - 97.55%
eScan Virus Control version 2.6.518.8 - 96.75%
Symantec Anti-Virus Corporate version 9.0.3.1000 - 91.64%
Norton Anti-Virus version 2005 - 91.57%
McAfee VirusScan version 9.0.10 - 89.75%
BitDefender Anti-Virus version 8.0.137 - 88.13%
Panda Platinum 2005 Internet Security version 9.01.02 - 87.75%
RAV Anti-Virus (куплен Microsoft) version 8.6.105 - 87.26%
FRISK F-Prot Anti-Virus version 3.16b - 87.07%
Panda Titanium Anti-Virus version 4.01.02 - 86.27%
Trend Micro PC-Cillin 2005 version 12.1.1034 - 85.98%
Eset Nod32 version 2.12.4 - 85.66%
Authentium Command version 4.92.7 - 84.92%
H+BEDV AntiVir version 6.30.00.17 - 84.50%
Alwil avast! version 4.6.623 - 79.65%
Dr. Web version 4.32b - 78.71%
Sophos Sweep version 3.91 - 73.79%
UNA Anti-Virus version 1.83 - 73.49%
Norman Anti-Virus version 5.80.05 - 65.32%
Grisoft AVG version 7.0.308 - 54.07%
Computer Associates E-Trust Antivirus version 7.0.5.3 - 52.35%
ZoneAlarm (VET Antivirus) version 5.5.062.011 - 52.32%
VirusBuster 2005 version 5.0.147 - 51.51%
ClamWin version 0.83 - 48.44%
AhnLab V3 Pro 2004 - 38.87%

В следующей таблице представлены подробные результаты тестирования с разбивкой по категориям в вирусной коллекции. Для каждой категории вирусов в заголовке таблицы в скобках указано количество экзепляров, в ячейках - количество детектированных вирусов и их процент от общего количества.

Результаты тестирования с разбивкой по категориям

Антивирус	File (234)	MS-DOS (35504)	Windows (2674)	Macro (6294)	Malware (5700)	Script (8086)	Trojans (32710)	Всего (91202)
Kaspersky Anti-Virus Personal	192 82.05%	35443 99.83%	2643 98.84%	6283 99.83%	5519 96.82%	8025 99.25%	32439 99.17%	90544 99.28%
F-Secure Anti-Virus	192 82.05%	35498 99.98%	2643 98.84%	6290 99.94%	3958 69.44%	8026 99.26%	32361 98.93%	88968 97.55%
eScan Virus Control	192 82.05%	34588 97.42%	2639 98.69%	6283 99.83%	3914 68.67%	8001 98.95%	32503 99.37%	88120 96.62%
Symantec Anti-Virus Corporate	192 82.05%	33830 95.29%	2614 97.76%	6150 97.71%	3952 69.33%	7848 97.06%	28993 88.64%	83579 91.64%
Norton Anti-Virus	192 82.05%	33818 95.25%	2595 97.05%	6175 98.11%	3981 69.84%	7772 96.12%	28982 88.60%	83515 91.57%
McAfee VirusScan	228 97.44%	35261 99.32%	2622 98.06%	6276 99.71%	2771 48.61%	7946 98.27%	26748 81.77%	81852 89.75%
BitDefender Anti-Virus	149 63.68%	33987 95.73%	2397 89.64%	6087 96.71%	3081 54.05%	7376 91.22%	27303 83.47%	80380 88.13%
Panda Platinum	186 79.49%	32770 92.30%	2032 75.99%	6198 98.47%	3896 68.35%	7069 87.42%	27877 85.22%	80028 87.75%
RAV Anti-Virus	197 84.19%	34761 97.91%	2488 93.04%	6146 97.65%	2822 49.51%	7673 94.89%	25496 77.95%	79583 87.26%
FRISK F-Prot Anti-Virus	140 59.83%	34902 98.30%	2324 86.91%	6208 98.63%	2681 47.04%	7301 90.29%	25853 79.04%	79409 87.07%
Panda Titanium Anti-Virus	186 79.49%	32765 92.29%	1745 65.26%	6196 98.44%	3906 68.53%	7003 86.61%	26876 82.16%	78677 86.27%
Trend Micro PC-Cillin	144 61.54%	32854 92.54%	2157 80.67%	6163 97.92%	3025 53.07%	7131 88.19%	26940 82.36%	78414 85.98%
Eset Nod32	121 51.71%	32274 90.90%	2319 86.72%	6160 97.87%	2856 50.11%	7163 88.59%	27235 83.26%	78128 85.66%
Authentium Command	171 73.08%	34895 98.28%	2302 86.09%	6183 98.24%	2594 45.51%	7021 86.83%	24282 74.23%	77448 84.92%
H+BEDV AntiVir	142 60.68%	32530 91.62%	1966 73.52%	6154 97.78%	3064 53.75%	6958 86.05%	26251 80.25%	77065 84.50%
Alwil avast!	88 37.61%	32801 92.39%	2285 85.45%	5930 94.22%	2823 49.53%	5594 69.18%	23120 70.68%	72641 79.65%
Dr. Web	130 55.56%	31564 88.90%	2145 80.22%	6220 98.82%	2209 38.75%	5257 65.01%	24260 74.17%	71785 78.71%
Sophos Sweep	178 76.07%	31132 87.69%	2142 80.10%	6064 96.35%	1947 34.16%	6155 76.12%	19680 60.17%	67298 73.79%
UNA Anti-Virus	79 33.76%	28138 79.25%	1991 74.46%	4781 75.96%	3623 63.56%	5561 68.77%	22854 69.87%	67027 73.49%
Norman Anti-Virus	87 37.18%	28352 79.86%	1785 66.75%	5857 93.06%	643 11.28%	5231 64.69%	17617 53.86%	59572 65.32%
Grisoft AVG	44 18.80%	30081 84.73%	2059 77.00%	6118 97.20%	426 7.47%	6030 74.57%	4558 13.93%	49316 54.07%
CA E-Trust Antivirus	128 54.70%	25406 71.56%	1941 72.59%	6129 97.38%	371 6.51%	4751 58.76%	9016 27.56%	47742 52.35%
ZoneAlarm	128 54.70%	25405 71.56%	1941 72.59%	6129 97.38%	375 6.58%	4741 58.63%	9002 27.52%	47721 52.32%
VirusBuster	103 44.02%	19821 55.83%	2138 79.96%	5999 95.31%	661 11.60%	6262 77.44%	11994 36.67%	46978 51.51%
ClamWin	124 52.99%	24812 69.89%	1318 49.29%	1874 29.77%	1651 28.96%	4357 53.88%	10045 30.71%	44181 48.44%
AhnLab V3 Pro	29 12.39%	17705 49.87%	840 31.41%	5442 86.46%	524 9.19%	3559 44.01%	7355 22.49%	35454 38.87%

- таблица составлена по результатам теста, проведенного Энтони Петракисем (Antony Petrakis, www.virus.gr).

Выводы

Первое место в данном сравнительном тестировании по праву занял Антивирус Касперского, итоговые 99.28% обнаруженных вирусов заслуживают оценки отлично. Немного подкачало детектирование макро-вирусов - 82.05% - это третий результат, лучшего сумели добиться McAfee VirusScan и RAV Anti-Virus.

Кроме того, F-Secure Anti-Virus и eScan Virus Control (второе и третье место соответственно) также используют антивирусный движок от Лаборатории Касперского по OEM соглашению. Небольшие различия в показателях детектирования не должны смущать, так как они являются следствием определенных настроек движка.

Следом за "тройкой от Лаборатории Касперского" расположились два продукта Symantec, чьи результаты детектирования незначительно отличаются друг от друга - чуть больше 91%.

Последним участником лидирующей тройки по качеству детектирования среди производителей стал McAfee, немного провалившись на категории malware, и менее чем на 2% отстав от своего главное конкурента в лице Symantec.

Далее чуть позади, довольно плотной группой, расположились BitDefender Anti-Virus, Panda Platinum, RAV Anti-Virus, FRISK F-Prot Anti-Virus, Panda Titanium Anti-Virus, Trend Micro PC-Cillin 2005, Eset Nod32, Authentium Command и H+BEDV AntiVir, чьи результаты лежат в интервале от 88% до 84%. При этом вся группа, за исключением может быть продуктов Panda Software, провалилась на категории malware. Во всех остальных категориях результаты оказались более менее близкие.

Второй российский представитель антивирусной индустрии - антивирус Доктор Веб показал себя крепким середнячком, уступив, например, H+BEDV AntiVir и Alwil avast!, результат - 78.71% (провал на категории malware).

Немного хуже показал результаты Украинский Национальный Антивирус UNA Anti-Virus, который лишь немного проиграл Доктору Вебу, показав себя лучше на категории malware, но "просев" на макро-вирусах.

Нижнюю часть таблицы, пожалуй, нет смысла комментировать подробно. Стоит только акцентировать внимание на довольно слабых результатах движка от Computer Associates: CA E-Trust и ZoneAlarm. Для последнего это особенно неприятно, ведь этот продукт очень популярен благодаря мощному firewall, и компании Check Point было не плохо дополнить его качественным антивирусом, но пока - увы, лишь 52% обнаруженных вирусов из тестовой коллекции.

Ссылки по теме