Результаты теста проактивной антивирусной защиты (март 2009)

Источник: anti-malware

На проактивных методах антивирусной защиты, которые позволяют антивирусу противостоять еще неизвестным видам и модификациям вредоносных программ, продолжают фокусироваться серьезные усилия всей антивирусной индустрии. Данное направление развития является наиболее перспективным на рынке, и почти каждый производитель пытается подчеркнуть, что именно его проактивная защита лучшая.

Сразу оговоримся, что проактивные технологии - довольно обширное понятие, включающее в себя множество направлений и составляющих, охватить их все в рамках одного теста не представляется возможным. В этом тесте мы будем сравнивать только эвристические компоненты антивирусной защиты (эвристики + generic-детект, т.е. расширенные сигнатуры), не принимая во внимание анализ системных событий (поведенческие блокираторы, HIPS).

Результаты этого теста дают возможность ответить на вопросы: "Насколько эффективна эвристика? В каком антивирусе этот компонент защиты работает лучше?"

В качестве приложения к тесту производилось финальное измерение уровня детектирования на собранной коллекции на обновленных антивирусах через неделю после завершения основного теста. В результате фиксировалось качество обнаружения новых вирусов, а также эффективность работы классических сигнатурных методов каждого антивируса в дополнение к эвристике.

Основные результаты тестирования (детектирование - ложные срабатывания)

Gold Proactive Protection Award	Kaspersky Anti-Virus 2009 (61% - 0.01%) Eset Nod32 Anti-Virus 3.0 (61% - 0.02%) BitDefender Antivirus 2009 (60% - 0.04%)
Silver Proactive Protection Award	Avira AntiVir Premium 8.2 (71% - 0.13%) Dr.Web 5.0 (61% - 0.2%) AVG Anti-Virus 8.0 (58% - 0.02%) Avast! Professional Edition 4.8 (53% - 0.03%) Norton Anti-Virus 2009 (52% - 0%) VBA32 Antivirus 3.12 (45% - 0.07%) F-Secure Anti-Virus 2009 (44% - 0.03%)
Bronze Proactive Protection Award	Panda Antivirus 2009 (38% - 0.02%) Trend Micro Internet Security 2009 (37% - 0.04%) Agnitum Outpost Anti-Virus Pro 2009 (33% - 0.07%)
Тест провален	Sophos Anti-Virus 7.0 (61% - 2.24%)

Введение

В тестировании эффективности проактивной антивирусной защиты принимали участие 14 наиболее популярных антивирусных программ, среди которых:

Agnitum Outpost Antivirus Pro 2009
Avast! Professional Edition 4.8
AVG Anti-Virus 8.0
Avira AntiVir Premium 8.2
BitDefender Antivirus 2009
Dr.Web 5.0
Eset Nod32 Anti-Virus 3.0
F-Secure Anti-Virus 2009
Kaspersky Anti-Virus 2009
Panda Antivirus 2009
Sophos Anti-Virus 7.6
Symantec Anti-Virus 2009
Trend Micro Internet Security 2009
VBA32 Antivirus 3.12

Тест антивирусов проводился под операционной системой Windows XP SP3 в период с 3 декабря 2008 года по 18 января 2009 года четко в соответствии с определенной методологией, по которой создавались специальные условия для проверки эффективности работы эвристиков (для этого у всех антивирусов отключалась функция обновления, т.е. происходило замораживание антивирусных баз данных на дату начала теста).

Для проведения теста во время заморозки антивирусных баз была собрана коллекция из 5166 уникальных самплов новейших вредоносных программ и коллекция из 15121 чистого файла.

Измерение эффективности проактивной антивирусной защиты

На рисунке 1 и в таблице 1 представлены результаты обнаружения неизвестных вредоносных программ различными антивирусами и их уровень ложных срабатываний, как обратная сторона любой проактивной технологии.

Рисунок 1: Результаты теста эффективности эвристиков

Таблица 1: Результаты теста эффективности эвристиков

Антивирус	Процент обнаруженных вирусов	Процент ложных срабатываний
Avira	71,0%	0,13%
Sophos	61,7%	2,24%
DrWeb	61,0%	0,20%
Kaspersky	60,6%	0,01%
Eset	60,5%	0,02%
BitDefender	60,1%	0,04%
AVG	58,1%	0,02%
Avast	53,3%	0,03%
Norton	51,5%	0%
VBA32	44,9%	0,07%
F-Secure	43,5%	0,04%
Panda Security	37,9%	0,02%
Trend Micro	37,2%	0,04%
Agnitum	33,4%	0,07%

Важно! В отличие от предыдущего теста мы изменили систему итоговой оценки результатов, установив пороги максимального уровня ложных срабатываний для каждой награды. Таким образом, для получения высоких наград стало необходимо не только показать высокий уровень детектирования, но и минимальный уровень ложных срабатываний.

Абсолютным лидером по эффективности эвристического компонента защиты является Avira AntiVir Premium, чей уровень детектирования неизвестных вредоносных программ оказался очень высоким - 71%. Однако повышенный уровень ложных срабатываний позволил этому продукты получить только лишь награду Silver Proactive Protection Award.

Такая же участь постигла антивирус DrWeb, чья новая версия 5.0 показала очень высокий результат детектирования в 61% ровно, но повышенный уровень ложных срабатываний позволил ему получить только награду Silver Proactive Protection Award.

Главный разочарованием теста стал Sophos Anti-Virus, показавший впечатляющий уровень проактивного детектирования более 61% ценой чудовищного количества ложных срабатываний 2.24%. Увы, но такой результат перечеркивает все шансы этого антивируса не только на золото, но и вообще на какую-либо награду.

Лучшие результаты по балансу проактивного детектирования и ложных срабатываний показала тройка Kaspersky Anti-Virus, Eset Nod32 Anti-Virus и BitDefender Antivirus. Их результаты оказались проактически идентичны - уровень эвристического детектирования 60% и уровень ложных срабатываний 0.01-0.04%. Согласно используемой схеме награждения эти антивирусы получили награду Gold Proactive Protection Award.

Высокую эффективность эвристического компонента защиты показала большая группа антивирусов, получившая награду Silver Proactive Protection Award. В нее помимо уже перечисленных выше продуктов вошли AVG Anti-Virus, Avast! Professional Edition, Norton Anti-Virus, VBA32 Antivirus и F-Secure Anti-Virus. Нужно отметить, что Norton Anti-Virus оказался единственным из тестируемых антивирусов показавшим нулевой уровень ложных срабатываний!

Еще 3 продукта: Panda Antivirus, Trend Micro Internet Security и Agnitum Outpost Anti-Virus Pro, показали удовлетворительный результат и получили награду Bronze Proactive Protection Award.

Итоговые результаты тестирования и награды

Gold Proactive Protection Award	Kaspersky Anti-Virus 2009 (61% - 0.01%) Eset Nod32 Anti-Virus 3.0 (61% - 0.02%) BitDefender Antivirus 2009 (60% - 0.04%)
Silver Proactive Protection Award	Avira AntiVir Premium 8.2 (71% - 0.13%) Dr.Web 5.0 (61% - 0.2%) AVG Anti-Virus 8.0 (58% - 0.02%) Avast! Professional Edition 4.8 (53% - 0.03%) Norton Anti-Virus 2009 (52% - 0%) VBA32 Antivirus 3.12 (45% - 0.07%) F-Secure Anti-Virus 2009 (44% - 0.03%)
Bronze Proactive Protection Award	Panda Antivirus 2009 (38% - 0.02%) Trend Micro Internet Security 2009 (37% - 0.04%) Agnitum Outpost Anti-Virus Pro 2009 (33% - 0.07%)
Тест провален	Sophos Anti-Virus 7.0 (61% - 2.24%)

Изменение эффективности эвристики в ходе теста

Так как в соответствии с методологией в тесте использовалась месячная коллекция новых вредоносных программ (собранная с 18 декабря 2008 года по 18 января 2009 года), стало возможным проверить, как изменяется эффективность работы различных эвристиков во времени. Для этого коллекция была разбита по времени поступления образцов на 4 равные части, по неделе на каждую.

Таким образом, на рисунке 2 и в таблице 2 представлены данные по эффективности работы эвристиков на недельных коллекциях.

Рисунок 2: Результаты теста эффективности эвристиков (разбивка по неделям)

Таблица 2: Результаты теста эффективности эвристиков (разбивка по неделям)

Антивирус	Процент обнаруженных вирусов
Антивирус	Неделя 1	Неделя 2	Неделя 3	Неделя 4
Avira	95,4%	66,4%	54,4%	65,2%
Sophos	80,0%	57,7%	47,4%	58,7%
DrWeb	91,0%	49,6%	32,9%	61,9%
Kaspersky	89,8%	35,6%	44,2%	66,1%
Eset	89,0%	53,1%	37,4%	56,9%
BitDefender	95,8%	51,8%	35,7%	52,6%
AVG	95,8%	34,6%	31,6%	61,2%
Avast	93,3%	35,7%	24,6%	51,9%
Norton	83,7%	39,5%	28,7%	48,4%
VBA32	80,4%	20,8%	23,9%	47,5%
F-Secure	85,9%	18,5%	14,3%	45,7%
Panda Security	44,0%	39,9%	42,7%	29,2%
Trend Micro	64,0%	29,9%	18,3%	32,8%
Agnitum	51,2%	33,0%	15,5%	29,8%

Как видно из таблицы 2, практически у всех антивирусов резко падает эффективность уже на 2-й и 3-й недельной коллекции. Исключение здесь составляют разве что аутсайдеры теста, у которых уровень обнаружения всегда одинаково низок.

Сигнатуры или эвристика?

В качестве приложения к тесту производилось финальное измерение уровня детектирования на собранной коллекции на обновленных антивирусах через неделю после завершения основного теста (25 января 2009). В результате фиксировалась эффективность работы классических сигнатурных методов каждого антивируса в дополнение к эвристике. Это позволило увидеть, какую роль в обеспечении общего уровня детектирования антивирусов играет той или иной компонент (см. рисунок 3).

Рисунок 3: Влияние различных компонент антивирусной защиты на общий уровень обнаружения вредоносных программ

Диагональная линия на рисунке 3 означает уровень 100% детектирования новых вредоносных программ. Приблизиться к нему можно при помощи эффективной работы различных компонент антивирусных защиты или их сбалансированной работы.

Антивирусы, попавшие в темно-оранжевую (80-100%) и светло-оранжевую (60-80%) зоны, показали отличный и хороший уровень обнаружения новых вирусов (возрастом от 1 до 5 недель, см. методологию).

Большинство из них: Avira Antivir Premium, Sophos Anti-Virus, Dr.Web, Kaspersky, Eset Nod32, BitDefender Antivirus, AVG Anti-Virus, Avast Professional Edition и Norton Anti-Virus - сделали это в основном за счет вклада проактивного компонента.

Антивирусы F-Secure Anti-Virus и Panda Antivirus добились того же в основном за счет сигнатурного компонента.

Самым сбалансированным в этом отношении оказался антивирус VBA32 Anti-Virus, в котором оба компонента отработали одинаково эффективно (попали в левый нижний квадрат на рисунке 3, а общий уровень обнаружения вредоносных программ оказался отличным).

Слабыми по общему обнаружению новых вредоносных программ оказались Trend Micro Internet Security и Agnitum Outpost Anti-Virus Pro, которые оказались совершенно неэффективными против новых угроз.

Таблица 3: Качество обнаружения новых вирусов

Антивирус	% обнаруженных вирусов без обновления (4 недели)	% обнаруженных вирусов после обновления	Суммарный % обнаруженных вирусов
Avira	71,0%	27,0%	98,0%
Sophos	61,7%	27,0%	88,7%
DrWeb	61,0%	27,6%	88,6%
Kaspersky	60,6%	39,1%	99,7%
Eset	60,5%	29,6%	90,1%
BitDefender	60,1%	37,7%	97,8%
AVG	58,1%	38,7%	96,6%
Avast	53,3%	41,7%	95,1%
Norton	51,5%	39,4%	90,9%
VBA32	44,9%	37,5%	82,4%
F-Secure	43,5%	56,1%	99,6%
Panda Security	37,9%	53,9%	91,8%
Trend Micro	37,2%	21,3%	58,5%
Agnitum	33,4%	6,2%	39,6%

Рисунок 4: Качество обнаружения новых вирусов, вклад различных компонентов

Как и годом ранее лучшими по обнаружению новых вредоносных программ оказались Kaspersky Anti-Virus (99.7%), F-Secure Anti-Virus (99.6%), Avira AntiVir Premium (98%), BitDefender Antivirus (97.8%), AVG Anti-Virus (96.6%) и Avast Professional Edition (95.1%).

Анализ изменений в сравнении с предыдущими тестами

Мы решили проанализировать результаты всех наших тестов на эффективность проактивной антивирусной защиты за 2007-2009 годы. Для этого к результатам этого теста были добавлены результаты декабрьского теста за 2007 год.

Рисунок 5: Динамика изменения эффективность эвристиков

Как видно на рисунке 5 эффективность эвристических компонентов в большинстве антивирусов заметно улучшилась. Многие вендоры сделали существенные шаги по улучшению и смогли добиться очень высоких результатов. По сравнению с прошлым годом сегодня мы имеем целую плеяду вендоров с развитыми эвристическими технологиями, а это значит, что качество защиты пользователей в целом должно заметно улучшиться.

Рисунок 6: Динамика изменения качества обнаружения новых вирусов (общий детект)

Что касается общего уровня детектирования новых вредоносных программ, то здесь ситуация более стабильная. Хотя многие вендоры стараются улучшать свои показатели, состав лидеров остается неизменным.

Это связано в первую очередь с тем, что для улучшения этого показателя недостаточно лишь одной технологии, что демонстрирует относительный провал некоторые лидеров по эвристическому детект. Нужна также высокая скорость реакции вирусных лабораторий, а это пока удается очень не многим.

Василий Бердников, эксперт Anti-Malware.ru так комментирует результаты теста:

"Как видно из результатов теста, многие антивирусы имеют отличный эвристический детект (около 60%) вкупе с низким процентом ложных срабатываний (до 0.1%). Эвристик является хорошим средством для повышения общей эффективности защиты, но как видно из результатов теста у некоторых продуктов его использование сопровождается высоким уровнем ложных срабатываний. В этом плане каждый вендор сам выбирает баланс между эвристическим детектом и уровнем ложных срабатываний. Некоторые идут на сознательное увеличение уровня ложных срабатываний в угоду высоким результатам в детекте. Важно еще то, что современные эвристические технологии, как показывают результаты теста, пока не могут служить панацеей от заражения и не позволяют эффективно защищать пользователя от новейших видов угроз".

Комментарии партнеров Anti-Malware.ru

Денис Назаров, Руководитель группы эвристического детектирования "Лаборатории Касперского":

"В прошлом году окончательно стало понятно, что сигнатурные методы распознавания неэффективны для борьбы с современными угрозами. По статистике "Лаборатории Касперского" подавляющее число детектирований новых вредоносных программ на компьютерах пользователей производится динамическими и эвристическими модулями защиты. Эти методы защиты позволяют сосредоточиться именно на вредоносных действиях вирусов и троянских программ для их детектирования и не отвлекаться на вторичные признаки той или иной программы".

"В 2008 году "Лаборатория Касперского" активно занималась развитием именно проактивных методов детектирования, одним из которых и является эвристический модуль. И результаты данного теста в очередной раз подтверждают, что мы движемся в правильном направлении. Приятно видеть, что тесты Anti-Malware.ru развиваются, и что в данном тесте появилась безусловно важная для пользователей часть о ложных срабатываниях. Детектирование легальных программ как вредоносных является в наши дни серьёзным недостатком антивирусного решения. И именно такие тесты заставляют вендоров уделять проблеме особое внимание и способствуют глобальному оздоровлению индустрии в целом. Будем надеяться, что у нас и дальше получится удерживать ту высокую планку, которую мы для себя задали и в проактивном детектировании, и в минимизации ложных срабатываний. Также хочется верить, что вы и дальше будете улучшать методологию тестирования и добавите динамическое тестирование как логичное расширение тестов эвристического детектирования".

Кирилл Керценбаум, Технический Консультант представительства Symantec в России и СНГ:

"Проведение теста эвристических способностей антивирусов является полезным с точки зрения оценки, насколько эффективно продукт может противостоять новейшим образцам вредоносного ПО. Ведь ни для кого не секрет, что как бы часто не обновлялись антивирусные базы, новые образцы вирусов появляются во много раз чаще. Компания Symantec постоянно ведет большое количество разработок в части технологий эвристического и поведенческого анализа для повышения уровня детектирования, результаты данного теста являются лучшей тому демонстрацией. Однако данные разработки ведутся, в первую очередь, в ключе исключения возможных ложных срабатываний, что является даже более важным, чем высокий уровень детектирования. Показанный продуктами Norton 2009 высокий уровень эвристического определения вредоносного ПО при самом низком уровне ложных срабатываний - это хорошее тому подтверждение".

Сергей Уласень, начальник отдела разработки антивирусного ядра компании "ВирусБлокАда":

"Как и в предыдущем тестировании, комплекс VBA32 попал в категорию самых сбалансированных антивирусов, в которых сигнатурное и эвристическое детектирование отработали на хорошем уровне. При этом количество ложных срабатываний оказалось невелико. Эвристический анализатор, разрабатываемый нашими специалистами, давно зарекомендовал себя как надежное средство проактивной защиты наших пользователей, а алгоритмы поведенческой эвристики, используемые нами, отвечают современным требованиям, выставляемым к антивирусной индустрии".

Ссылки по теме