Результаты теста антивирусов на защиту от новейших (Zero-day) вредоносных программ (ноябрь 2009)

Многие проводимые в мире тестовые испытания антивирусов на качество защиты подвергались критическим замечаниям профессиональной общественности о некой их синтетичности или отрыву от реальной жизни.  Первая и основная претензия сводилась к тому, что при запуске проверки файловых коллекций тестируются только некоторые составляющие антивирусной защиты, такие как классический сигнатурный детект или эвристика. В то время как не учитывается возможный вклад других технологий, например, поведенческий анализ, HIPS или репутационные сервисы, Firewall/IDS, проверка HTTP трафика на лету и т.д.

Вторая веская причина состоит в том, что реальный пользователь не хранит и не запускает старинные вредоносные программы на своем жестком диске. К нему попадают, как правило, совсем новые самплы (Zero-day), от которых его антивирус может не защитить.

От метода проникновения также в значительной степени может зависеть эффективность, так как у некоторых антивирусов угроза заражения может быть ликвидирована еще на стадии запуска вредоносного скрипта на веб-странице, а у других - только при активации загруженного эксплойтом программы-загрузчика, у третьего еще дальше - при запуске загруженной вредоносной программы.

В данном тестировании мы изучали комплексную эффективность антивирусов по противодействию новейшим образцам вредоносных программ, передаваемых пользователям наиболее распространенным сейчас способом - через зараженные веб-сайты.

Мы собирали ссылки на зараженные сайты из различных источников. Как правило, на такие ссылки каждый из нас  натыкается в поисковиках, получает по e-mail, ICQ или другие средства интернет коммуникации, включая социальные сети.

Результаты тестирования 

Введение

В тесте участвовали 18 антивирусных программ от различных производителей:

1. Avast Antivirus Professional 4.8-1335
2. AVG Internet Security 8.5.386
3. Avira Premium Security Suite 9.0.0.377
4. BitDefender Internet Security 2009 (12.0.12)
5. Comodo Internet Security 3.9.95478.509
6. Dr.Web Security Space 5.0.1.06018
7. Eset Smart Security 4.0.437
8. F-Secure Internet Security 2009 (9.00 build 149, он же СТРИМ.Антивирус)
9. G DATA Internet Security 2010 (20.0.2)
10. Kaspersky Internet Security 2010 (9.0.0.459)
11. McAfee Internet Security Suite 13.11
12. Microsoft Security Essential 1.0.2140.0
13. Norton Internet Security 2009 (16.5.0.135)
14. Outpost Security Suite 2009 (6.5.5.2535.385.0692)
15. Panda Internet Security 2010 (15.00.00)
16. Sophos Anti-Virus 7.6.9
17. Trend Micro Internet Security 2009 (17.1.1250/8.913.1006)
18. * VBA32 Workstation 3.12.10.10

*  Антивирус VBA32 Workstation был дисквалифицирован, так как в процессе его тестирования возникли технические проблемы, продукт некорректно работал в итоге часть результатов была потеряна. 

Также в тесте участвовали две специальные программы для проактивной защиты от новейших видов угроз класса HIPS (Hosted Intrusion Prevention System):

1. DefenseWall HIPS 2.56
2. Safe'n'Sec Personal 3.5.0.490

Согласно методологии для  тестирования было отобрано 36 рабочих ссылок на новейшие вредоносные программы, на которых и проверялась эффективность защиты.

Итоговые результаты теста

Итоговые результаты сравнительного тестирования антивирусных программ и HIPS представлены ниже на рисунке и таблице 1.

Рисунок 1: Эффективность различных программ защиты против новейших угроз (Zero-day)

Таблица 1: Эффективность антивирусных программ против новейших угроз (Zero-day)

По результатам теста лучшим по эффективности защиты от новейших вредоносных программ оказался DefenseWall HIPS, сумевший предотвратить заражение в 100% случаев. Он становится единственным, получившим наивысшую награду Platinum Zero-day Protection Award.

Очень высокие результаты показали сразу три антивирусных продукта: Kaspersky Internet Security, Comodo Internet Security и Trend Micro Internet Security, которые смогли предотвратить заражение более чем в 80% случаев и получили высокую награду Gold Zero-day Protection Award. Если результат первого из них после аналогичного пилотного теста в прошлом году вполне ожидаем, то результаты двух других оказались весьма неожиданными.

Хорошую эффективность защиты от новейших вредоносных программ продемонстрировали Sophos Anti-Virus, Safe'n'Sec Personal, Avira Premium Security Suite, Norton Internet Security и Avast Antivirus Professional. Они получили награду Silver Zero-day Protection Award. Из этой группы существенный прогресс в предотвращении новейших угроз в сравнении с прошлогодним пилотным тестированием заметен у антивирусов Norton и Avast.

Чуть хуже оказались антивирусы Eset Smart Security, AVG Internet Security, Microsoft Security Essential и G-DATA Internet Security, преодолевшие барьер в 40% и получившие награду Bronze Zero-day Protection Award. Важно отметить, что новый бесплатный антивирус от Microsoft весьма неплохо дебютировал, опередив многих платных конкурентов.

Все остальные антивирусы провалили тест, среди них: F-Secure Internet Security (он же СТРИМ.Антивирус), McAfee Internet Security Suite, Outpost Security Suite, Panda Internet Security, BitDefender Internet Security и Dr.Web Security Space. Увы, эти продукты нельзя считать эффективными против новейших вредоносных программ. Результаты BitDefender и Dr. Web серьезно снизились в сравнении с прошлогодним пилотным тестированием.

Сергей Ильин, управляющий партнер Ant-Malware.ru:

"Этот полноценный динамический тест антивирусных и HIPS-программ на защиту от новейших угроз (Zero-day) наглядно показал возникший за последнее время значительный технологический разрыв между лидерами индустрии и отстающими игроками. Просто невозможно было бы увидеть этот разрыв на старых, изживших себя тестах на миллионных коллекциях старинных вредоносных программ, подавляющая часть которых давно стала историей. Они уже давно не отражали реальности и, глядя на результаты данного теста, мы это отчетливо видим.

Многокомпонентная защита, развитые проактивные и репутационные технологии - вот, что отличает действительно классные и надежные средства антивирусной защиты. Те вендоры, что вовремя осознали важность этих технологий, находятся среди лидеров данного теста или показали в нем существенный прогресс. А неудачники, как мы надеемся, сделают из его результатов надлежащие выводы, и в следующем году мы увидим общее повышение эффективности защиты".

Василий Бердников, руководитель тестовой лаборатории Anti-Malware.ru:

"На текущий момент основная масса заражений пользователя вредоносными программами происходит при веб-серфинге. Это может быть не только ссылка на инфицированный сайт, пришедшая по email, ICQ, сообщение в социальных сетях, или посещение потенциально опасных сайтов, но через вполне легитимные сайты, которые были взломаны и заражены злоумышленниками. Заражения в данном случае происходит через уязвимости браузера, его компонентов и плагинов, таких как Adobe Acrobat Reader, Flash Player и т.д.

Препятствовать заражению защитный продукт может на самых ранних этапах. В начале - при помощи блокировки сайта, находящегося в черном списке распространяющих вредоносные программы, сигнатурного или эвристического детектирования скрипта-эксплойта до его исполнения в браузере.

Далее - при помощи блокировки исполнения shell-кода в ходе работы эксплойта; обнаружение самого исполняемого файла, сохраненного эксплойтом на диск; поведенческое детектирование активности вредоносной программы, запущенной эксплойтом, которое может быть автоматическим или же интерактивным; применение технологии "песочница", когда браузер и все порождаемые им процессы запускаются в среде с ограниченным правами, что не позволяет вредоносному коду заразить систему.

Все эти технологии встречаются в тестируемых продуктах. И как показываю результаты, наиболее эффективной и надежной защитой от веб-угроз является технология sandbox (песочница), поведенческий анализ, а также совокупность других технологий детектирования атаки на ранних ее этапах".

Подробное результаты сравнительного тестирования вы можете посмотреть в полном отчете в формате Excel.

Комментарии партнеров Anti-Malware.ru

Илья Рабинович, генеральный директор и основатель SoftSphere Technologies:

"На протяжении многих лет производители средств безопасности (в основном, антивирусные компании) через средства массовой информации уверяли нас, что те программные продукты, которые они производят, действительно защищают. Результаты этого теста показывают, что многие технологии и подходы к построению защищённых сред был изначально неверными, мало кто из них обеспечивает близкий к 100% уровень безопасности. DefenseWall, построенный на новых, инновационных принципах, написанный по сути одним человеком, в первом в мире и самом важном для всех потребителей тесте на предотвращение заражения опередила всю так называемую "индустрию безопасности" с многими тысячами инженеров и менеджеров, за ними надзирающими".

Александр Гостев, руководитель глобального центра исследований и анализа угроз "Лаборатории Касперского":

"Проведенный тест представляет собой исключительную  ценность - не только для пользователей антивирусных продуктов, но и для всей антивирусной индустрии. Подобное тестирование в  динамике, полностью воспроизводящее реальную ситуацию работы пользователя в Интернет, является, с нашей точки зрения, наиболее адекватным отражением способности разных антивирусных решений противостоять сегодняшним угрозам. Такое тестирование весьма трудоемко и требует качественной методики. Необходимо отметить, что такие "динамические тесты"  пока только начинают входить в арсенал независимых тестовых лабораторий. Другие тестовые лаборатории планируют внедрение таких тестов в ближайшем будущем. Ведет работу в этом направлении и организация AMTSO.

Комментируя результаты, показанные нашим продуктом в тесте Anti-Malware.ru, мы рады отметить не только очередной высший результат среди антивирусов, но и то, что по сравнению с тестом прошлого года (и прошлого года) наш показатель вырос с 88% до 92%, при этом количество вредоносных программ, на которых тест проводился - увеличилось. Это показывает, что технологии, реализованные в версии 2010,  действительно сделали шаг вперед. Выбранный нами несколько лет назад путь развития технологий HIPS/PDM - полностью оправдался и показывает не только наш действительно комплексный подход к защите, но традиционное технологическое лидерство".

Кирилл Керценбаум, руководитель направления информационной безопасности Symantec в России и СНГ:

"Несмотря на то, что в тесте участвовал старый Norton Internet Security 2009, мы видим значительный прирост в функционале Norton Internet Security, направленном на противодействии динамическим угрозам: с 12% в 2008 году до 64% в 2009 году. Также стоит заметить, что такого хорошего результата наш продукт добился даже без таких проактивных технологий как Sonar 2, SafeWeb и других.

Учитывая тот факт, что основное количество вредоносных программ на данный момент распространяется через различные веб-ресурсы, веб-сервисы, основные усовершенствования антивирусных продуктов направлены именно на эффективную борьбу с подобными "быстрыми" угрозами и как мы видим фактически ни один продукт с этим не справляется на 100%. Надеюсь, что следующий тест, в котором примет участие Norton Internet Security 2010 или даже 2011, в которых реализован новый уникальный подход репутационного анализа Quorum, изменит представление о том, насколько казалось бы простые методы могут быть эффективны против современных угроз".

Владимир Мамыкин, директор по информационной безопасности Microsoft в России:

"Мы очень довольны результатом, показанным одной  из ранних версий Microsoft Security Essential (MSE). Не смотря на то что для этих длительных тестов, которые начались еще в июле 2009, была выбрана имевшаяся тогда предварительная версия 1.0.2140.0 MSE, результат её тестирования оказался даже лучше многих платных антивирусов. Я уверен, что после выхода официальной российской версии MSE и её тестирования она покажет еще более сильные результаты".

Екатерина Синица, маркетинг менеджер Trend Micro в России и СНГ:

"Мы очень обрадованы высокими оценками, которые получило решение Trend Micro Internet Security в тесте  на защиту от вредоносных программ, проведенного специалистами Anti-malware.ru. Результаты исследования, проведенного российскими специалистами, совпали с результатами, полученными в сентябре этого года компанией NSS Labs.

Такая стабильность показателей достигается за счет уникальной технологии Smart Protection Network, которая лежит в основе всех антивирусных продуктов Trend Micro и обеспечивает взаимосвязанную защиту от угроз на уровне файлов, почты и интернет-контента. Наша новая версия решения Trend Micro Internet Security 2010 должна показать еще более высокие результаты".