В тесте Anti-Malware.ru оценивались комплексные возможности антивирусов и программ HIPS (Host Intrusion Prevention Systems - систем отражения локальных угроз) по эффективности противодействия новейшим образцам вредоносных программ. Подобное вредоносное ПО передается пользователям наиболее распространенным сейчас способом - через зараженные веб-сайты. Чтобы отобрать образцы такого ПО, исследователи собирали ссылки на зараженные сайты из различных источников (ежедневные подборки ссылок от MessageLabs и при помощи сообщества Anti-Malware.ru). "Как правило, на такие ссылки каждый из нас натыкается в поисковиках, получает по e-mail, ICQ или другие средства интернет коммуникации, включая социальные сети", - комментирует Илья Шабанов (известный под псевдонимом Сергей Ильин), управляющий партнер Anti-Malware.ru.
В тесте принимали участие продукты для интегрированной защиты класса Internet Security, но если таковых у вендора не было, то использовались младшие в линейке продукты. Все антивирусы тестировались со стандартными настройками по умолчанию и со всеми актуальными обновления, полученными в автоматическом режиме. По своей сути моделировалась ситуация, как если бы простой пользователь с установленной у себя одной из тестируемых программ защиты пользовался интернетом и переходил по интересующим его ссылкам.
Для теста были выбраны 34 ссылки на сайты, зараженные только новейшими образцами вредоносных программ. Эти загружаемые по ссылкам образцы вредоносных программ не должны были детектироваться файловыми антивирусами более чем 20% из списка тестируемых продуктов, что проверялось через сервис VirusTotal (всего на этом сервисе подключено 38 различных антивирусных движков).
При переходе по ссылкам на опасные веб-страницы фиксировались все изменения тестовой системы, сообщения от установленных HIPS и антивирусных и программ. За любой вариант предотвращения заражения антивирусу ставился 1 балл. Если заражение не было предотвращено, в том числе и частично, то антивирусу ставилось 0 баллов.
В итоге лучший результат показали "Антивирус Касперского", Avira и AVG, которые смогли предотвратить заражение 70% случаев и выше. Чуть хуже оказались антивирусы Sophos, BitDefender и F-Secure (он же "СТРИМ.Антивирус"), преодолевшие барьер в 50%. Высокие показатели защиты "Антивируса Касперского" связаны, в первую очередь, со встроенным компонентом HIPS, позволяющим оценивать вредоносные рейтинги любых приложений при помощи репутационных механизмов (whitelisting).
Антивирус Avira оказался эффективен в силу высокого уровня обнаружения эксплойтов и упакованных объектов (имеется в виду детектирование вредоносной по используемому в ней упаковщику). Достаточно эффективны оказались проактивные технологии обнаружения в антивирусах AVG, Sophos, BitDefender и F-Secure, которые заняли с 3-го по 6-е место соответственно. В работе антивируса F-Secure была заметен модуль контроля приложений (технология DeepGuard). В то же время, исследователи отмечают, что при обнаружении вредоносной программы (выводе алертов) многие сравниваемые продукты часто не могли предотвратить заражения.
Из программ класса HIPS очень высокий результат показал DefenseWall HIPS, сумевший детектировать попытки заражения системы почти в 100%. Менее эффективен оказался Safe'n'Sec, но его результат все равно гораздо лучше многих сравниваемых Anti-Malware.ru антивирусов. "Чтобы научиться эффективно использовать Safe'n'Sec, нужно, по крайней мере, иметь определенные знания и опыт, а также внимательно ознакомиться с руководство пользователя", - отмечают в Anti-Malware.ru.
Авторы исследования при этом сами признают, что тест не претендует на абсолютную объективность. "Это небольшое исследование, которое должно стать первым шагом на пути сравнительного тестирования комплексных продуктов для антивирусной защиты, - говорит Илья Шабанов. - В дальнейшем мы планируем совершенствовать методику такого сравнительного тестирования: использовать большую выборку вредоносных программ, фиксировать и проводить точный анализ эффективности различных компонент продуктов".
"То, что авторы теста прямо заявляют о том, что не претендуют на абсолютную объективность, в данном случае говорит только об их честности, потому что провести 100-процентное объективное исследование практически невозможно, - прокомментировали CNews в "Лаборатории Касперского". - Но динамические тесты - это огромный шаг вперед по сравнению со статическими, потому что они максимально приближены к реальности. Ведь статический тест - не важно, на скорость сканирования или что-то еще, - очень условен, очень далек от того, с чем постоянно сталкиваются пользователи".
В "ЛК" подчеркивают, что динамические тесты позволяют имитировать реальные ситуации, например, скачивание зараженного файла и попытки вредоносного атаковать систему. Поэтому исследование Anti-Malware.ru в "ЛК" в целом оценивают положительно. Но находят в нем и недоработки, которые не позволяют считать данный тест эталоном динамического исследования. "Многие пункты противоречит тем принципам, которые согласованы авторитетной международной организацией по тестированию (AMTSO), - говорят в "ЛК". - Главная проблема заключается в отборе сэмплов. Для динамического исследования нужно использовать не все образцы, которые получили авторы (пусть они и являются достаточно свежими), а только наиболее ярких и характерных представителей различных типов "зловредов". В таком случае реалистичность тестирования повышается на порядок. А при использовании методики, примененной Anti-Malware.ru, вероятно возникновение ситуации, при которой тестовая коллекция будет наполнена однотипным вредоносным ПО, и результат будет показывать только то, что продукты X и Y хорошо справляются со "зловредами" типа Z. И все. Совершенно не факт, что те же продукты хорошо справятся с другими типами вредоносных программ. Почему-то тестеры Anti-Malware.ru не учли этот момент в своем исследовании".
А вот в Eset работу Anti-Malware.ru традиционно не считают полезной. "Все свои исследования Илья Шабанов (он же Сергей Ильин) проводит на базе своей работы в "Лаборатории Касперского", поэтому такое тестирование априори не может претендовать на какую бы то ни было независимость", - говорит Анна Александрова, директор по маркетингу Eset. Но при этом, по словам Александровой, странно, что даже на собственной вирусной базе "Антивирус Касперского" не продемонстрировал 100-процентного уровня защиты.