Для доказательства преимуществ своих продуктов разработчики антивирусов часто используют результаты независимых тестов. При этом пользователи зачастую не понимают, что конкретно и каким образом проверялось в данном тесте. Цель данной статьи - "разоблачить" тесты различных исследовательских лабораторий, сравнить, как выглядят антивирусные продукты в этих тестах, и попробовать, основываясь на результатах разнообразных тестов, выработать некую общую интегрированную оценку антивирусов.
Сразу оговорюсь, что в статье будут сравниваться только те антивирусные решения, которые распространены в России, а именно Антивирус Касперского, Symantec/Norton, Доктор Веб, Eset Nod32, Trend Micro, McAfee, Panda, Sophos, BitDefender, F-Secure, Avira, Avast!, AVG, Microsoft. Такая экзотика, как G-DATA AVK, F-Prot Anti-Virus и AEC TrustPort, рассматриваться не будет. Итак, приступим к препарированию тестов.
Патриархи тестирования
Одним из первых тестировать антивирусные продукты начал британский журнал Virus Bulletin, первые тесты, опубликованные на их сайте, относятся к далекому 1998 году. Основу теста составляет коллекция вредоносных программ WildList. Для успешного прохождения теста необходимо выявить все вирусы этой коллекции и продемонстрировать нулевой уровень ложных срабатываний на коллекции "чистых" файлов журнала. Тестирование проводится несколько раз в год на различных операционных системах; успешно прошедшие тест продукты получают награду VB100%. Ниже вы можете увидеть, сколько наград VB100% было получено в 2006-2007 годах продуктами различных антивирусных компаний.
Безусловно, журнал Virus Bulletin можно назвать старейшим антивирусным тестером, но статус патриарха не избавляет его от критики антивирусного сообщества. Так, на сентябрьской конференции Virus Bulletin в Вене известный эксперт Андреас Маркс (Andreas Marx) из исследовательской лаборатории AV-Test при Магдебургском университете выступил с докладом The WildList is Dead, Long Live the WildList! В своем докладе Маркс подчеркнул, что все тесты, которые проводятся на коллекции вирусов WildList (в том числе и VB100%), имеют целый ряд недостатков, связанных с составом этой коллекции. Во-первых, WildList включает в себя только вирусы и черви и только для платформы Windows, а вредоносные программы других типов (трояны, бэкдоры) и вредоносные программы для других платформ остаются за бортом. Во-вторых, коллекция WildList содержит небольшое число вредоносных программ и очень медленно пополняется: за месяц в коллекции появляется всего несколько десятков новых вирусов, тогда как, например, коллекция AV-Test за это время пополняется несколькими десятками или даже сотнями тысяч экземпляров вредоносного ПО.
Все это говорит о том, что в настоящем своем виде коллекция WildList морально устарела и не отражает реальной ситуации с вирусами в сети интернет. В результате, по мнению Андреаса Маркса, тесты, основанные на коллекции WildList, становятся все более бессмысленными. Они хороши для рекламы продуктов, которые их прошли, но реально качество антивирусной защиты они не отражают.
От WildList к тестам на больших коллекциях
Независимые исследовательские лаборатории, такие как AV-Comparatives, AV-Tests, не ограничиваются только критикой методов тестирования. Дважды в год они сами проводят тестирование антивирусных продуктов на уровень обнаружения вредоносных программ по требованию. При этом коллекции, на которых проводится тестирование, содержат до миллиона вредоносных программ и регулярно обновляются. Результаты тестов публикуются на сайтах этих организаций и в известных компьютерных журналах PC World, PC Welt и др. Итоги августовских тестов представлены ниже:
Если говорить о наиболее распространенных на российском рынке продуктах, то, как мы видим, по результатам этих тестов в тройку лидеров входят только решения "Лаборатории Касперского" и Symantec. Отдельного внимания заслуживает лидирующая в тестах Avira, но мы вернемся к этой теме дальше в разделе о ложных срабатываниях.
Моделируем пользователя
Тесты исследовательских лабораторий AV-Comparatives и AV-Test, так же как и любые тесты, имеют свои плюсы и свои минусы. Плюсы заключаются в том, что тестирование проводится на больших коллекциях вредоносного ПО, и в том, что в этих коллекциях представлены самые разнообразные типы вредоносных программ. Минусы же в том, что в этих коллекциях содержатся не только "свежие" образцы вредоносных программ, но и относительно старые. Как правило, используются образцы, собранные за последние полгода. Кроме того, в ходе этих тестов анализируются результаты проверки жесткого диска по требованию, тогда как в реальной жизни пользователь скачивает заражённые файлы из интернета или получает их в виде вложений по электронной почте. Важно обнаруживать такие файлы именно в момент появления их на компьютере пользователя.
Попытку выработать методику тестирования, не страдающую от этой проблемы, предпринял один из старейших британских компьютерных журналов - PC Pro. В их тесте использовалась коллекция вредоносных программ, обнаруженных за две недели до проведения теста в трафике, проходящем через серверы компании MessageLabs. MessageLabs предлагает своим клиентам сервисы по фильтрации различных видов трафика, и ее коллекция вредоносных программ реально отражает ситуацию с распространением компьютерной заразы в Сети.
Команда журнала PC Pro не просто сканировала зараженные файлы, а моделировала действия пользователя: зараженные файлы прикреплялись к письмам в виде вложений и эти письма скачивались на компьютер с установленным антивирусом. Кроме того, при помощи специально написанных скриптов зараженные файлы скачивались с веб-сервера, т.е. моделировался серфинг пользователя в интернете. Условия, в которых проводятся подобные тесты, максимально приближены к реальным, что не могло не отразится на результатах: уровень обнаружения у большинства антивирусов оказался существенно ниже, чем при простой проверке по требованию в тестах AV-Comparatives и AV-Test. В таких тестах немаловажную роль играет то, насколько быстро разработчики антивируса реагируют на появление новых вредоносных программ, а также какие проактивные механизмы используются при обнаружении вредоносных программ.
Группа быстрого реагирования
Скорость выпуска обновлений антивируса с сигнатурами новых вредоносных программ - это одна из самых важных составляющих эффективной антивирусной защиты. Чем быстрее будет выпущено обновление баз сигнатур, тем меньшее время пользователь останется незащищенным. В апреле 2007 года команда лаборатории AV-Test провела для американского журнала PC World исследование скорости реакции на новые угрозы, и вот что у них получилось:
Известное неизвестное
В последнее время новые вредоносные программы появляются так часто, что антивирусные лаборатории едва успевают реагировать на появление новых образцов. В подобной ситуации встает вопрос о том, как антивирус может противостоять не только уже известным вирусам, но и новым угрозам, для обнаружения которых еще не выпущена сигнатура.
Для обнаружения неизвестных угроз используются так называемые проактивные технологии. Грубо можно разделить эти технологии на два вида: эвристики (обнаруживают вредоносные программы на основе анализа их кода) и поведенческие блокираторы (блокируют действия вредоносов при их запуске на компьютере, основываясь на их поведении).
Если говорить об эвристиках, то их эффективность уже давно изучает AV-Comparatives - исследовательская лаборатория под руководством Андреаса Клименти (Andreas Clementi). Команда AV-Comparatives применяет особую методику: антивирусы проверяются на актуальной вирусной коллекции, но при этом используется антивирус с сигнатурами трехмесячной давности. Таким образом, антивирусу приходится противостоять вредоносам, о которых он ничего не знает. Антивирусы проверяются путем сканирования коллекции вредоносного ПО на жестком диске, поэтому проверяется только эффективность эвристика, другая проактивная технология - поведенческий блокиратор - в этих тестах не задействуется. Как мы видим, даже самые лучшие эвристики на данный момент показывают уровень обнаружения только около 70%, а многие из них еще и болеют ложными срабатываниями на чистых файлах. Все это, к сожалению, говорит о том, что пока этот проактивный метод обнаружения может использоваться только одновременно с сигнатурным методом.
Что же касается другой проактивной технологии - поведенческого блокиратора, то тут пока серьезных сравнительных тестов не проводилось. Во-первых, во многих антивирусных продуктах ("Доктор Веб", NOD32, Avira и др.) в принципе отсутствует поведенческий блокиратор. Во-вторых, проведение таких тестов сопряжено с некоторыми трудностями. Дело в том, что для проверки эффективности поведенческого блокиратора необходимо не сканировать диск с коллекцией вредоносных программ, а запускать эти вредоносы на компьютере и наблюдать, насколько успешно антивирус блокирует их действия. Этот процесс очень трудоемкий, и лишь немногие исследователи способны взяться за проведение таких тестов. Все, что пока доступно широкой общественности, это результаты тестирования отдельных продуктов, проведенного командой AV-Comparatives. Если в ходе тестирования антивирусы успешно блокировали действия неизвестных им вредоносных программ во время их запуска на компьютере, то продукт получал награду Proactive Protection Award. В настоящий момент такие награды получили F-Secure c поведенческой технологией DeepGuard и "Антивирус Касперского" со своим модулем "Проактивная защита".
Технологии предупреждения заражения, основанные на анализе поведения вредоносных программ, получают все большее распространение, и отсутствие комплексных сравнительных тестов в этой области не может не тревожить. Недавно появилась надежда на появление таких тестов: специалисты исследовательской лаборатории AV-Test провели на конференции Virus Bulletin 2007 широкое обсуждение этого вопроса, в котором участвовали и разработчики антивирусных продуктов. Итогом этого обсуждения явилась новая методика тестирования способности антивирусных продуктов противостоять неизвестным угрозам. В деталях эта методика будет представлена в конце ноября, на конференции Азиатской ассоциации антивирусных исследователей в Сеуле.
Ложные срабатывания страшнее вирусов
Высокий уровень обнаружения вредоносных программ при помощи различных технологий является одной из важнейших характеристик антивируса. Но, пожалуй, не менее важной характеристикой является отсутствие ложных срабатываний. Ложные срабатывания могут нанести не меньший вред пользователю, чем вирусное заражение: заблокировать работу нужных программ, перекрыть доступ к сайтам и т.д. К сожалению, ложные срабатывания происходят довольно часто. После очередного обновления в сентябре 2007 года антивирус AVG стал принимать Adobe Acrobat Reader 7.0.9 за троянскую программу SHueur-JXW, а антивирус NOD32 в июле 2007 года сообщал пользователям об обнаружении трояна Tivso.14a.gen, столкнувшись с баннерами от serving-sys.com на популярных сайтах вроде Yahoo, MySpace и других порталах преимущественно новостной направленности.
В ходе своих исследований AV-Comparatives, наряду с изучением возможностей антивирусов по обнаружению вредоносного ПО, проводит и тесты на ложные срабатывания на коллекциях чистых файлов (результаты см. на диаграмме ниже). Согласно тесту хуже всего с ложными срабатываниями дела обстоят у антивирусов "Доктор Веб" и Avira.
Лечим то, что не поймали
Как это ни прискорбно сознавать, но стопроцентной защиты от вирусов не существует. Пользователи время от времени сталкиваются с ситуацией, когда вредоносная программа проникла на компьютер и компьютер оказался заражен.. Это проиcходит либо потому, что на компьютере вообще не было антивируса, либо потому, что антивирус не обнаружил вредоносную программу ни сигнатурными, ни проактивными методами. В такой ситуации важно, чтобы когда антивирус со свежими базами сигнатур будет установлен на компьютере, антивирус смог не только обнаружить вредоносную программу, но и успешно ликвидировать все последствия ее деятельности, вылечить активное заражение. При этом важно понимать, что вирусописатели постоянно совершенствуют свое "мастерство", и некоторые их творения достаточно трудно удалить с компьютера - вредоносные программы могут разными способами маскировать свое присутствие в системе (в том числе при помощи руткитов) и даже противодействовать работе антивирусных программ. Кроме того не достаточно просто удалить или вылечить зараженный файл, нужно ликвидировать все изменения, произведенные вредоносным процессом в системе (например, изменения в реестре), и полностью восстановить работоспособность системы. Авторам неизвестна только одна группа исследователей, которая проводит тесты на лечение активного заражения - это команда российского портала Anti-Malware.ru. Последний такой тест они провели в сентябре прошлого года, его результаты представлены на следующей диаграмме:
Интегрируем оценки
Выше мы рассмотрели самые разные подходы к тестированию антивирусов, показали, какие параметры работы антивирусов рассматриваются при тестировании. Ясно, что у одних антивирусов выигрышным оказывается один показатель, у других - другой. При этом естественно, что в своих рекламных материалах разработчики антивирусов делают упор только на те тесты, где их продукты занимают лидирующие позиции. Так, например, "Лаборатория Касперского" делает акцент на скорости реакции на появление новых угроз, Еset - на силе своих эвристических технологий, "Доктор Веб" описывает свои преимущества в лечении активного заражения. Но что же делать пользователю, как сделать правильный выбор?
Мы надеемся, что эта статья поможет пользователям в выборе антивируса. Для этого были приведены результаты самых разных тестов, чтобы пользователь получил представление о сильных и слабых сторонах антивирусного ПО. Понятно, что решение, которое выберет пользователь, должно быть сбалансированным и по большинству параметров должно входить в число лидеров по результатам тестов. Для полноты картины ниже в единую таблицу сведены позиции, которые антивирусы заняли в рассмотренных тестах, а также выведена интегрированная оценка - какое место в среднем по всем тестам занимает тот или иной продукт. В итоге в тройке призеров: "Касперский", Avira, Symantec.
