Лепихин Владимир Борисович
Заведующий лабораторией сетевой безопасности Учебного центра "Информзащита"
Все материалы отчета являются объектами интеллектуальной собственности учебного центра "Информзащита". Тиражирование, публикация или репродукция материалов отчета в любой форме запрещены без предварительного письменного согласия Учебного центра "Информзащита".
Полный текст исследования:
http://www.itsecurity.ru/news/reliase/2008/12_22_08.htm
1. Введение
Сетевые сканеры безопасности подходят для сравнения как нельзя лучше. Они все очень разные. И в силу специфики задач, для решения которых они предназначены, и в силу их "двойного" назначения (сетевые сканеры безопасности могут быть использованы как для защиты, так и "для нападения", а взлом, как известно, задача творческая), наконец, ещё и потому, что за каждым таким инструментом стоит полёт "хакерской" (в изначальном смысле этого слова) мысли его создателя.
При выборе условий сравнения за основу был взят подход "от задач", таким образом, по результатам можно судить, насколько тот или иной инструмент пригоден для решения поставленной перед ним задачи. Например, сетевые сканеры безопасности могут быть использованы:
- для инвентаризации сетевых ресурсов;
- в ходе проведения "тестов на проникновение";
- в процессе проверки систем на соответствие различным требованиям.
В настоящем документе представлены результаты сравнения сетевых сканеров безопасности в ходе проведения тестов на проникновение в отношении узлов сетевого периметра. При этом оценивались:
- Количество найденных уязвимостей
- Число ложных срабатываний (False Positives)
- Число пропусков (False Negatives)
- Причины пропусков
- Полнота базы проверок (в контексте данной задачи)
- Качество механизмов инвентаризации и определения версий ПО
- Точность работы сканера (в контексте данной задачи)
Перечисленные критерии в совокупности характеризуют "пригодность" сканера для решения поставленной перед ним задачи, в данном случае - это автоматизация рутинных действий в процессе контроля защищённости сетевого периметра.
2. Краткая характеристика участников сравнения
Перед началом сравнения усилиями портала Securitylab.ru был проведён опрос, целью которого был сбор данных об используемых сканерах и задачах, для которых они используются.
В опросе приняло участие около 500 респондентов (посетителей портала Securitylab.ru).
На вопрос об используемых сканерах безопасности в своих организациях, подавляющее большинство респондентов ответило, что они используют хотя бы один сканер безопасности (70%). При этом в организациях, практикующих регулярное применение сканеров безопасности для анализа защищенности своих информационных систем, предпочитают использовать более одного продукта данного класса. 49 % респондентов ответило, что в их организациях используется два и более сканера безопасности (Рис. 1).
1 . Распределение организаций опрошенных респондентов по числу используемых сканеров безопасности
Причины, по которым используется более одного сканера безопасности, заключаются в том, что организации относятся с недоверием к решениям одного "вендора" (61%), а также в тех случаях, когда требуется выполнение специализированных проверок (39%), которые не могут быть выполнены комплексным сканером безопасности (Рис. 2).
2 . Причины использования более одного сканера безопасности в организациях опрошенных респондентов
Отвечая на вопрос, для каких целей используются специализированные сканеры безопасности, большинство респондентов ответило, что они используются в качестве дополнительных инструментов анализа защищенности Web-приложений (68%). На втором месте, оказались специализированные сканеры безопасности СУБД (30%), а на третьем (2%) утилиты собственной разработки для решения специфического круга задач по анализу защищенности информационных систем (Рис. 3).
3 . Цели применения специализированных сканеров безопасности в организациях опрошенных респондентов
Результат опроса респондентов (рис. 4) о конечных продуктах, имеющих отношение к сканерам безопасности, показал, что большинство организаций предпочитают использовать продукт Positive Technologies XSpider (31%) и Nessus Security Scanner (17%).
Рис. 4. Используемые сканеры безопасности в организациях опрошенных респондентов
Для участия в тестовых испытаниях были отобраны сканеры, представленные в таблице 1.
Таблица 1. Сетевые сканеры безопасности, использованные в ходе сравнения
|
Название |
Версия |
Ссылка |
|
Nessus |
3.2.1 |
http://www.nessus.org/download |
|
MaxPatrol |
8.0 (Сборка 1178) |
http://www.ptsecurity.ru/maxpatrol.asp |
|
Internet Scanner |
7.2.58 |
http://www-935.ibm.com/services/us/index.wss/offering/iss/a1027208 |
|
RetinaNetwork Security Scanner |
5.10.2.1389 |
http://www.eeye.com/html/products/retina/index.html |
|
Shadow Security Scanner (SSS) |
7.141 (Build 262) |
http://www.safety-lab.com/en/products/securityscanner.htm |
|
NetClarity Auditor |
6.1 |
http://netclarity.com/branch-nacwall.html |
Итак, первый тест сфокусирован на задаче оценки защищённости систем на устойчивость к взлому.
3. Подведение итогов
Аналогичным образом были посчитаны результаты по остальным узлам. После подсчёта итогов получилась следующая таблица (табл. 2).
Таблица 2. Итоговые результаты по всем объектам сканирования
|
Показатель |
MaxPatrol |
Internet Scanner |
Retina |
Nessus |
Shadow Security Scanner |
NetClarity |
|
Идентификация сервисов и приложений, баллы |
108 |
66 |
80 |
98 |
79 |
54 |
|
Найдено уязвимостей, всего |
163 |
51 |
38 |
81 |
69 |
57 |
|
Из них ложных срабатываний |
8 |
3 |
4 |
7 |
36 |
14 |
|
Найдено правильно |
155 |
48 |
34 |
74 |
33 |
43 |
|
Пропуски |
70 |
177 |
191 |
151 |
192 |
182 |
|
Из них по причине отсутствия в базе |
63 |
170 |
165 |
59 |
150 |
179 |
|
Из них вызванные необходимостью аутентификации |
0 |
6 |
16 |
36 |
0 |
0 |
|
По другим причинам |
7 |
1 |
10 |
56 |
42 |
3 |
3.1 Идентификация сервисов и приложений
По результатам определения сервисов и приложений баллы были просто просуммированы, при этом за ошибочное определение сервиса или приложения вычитался один балл (рис. 5).
Рис. 5. Результаты идентификации сервисов и приложений
Наибольшее количество баллов (108) набрал сканер MaxPatrol, чуть меньше (98) - сканер Nessus. Действительно, в этих двух сканерах процедура идентификации сервисов и приложений реализована очень качественно. Данный результат можно назвать вполне ожидаемым.
Далее идут Retina (80 баллов) и Shadow Security Scanner (79 баллов), они "не справились" с некоторыми трудными случаями идентификации сервисов и приложений.
Следующий результат - у сканеров Internet Scanner и NetClarity. Здесь можно упомянуть, что, например, Internet Scanner ориентируется на использование стандартных портов для приложений, этим во многом и объясняется его невысокий результат. Наконец, наихудшие показатели у сканера NetClarity. Хотя он неплохо справляется с идентификацией сервисов (всё-таки он основан на ядре Nessus 2.x), его общий низкий результат можно объяснить тем, что он идентифицировал не все открытые порты.
3.2 Идентификация уязвимостей
На рис. 6 представлено общее число найденных всеми сканерами уязвимостей и число ложных срабатываний. Наибольшее число уязвимостей было найдено сканером MaxPatrol. Вторым (правда, уже со значительным отрывом) опять оказался Nessus.
Лидером по количеству ложных срабатываний оказался сканер Shadow Security Scanner. В принципе, это объяснимо, выше были приведены примеры ошибок, связанные как раз с его проверками.
Рис. 6. Найденные уязвимости и ложные срабатывания
Всего на всех 16 узлах всеми сканерами было найдено (и впоследствии подверждено ручной проверкой) 225 уязвимостей. Результаты распределились так, как на рис. 7. Наибольшее число уязвимостей - 155 из 225 возможных - было выявлено сканером MaxPatrol. Вторым оказался сканер Nessus (его результат практически в два раза хуже). Следующим идёт сканер Internet Scanner, затем NetClarity.
В ходе сравнения были проанализированы причины пропусков уязвимостей и были отделены те, которые были сделаны по причине отсутствия проверок в базе. На следующей диаграмме (рис. 8) представлены причины пропусков уязвимостей сканерами.
Рис. 7. Найденные уязвимости и пропуски
Рис. 8. Причины пропусков уязвимостей
Теперь несколько показателей, получившихся в результате подсчётов.
На рис. 39 представлено отношение числа ложных срабатываний к общему числу найденных уязвимостей, этот показатель в определённом смысле можно назвать точностью работы сканера. Ведь пользователь, прежде всего, имеет дело с перечнем найденных сканером уязвимостей, из которого необходимо выделить найденные правильно.
Рис. 9. Точность работы сканеров
Из этой диаграммы видно, что наивысшая точность (95%) достигнута сканером MaxPatrol. Хотя число ложных срабатываний у него не самое низкое, такой показатель точности достигнут за счёт большого количества найденных уязвимостей. Следующим по точности определения идёт Internet Scanner. Он показал самое низкое число ложных срабатываний. Самый низкий результат у сканера SSS, что неудивительно при таком большом количестве ложных срабатываний, которое было замечено в ходе сравнения.
Ещё один расчётный показатель - это полнота базы (рис. 10). Он рассчитан как отношение числа уязвимостей, найденных правильно, к общему числу уязвимостей (в данном случае - 225) и характеризует масштабы "пропусков".
Рис. 10. Полнота базы
Из этой диаграммы видно, что база сканера MaxPatrol наиболее адекватна поставленной задаче.
4. Заключение
4.1 Комментарии к результатам лидеров: MaxPatrol и Nessus
Первое место по всем критериям данного сравнения достаётся сканеру MaxPatrol, на втором месте - сканер Nessus, результаты остальных сканеров существенно ниже.
Здесь уместно вспомнить один из документов, подготовленный национальным институтом стандартов и технологий США (NIST), а именно - "Guideline on Network Security Testing". В нём говорится, что в ходе контроля защищённости компьютерных систем рекомендуется использовать как минимум два сканера безопасности.
В полученном результате, по сути, нет ничего неожиданного и удивительного. Не секрет, что сканеры XSpider (MaxPatrol) и Nessus пользуются популярностью как среди специалистов по безопасности, так и среди "взломщиков". Это подтверждают и приведённые выше результаты опроса. Попробуем проанализировать причины явного лидерства MaxPatrol (частично это касается и сканера Nessus), а также причины "проигрыша" других сканеров. Прежде всего - это качественная идентификация сервисов и приложений. Проверки, основанные на выводах (а их в данном случае использовалось довольно много), сильно зависят от точности сбора информации. А идентификация сервисов и приложений в сканере MaxPatrol практически доведена до совершенства. Вот один показательный пример.
Вторая причина успеха MaxPatrol - полнота базы и её адекватность поставленной задаче и вообще "сегодняшнему дню". По результатам заметно, что база проверок в MaxPatrol значительно расширена и детализирована, в ней "наведён порядок", при этом явный "крен" в сторону web-приложений компенсируется и расширением проверок в других областях, например, произвели впечатление результаты сканирования представленного в сравнении маршрутизатора Cisco.
Третья причина - качественный анализ версий приложений с учётом операционных систем, дистрибутивов и различных "ответвлений". Можно также добавить и использование разных источников (базы уязвимостей, уведомления и бюллетени "вендоров").
Наконец, можно ещё добавить, что MaxPatrol имеет очень удобный и логичный интерфейс, отражающий основные этапы работы сетевых сканеров безопасности. А это немаловажно. Связка "узел, сервис, уязвимость" очень удобна для восприятия (Прим. ред. это субъективное мнение автора сравнения). И особенно для данной задачи.
Теперь о недостатках и "слабых" местах. Поскольку MaxPatrol оказался лидером сравнения, то и критика в его адрес будет "максимальной".
Во-первых, так называемый "проигрыш в мелочах". Имея очень качественный движок, важно предложить и соответствующий дополнительный сервис, например, удобный инструментарий, позволяющий что-то сделать вручную, средства поиска уязвимостей, возможность "тонкой" настройки системы. MaxPatrol продолжает традицию XSpider и максимально ориентирован на идеологию "нажал и заработало". С одной стороны это неплохо, с другой стороны - ограничивает "дотошного" аналитика.
Во-вторых, остались "неохваченными" некоторые сервисы (можно судить об этом по результатам данного сравнения), например, IKE (порт 500).
В-третьих, в некоторых случаях не хватает элементарного сопоставления результатов двух проверок друг с другом, например, как в описанном выше случае с SSH. Т. е. нет выводов, основанных на результатах нескольких проверок. Например, операционная система узла host4 была определена как Windows, а "вендор" сервиса PPTP классифицирован как Linux. Можно сделать выводы? Например, в отчёте в области определения операционной системы указать, что это "гибридный" узел.
В-четвёртых, описание проверок оставляет желать лучшего. Но здесь следует понимать, что MaxPatrol находится в неравных условиях с другими сканерами: качественный перевод на русский язык всех описаний - очень трудоёмкая задача.
Сканер Nessus показал, в целом, неплохие результаты, а в ряде моментов он был точнее сканера MaxPatrol. Главная причина отставания Nessus - это пропуски уязвимостей, но не по причине отстуствия проверок в базе, как у большинства остальных сканеров, а в силу особенностей реализации. Во-первых (и этим обусловлена значительная часть пропусков), в сканере Nessus наметилась тенденция развития в сторону "локальных" или системных проверок, предполагающих подключение с учётной записью. Во-вторых, в сканере Nessus учтено меньше (в сравнении с MaxPatrol) источников информации об уязвимостях. Это чем-то похоже на сканер SSS, основанный по большей части на базе SecurityFocus.
5. Ограничения данного сравнения
В ходе сравнения были изучены возможности сканеров в контексте только одной задачи - тестирование узлов сетевого периметра на устойчивость к взлому. Например, если проводить автомобильную аналогию, мы увидели, как разные автомобили ведут себя, допустим, на скользкой дороге. Однако есть и другие задачи, решение которых этими же сканерами может выглядеть совершенно иначе. В ближайшее время планируется сделать сравнение сканеров в ходе решения таких задач, как:
- Проведение аудита систем с использованием учётной записи
- Оценка соответствия требованиям стандарта PCI DSS
- Сканирование Windows-систем
Кроме того, планируется сделать сравнение сканеров и по формальным критериям.
В ходе данного сравнения был протестирован только сам "движок" или, выражаясь современным языком, "мозг" сканера. Возможности в плане дополнительного сервиса (отчёты, запись информации о ходе сканирования и т. п.) никак не оценивались и не сравнивались.
Также не оценивались степень опасности и возможности по эксплуатации найденных уязвимостей. Некоторые сканеры ограничились "незначительными" уязвимостями низкой степени риска, другие же выявили действительно критичные уязвимости, позволяющие получить доступ к системе.