Краткое содержание:

- Введение
- Методология сравнительного тестирования
- Результаты сравнительного тестирования

Введение

Практически все проводимые другими лабораториями (AV-Test.org, AV-Comparatives.org) тестовые испытания антивирусов на качество защиты подвергались критическим замечаниям профессиональной общественности о некой их синтетичности или отрыву от реальный жизни.

Первая и основная претензия сводилась к тому, что при запуске проверки файловых коллекций тестируются только некоторые составляющие антивирусной защиты, такие как классический сигнатурный детект или эвристика, в то время как возможный вклад сравнительно новых технологий, таких как поведенческий анализ или HIPS, никак не учитывается. Кроме этого, не учитывается работа и других компонент защиты входящих в современные «комбайны» (продукты класса Internet Security) помимо антивируса, например, Firewall/IDS (может обнаружить подозрительный трафик и просигнализировать о заражении), проверка HTTP трафика на лету и т.д.

Вторая веская причина состоит в том, что реальный пользователь не хранит и не запускает старинные вредоносные программы на своем жестком диске. К нему попадают, как правило, новые самплы, от которых его антивирус может и не защитить. Важны также и методы попадания вредоносных программ на компьютер. Заражение может наступить при открытии полученной от каким-то образом ссылки (по e-mail, ICQ и т.д.) или просто найденной в поисковике, открытии файла прикрепленного к письму, скаченного из сети файла или переписанного с внешнего носителя.

От метода проникновения может в значительной степени зависеть их эффективность, так как у некоторых антивирусов угроза заражения может быть ликвидирована еще на стадии попытки активации вредоносного скрипта на веб-странице, а у других - только при активации загруженного эксплойтом программы-загрузчика, у третьего еще дальше - при запуске загруженной вредоносной программы.

В нашем сравнительном тестировании мы изучали эффективность антивирусов по противодействию новейшим образцам вредоносных программ, передаваемых пользователям наиболее распространенным сейчас способом - через зараженные веб-сайты. Для этого мы собирали ссылки на зараженные сайты из различных источников (ежедневные подборки ссылок от MessageLabs + помощь нашего комьюнити). Как правило, на такие ссылки каждый из нас натыкается в поисковиках, получает по e-mail, ICQ или другие средства интернет коммуникации, включая социальные сети.

Суть сравнительного тестирования состоит в проверке комплексных возможностей антивирусов в противодействии новейшим угрозам в виде вредоносных программ, распространяемым через зараженные веб-сайты.

Методология сравнительного тестирования

Тест проходил в период с 5 августа по 15 сентября 2008 года. Перед началом теста производилась подготовка среды тестирования. Для этого под управлением VMware Workstation 6.0.3 был создан набор чистых виртуальных машин, на которые была установлена операционная система Microsoft Windows XP Pro SP2 (последние обновления намеренно не ставились). На каждую машину по отдельности была установлена своя программа защиты из числа приведенных ниже.

По возможности мы брали в тест продукты для интегрированной защиты класса Internet Security, но если таковых в линейке вендора не было, то использовали младшие в линейке продукты. В итоге в сравнении участвовали:
Avast Antivirus Professional 4.8-1229
AVG Internet Security 8.0.156
Avira Premium Security Suite 8.1.0.367
BitDefender Internet Security 2008 (11.0.17)
Dr.Web 4.44
Eset Smart Security 3.0.667
F-Secure Internet Security 2008 (8.00.103, он же СТРИМ.Антивирус)
G DATA Internet Security 2008
Kaspersky Internet Security 2009 (8.0.0.454)
McAfee Internet Security Suite 8.1
Microsoft Windows Live OneCare 2.5
Norton Internet Security 2008 (15.5.0.23)
Outpost Security Suite 2009 (6.5.2358)
Panda Internet Security 2008 (12.01.00)
Sophos Anti-Virus 7.3.5
Trend Micro Internet Security 2008 (16.10.1182)
VBA32 Workstation 3.12.8

Также в сравнении участвовали две специальные программы для проактивной защиты от новейших видов угроз класса HIPS (Hosted Intrusion Prevention System):
DefenseWall HIPS 2.45
Safe'n'Sec Pro 3.12

К сожалению, в ходе проведения теста и обработке полученных результатов, некоторые вендоры выпустили обновления своих продуктов, что не могло быть отражено в итоговых результатах.

Важно отметить, что все антивирусы тестировались со стандартными настройками по умолчанию и со всеми актуальными обновления, полученными в автоматическом режиме. По своей сути моделировалась ситуация, как если бы простой пользователь с установленной у себя одной из тестируемых программ защиты пользовался Интернет и переходил по интересующим его ссылкам (полученным тем или иным образом, см. выше).

Отбор вредоносных программ

Для теста выбирались ссылки на сайты, зараженные только новейшими образцами вредоносных программ. Что означает «новейшие»? Это означает то, что эти загружаемые по ссылкам образцы вредоносных программ не должны были детектироваться файловыми антивирусами более чем 20% из списка тестируемых продуктов, что проверялось через сервис VirusTotal (всего на этом сервисе подключено 38 различных антивирусных движков). Если отобранные самплы и детектировались кем-то, то вердикты как правило были неточными (подозрение на заражение или упакованный объект).

Количество образов, удовлетворяющих таким требованиям, было немного, что существенно отразилось на размере итоговой выборки и сроках тестирования. Всего более чем за месяц тестирования было отобрано 34 рабочие ссылки на новейшие вредоносные программы.

Оценка результатов

При переходе по ссылкам на опасные веб-страницы фиксировались все изменения тестовой системы, сообщения от установленных HIPS и антивирусных программ.

При открытии опасной ссылки заражение системы могло быть предотвращено на одной из следующих стадий:
Обнаружение эксплойта на открытой веб-странице (вредоносного скрипта) или блокировка открытия страницы анти-фишинговым модулем.
Обнаружение программы загрузчика, переданной при помощи эксплойта (специальной программы, которая используется для загрузки на компьютер жертвы других вредоносных программ, например, трояна) веб-антивирусом или файловым антивирусом.
Обнаружение загруженной вредоносной программы в процессе ее установки (как правило, при помощи поведенческого анализа).

При любом из приведенных выше вариантов предотвращения заражения антивирусу ставился 1 балл. Различий не делалось, так как с точки зрения пользователя не имеет значения, на каком этапе, и какой именно компонент защиты устранил угрозу заражения. Главное - она ликвидирована. Если заражение не было предотвращено, в том числе и частично, то антивирусу ставилось 0 баллов.

На деле такая система оценки означает следующее. 1 балл ставился, если попытка заражения была обнаружена в явной форме или было обнаружено подозрительное действие, и при этом заражение полностью приостановлено при условии правильного выбора пользователя в диалоговом окне (об обнаружении опасного действия, предотвращении попытки заражения, обнаружении попытки запуска подозрительной программы, обнаружении попытка изменения файлов и т.д.). Во всех остальных случаях ставилось 0 баллов.

Стоит отметить, что в некоторых случаях присутствие вредоносной программы на компьютере обнаруживалось после заражения при помощи файлового монитора или firewall/IDS, но справиться с заражением антивирус не мог. В этом случае антивирусу все равно ставилось 0 баллов, так как он не защитил от заражения.

Программы класса HIPS оценивались по такому же принципу, как и антивирусы. Им ставилось 1 балл во всех случаях, когда было обнаружена вредоносная или подозрительная активность и было предотвращено заражение.

Результаты сравнительного тестирования

Итоговые результаты сравнительного тестирования антивирусных программ и HIPS представлены ниже на рисунке 1 и таблицах 1-2.

Рисунок 1: Эффективность различных программ защиты против новейших угроз

Среди антивирусов лучшими оказались Kaspersky Internet Security, Avira Premium Security Suite и AVG Internet Security, которые смогли предотвратить заражение 70% случаев и выше. Чуть хуже оказались Sophos Anti-Virus, BitDefender Internet Security и F-Secure Internet Security (он же СТРИМ.Антивирус), преодолевшие барьер в 50%.

Высокие показатели защиты Kaspersky Internet Security связаны в первую очередь со встроенным компонентом HIPS , позволяющим оценивать вредоносные рейтинги любых приложений при помощи репутационных механизмов (whitelisting).

Avira Premium Security оказался эффективен в силу высокого уровня обнаружения эксплойтов (см. таблицу 3 в полном отчете о тестировании) и упакованных объектов (имеется в виду детектирование вредоносной по используемому в ней упаковщику). Достаточно эффективны оказались проактивные технологии обнаружения в продуктах AVG Internet Security, Sophos Anti-Virus, BitDefender Internet Security и F-Secure Internet Security (СТРИМ.Антивирус), которые заняли с 3 по 6 место соответственно. В работе F-Secure Internet Security был заметен модуль контроля приложений (технология DeepGuard).

Важно отметить, что при обнаружении вредоносной программы (выводе алертов) многие сравниваемые продукты часто не могли предотвратить заражения.

Как видно из программ класса HIPS очень высокий результат показал DefenseWall HIPS, сумевший детектировать попытки заражения системы почти в 100%. Менее эффективен оказался Safe'n'Sec, но его результат все равно гораздо лучше многих сравниваемых в этой статье антивирусов.

Продукты Safe'n'Sec и DefenceWall HIPS сильно отличаются в подходах взаимодействия с пользователями. Если Safe'n'Sec по принципу работы похож на антивирусные продукты и не требует специального обучения, то в отношении DefenceWall все не так просто. Чтобы научиться эффективно использовать последний нужно, по крайней мере, иметь определенные знания и опыт, а также внимательно ознакомиться с руководство пользователя.

Необходимо отметить, что приведенные выше результаты не являются истиной в последней инстанции, свидетельствующей о супернадежности одних и слабости других продуктов. Тест не претендует на абсолютную объективность - это небольшое исследование, которое должно стать первым шагом на пути сравнительного тестирования комплексных продуктов для антивирусной защиты.

Подробное результаты сравнительного тестирования вы можете посмотреть в полном отчете в формате Excel.

Данную статью стоит рассматривать как пробный шаг в направлении комплексного тестирования реальной эффективности защиты антивирусных программ. В дальнейшем мы планируем совершенствовать методику такого сравнительного тестировая: использовать большую выборку вредоносных программ, фиксировать и проводить точный анализ эффективности различных компонент продуктов и т.д.