«Доктор Веб» восстал против VirusBulletin

Российский «Доктор Веб» отказался проходить августовское тестирование антивирусных программ VirusBulletin100. Это первый случай отказа российского антивирусного производителя от испытания, проводимого одноименным британским журналом


Суть тестирования VB100 заключается в проверке антивирусным модулем коллекций «диких вирусов» (Wildlist) и «чистых файлов» (Clean Sets). Антивирус, не пропустивший ни одного экземпляра из первого списка и не «назвавший» вирусом ни одного файла из второго списка, удостаивается награды VB100%.

Однако, как утверждают независимые вирусные аналитики, в последнее время эта методика сильно устарела и не может считаться адекватной для определения качества антивируса. Это связано с тем, что тестеры не раскрывают состав обеих коллекций, но известно, что Wildlist пополняется крайне медленно и только определенными типами вирусов — под Windows. Претензии со стороны антивирусных вендоров также касаются и количества вирусов в коллекции — апрельский VB100 проходил на 700 вирусах, а августовский увеличился всего лишь на несколько десятков семплов.

Кроме тестирования на Wildlist, специалисты VirusBulletin дополнительно выводят результаты тестирования на собственной подборке вирусов (колонки Worms, File inspectors, Polimorphic и Trojans), которые не влияют на получение награды VB100. По мнению Ивана Стогова, эксперта портала Anti-Malware, антивирусные вендоры выходят из теста Virus Bulletin, так как признают его методику не соответствующей действительности. Эти демарши Trend Micro и «Доктор Веб» (а первый из них совершила Panda Antivirus еще в 2003 г.) являются попыткой показать ущербность VB100 в его настоящем состоянии.

Как отметил в разговоре с CNews Борис Шаров, директор «Доктор Веб», подборка VirusBulletin покрывает всего лишь 10–15% всего вредоносного ПО: «Основным критерием составления Wildlist является реплицируемость (воспроизводимость — CNews) вирусов, поэтому различные полиморфные троянские программы, составляющие до 80% детектируемых вирусов, не входят в нее. По этой причине судить о качестве антивируса по прохождению теста на таком малом количестве материала не приходится».


«Оставшиеся в тесте вендоры, такие, как Eset и Symantec (особенно первый) уже исторически строят свою рекламную стратегию на VB100% и специально затачиваются под его прохождение. Критиковать, а тем более выходить из этого теста для них абсолютно невыгодно. Другие же, как „Лаборатория Касперского“, понимают, что тест несовершенен, но участвуют в нем по инерции», — добавляет Иван Стогов.

Несколько другой точки зрения придерживается Виталий Янко, коммерческий директор Agnitum: «Несмотря на частично обоснованные заявления о „потере тестом и наградой VB100 веса и авторитета“, в резюме последнего отчета VB100, доступного подписчикам, сообщается о значительном пересмотре методик, которые будут отработаны в ходе ближайших тестирований. Там же даны обещания „усложнить жизнь“ многим решениям, которые ранее претендовали на награду или получали ее». В своем комментарии CNews Виталий Янко, подчеркнул, что отсутствие в VB100 Dr.Web и Trend Micro продиктованы «разными причинами — для одной компании это скорее причины технического характера, а для другой — политического».

Напомним, что компания Trend Micro объявила о своем выходе из тестов VB100 еще в начале июня, критикуя организаторов за недостаточно корректный с точки зрении состояния современных вирусных угроз метод оценки качества антивирусов.

Интересно, что скептически к VB относится и успешно прошедшая тест «Лаборатория Касперского». «Несмотря на то, что мы участвовали в августовском тесте и получили награду VB100%, наше отношение к данному тесту остается неизменным. Мы считаем, что методология теста страдает множеством изъянов, на которые мы не раз указывали. Мы продолжаем участвовать в тестах VB, поскольку, к сожалению, до сих пор многие заказчики воспринимают количество наград VB100% как некий значимый критерий качества антивируса и даже выставляют этот параметр как одно из условий тендеров по выбору антивирусной защиты. Тем не менее, мы рассматриваем возможность выхода из тестов VB, в том случае, если методология тестирования не претерпит изменений», — заявил CNews руководитель отдела стратегического маркетинга «Лаборатории Касперского» в регионе EEMEA Олег Гудилин.