miércoles, 21 de julio de 2004

Comparativas y certificaciones antivirus: la necesidad de un nuevo modelo

Hasta la fecha las certificaciones y comparativas antivirus suelen
tener como eje fundamental de sus valoraciones los porcentajes de
detección sobre colecciones de muestras. La propia evolución de los
antivirus y del malware han dejado obsoleto este modelo.

Hoy día un gusano de propagación masiva es capaz de infectar miles
de sistemas en apenas unas horas. ¿Qué sentido tiene evaluar si un
mes más tarde, en el mejor de los casos, los antivirus lo detectan?
Sin embargo, el principal indicador de las comparativas y
certificaciones actuales se basan en este tipo de estudios.

Al factor tiempo hay que sumar la calidad de las muestras que forman
parte de las colecciones utilizadas en las comparativas. Salvo los
tests basados en colecciones ITW (de especímenes con especial
incidencia reportado por usuarios reales), la mayoría de las
comparativas y algunas certificaciones incluyen las llamadas
colecciones ZOO, que no son representativas de las muestras reales
que afectan a los usuarios y por tanto pueden ofrecer resultados
parciales y de poco valor práctico. De hecho, en estas colecciones
ZOO podremos encontrar muestras que no pueden ser consideradas
malware.

También existen discrepancias entre los propios desarrolladores
antivirus en determinar que tipo de malware debe ser detectado por
los antivirus y, por tanto, deben ser tenido en cuenta en las
evaluaciones. Mientras que algunos productos son más "clásicos" y
se centran en virus, gusanos, troyanos y backdoors, la mayoría
están evolucionando e incluyen adware, spyware, dialers, exploits,
o herramientas de hacking, entre otros grupos de la gran familia
que conforma hoy día el malware.

Otro problema intrínseco de las evaluaciones actuales tiene que ver
con el estudio puntual en el tiempo de las soluciones. Una vez al
mes, en el mejor de los casos, los antivirus pasan los tests. ¿Qué
ocurre entre evaluación y evaluación? ¿Qué respuesta tuvo el día
que apareció el gusano Blaster o Sasser? A los tiempos de reacción
también se suman los problemas puntuales, relativamente comunes,
que pueden darse tras ciertas actualizaciones, tanto de firmas
como del motor. Una comparativa o certificación anual no ofrece
garantías sobre el comportamiento a medio ni corto plazo.

Pero no sólo la evolución del malware fuerza la necesidad de
modificar el modelo de evaluación, los propios antivirus están
sufriendo una transformación, con la incorporación de funcionalidades
proactivas que no son evaluadas con las metodologías actuales.

Imaginemos el caso de una solución antivirus que incorpora a la
detección clásica basada en firmas una nueva función de
monitorización del comportamiento, capaz de detectar nuevas
variantes basándose en las acciones que intenta llevar a cabo
en el sistema. Tendría que ejecutarse la muestra de malware para
poder determinar si la solución antivirus lo detecta basándose
en esta función. El problema se agrava si en vez de una muestra
puntual tenemos en cuenta que las comparativas y certificaciones
actuales pueden basarse en colecciones de más de 50.000 muestras.
¿Cómo pueden dar porcentajes de detección sobre tal número de
muestras? ¿Han ejecutado una por una las muestras con cada una
de las soluciones antivirus instaladas en el sistema? ¿Han
comprobado una por una que realmente son malware?

¿Y si el antivirus incorpora un firewall personal? Las comparativas
y certificaciones antivirus tampoco están evaluando como este
tipo de protecciones mitigan las posibilidades de infección y
propagación de ciertas muestras de malware.

Mi visión particular, basada en la experiencia y autocrítica, es que
las comparativas y certificaciones antivirus actuales se encuentran
totalmente obsoletas.

La idea del desarrollo inicial de VirusTotal, además de la utilidad
manifiesta para los usuarios, en parte perseguía poder ofrecer
indicadores inéditos hasta la fecha, tales como los tiempos de
respuesta ante amenazas puntuales. Aun siendo un dato muy
interesante, que aun no hemos explotado como se merece, hay mucho
camino por recorrer. Un ejemplo claro es la necesidad de desarrollar
metodologías para evaluar las soluciones proactivas no basadas en
análisis de código.

A sabiendas de que simplemente estamos en el camino, en una próxima
entrega vamos a publicar una propuesta de indicador basado en los
tiempos de respuesta antivirus ante nuevas amenazas, tomando como
ejemplo representativo las variantes de Sasser. Invitamos tanto a
desarrolladores antivirus, profesionales de la seguridad
independientes, y usuarios finales, a discutir el indicador y
proponer las modificaciones o cualquier otra sugerencia que tengan
a bien realizar.

Sobra decir que, en cualquier caso, nos encontramos ante un indicador
concreto, con mayor o menor peso, pero que no puede determinar por
si sólo la calidad de un producto, de forma que deberá ser valorado
en su justa medida. De poco sirve un antivirus con muy buena
respuesta en las actualizaciones, o con un gran porcentaje de
detección, si provoca inestabilidad en el sistema, penaliza el
rendimiento, es muy complicado de utilizar, o su precio resulta
prohibitivo, entre otros muchos factores a tener en cuenta.


Bernardo Quintero
bernardo@hispasec.com



No hay comentarios:

Publicar un comentario