La comparativa del escándalo

Secunia ha publicado una comparativa de suites de seguridad que ha levantado cierta polémica. Especialmente por la metodología escogida: en vez de utilizar distintos tipos de muestras de malware (como viene siendo lo habitual para comprobar los ratios de detección), se han usado exploits creados para la ocasión y páginas web modificadas para aprovechar estos exploits. Las casas antivirus no han salido muy bien paradas, pero en realidad es necesario matizar en extremo las conclusiones de esta comparativa.

Las condiciones

En total se han usado 300 exploits (144 archivos maliciosos y 156 páginas web modificadas). Los resultados dicen que ninguna de las suites consiguió el aprobado.

De acuerdo con Secunia, las condiciones de los tests fueron las siguientes:

1- Los archivos maliciosos fueron primero analizados al desempaquetar un archivo ZIP, en el que estaban contenidos, para comprobar la eficiencia del escáner al acceder en “tiempo real”.

2- Posteriormente la carpeta fue escaneada de forma manual para asegurarse de que fueran procesados todos los archivos.

3- Las páginas web maliciosas fueron analizadas una por una usando Internet Explorer.

Solo la suite de Norton, de las 12 analizadas, pasaba del 20% de detección, mientras que el resto no llegaba al 3%. Pero esto no significa nada.

Las quejas

Muchas casas antivirus y empresas del sector no están de acuerdo (con razón) con los resultados obtenidos. Utilizan los siguientes argumentos:

* Los tests no se realizaron de forma completa. Lo ideal hubiera sido tener una máquina en la que estuvieran instaladas tanto la versión vulnerable del software a explotar como la suite de seguridad de Internet. El paso siguiente es intentar ejecutar el exploit en ese entorno y esperar a ver si es bloqueado o no.

* Los tests se realizaron a demanda, es decir, se pasó el escáner sobre los archivos que contenían los exploits, pero no se ejecutaron. La única forma de detección posible, en esas circunstancias, es que exista una firma específica en el componente antivirus para detectar los exploits o que sean detectados por heurística.

* Se han utilizado exploits “de laboratorio”, especialmente creados para estos tests y diferentes de los que podrían circular por Internet en la actualidad.

Por estas y otras razones alegan que el test puede ser orientativo únicamente a nivel del escáner, pero en ningún momento se puede juzgar la totalidad de la suite por los resultados obtenidos. También se defienden diciendo que, muchas de las características anti-exploit incluidas en las suites ni siguiera han entrado en juego, como son por ejemplo:

* Virtualización y mecanismos de protección contra desbordamientos de búfer/pila/heap.

* Incluso si los exploits fueran ejecutados, un HIPS (sistema de prevención de intrusiones basado en host), un IDS (sistema de detección de intrusos) o un firewall podrían servir para bloquearlos.

* Tampoco se ha tenido en cuenta el filtrado de URLs maliciosas ni de exploits del navegador.

El CEO de AV-Test.org Andreas Marx, también apunta que falta información técnica sobre cómo se ha realizado el test, tal como por ejemplo: productos exactos y versiones utilizadas, fecha de la última actualización de los motores, o bajo qué entorno se han realizado las pruebas sobre las páginas web y HTML.

La conclusión del informe, firmada por Thomas Kristensen, el CTO de Secunia: “Los resultados muestran que los fabricantes de productos de seguridad no se centran en vulnerabilidades. En vez de eso, tienen un enfoque mucho más tradicional, lo que deja a sus clientes expuestos al nuevo malware que explota vulnerabilidades. (…) El área está, más o menos, completamente ignorada por los fabricantes de productos de seguridad”.

Esta conclusión, junto con la omisión de ciertos detalles, no ha sentado nada bien a algunas personas influyentes dentro del sector y ha provocado las siguientes reacciones:

* Alex Eckelberry de Sunbelt Software: “Este test es estúpido y una
maniobra publicitaria inútil”.

* Pedro Bustamante de Panda Security: “Es como decir que vas a probar el ABS de un coche tirándolo por un acantilado de 200 metros de profundidad. Absurdo, sensacionalista y como mínimo engañoso”.

A todo esto, Kristensen se ha defendido, diciendo que: “Las Internet Security Suites son bastante útiles para la mayoría de usuarios. (…) Pero es mejor prevenir los ataques parcheando que confiar en otras medidas de seguridad por sí solas”.

Nuestras conclusiones

Es necesario resaltar además algunos aspectos interesantes que observamos en este informe:

* Está realizado desde una compañía que vende servicios de prevención de vulnerabilidades. Por tanto la conclusión extraída le es conveniente desde el punto de vista comercial. Lo que es peor, está enfocada desde todos los aspectos para que así sea. Por ejemplo: los exploits más usados por los atacantes sí suelen ser más reconocidos por las firmas de las soluciones antivirus que, obviamente, los creados para la ocasión. Esto no es nada nuevo, pasa exactamente igual con el malware: desde siempre, los virus “recién creados” ha sido menos detectados por firmas en un principio. Tampoco es difícil crear específicamente troyanos “no detectados” por firmas. Los atacantes lo hacen todos los días. Otra cosa es que sean detectados por comportamiento en el sistema una vez ejecutados, que es el punto fuerte de las suites en estos momentos.

* Las alegaciones desde las casas antivirus son legítimas. No es ningún secreto que el modelo de detección por firmas es cada vez “una parte más” de los antivirus, y no se puede juzgar a un producto exclusivamente por la detección estática de muestras. Es lo mismo que ocurre con VirusTotal. Los resultados obtenidos al enviar una muestra son analizados de forma estática, por tanto pueden diferir de lo que un usuario obtiene con el antivirus instalado en su sistema. Las suites, cada vez más, se basan en el comportamiento de las muestras para detectar el malware, además de en las firmas. Es más, hacen una buena labor en ese sentido, y no es posible hoy en día evaluar un producto completo sólo por una de sus funciones. Si se quiere evaluar la calidad y cantidad de firmas, se debe ser consciente de que eso es sólo una parte del producto.

* Sí es cierto que el usuario medio suele ser víctima del marketing agresivo de las casas antivirus, y creen que la suite les salvará de todo mal. Slogans como “Protección total” o “Blindaje del sistema” calan en el usuario que concluye que realmente es lo único que necesita. Por otro lado, este tipo de informes como el generado por Secunia polarizan la opinión: “¿Acaso, a pesar del dinero invertido en la solución antimalware, no estoy protegido por completo?” o “Las soluciones antimalware no sirven para nada”. Ninguna de las dos posiciones es adecuada. Las soluciones antivirus son imprescindibles, pero es necesario combinarlas con otros métodos de prevención como son las actualizaciones de seguridad de los sistemas y programas, además del uso de cuentas no privilegiadas.

Más información:

Internet Security Suite test October 2008
http://secunia.com/gfx/Secunia_Exploit-vs-AV_test-Oct-2008.pdf

Another useless test grabs headlines
http://sunbeltblog.blogspot.com/2008/10/another-useless-test-grabs-headlines.html

Testing Internet Security Suites: More Questions than Answers…
http://www.eset.com/threat-center/blog/?p=156

Exploits vs Antivirus – The Last Stand
http://research.pandasecurity.com/archive/Exploits-vs-Antivirus-_2D00_-The-Last-Stand.aspx