Precisamente ahora,
con la penúltima que está cayendo sobre este tema por el caso Secunia, acaba de llegarme una caja con las nuevas versiones de las suites de seguridad. Las envía una revista del sector, para que les haga unos tests a demanda para su comparativa.
En la foto faltan CA Internet Security 2009, Microsoft Live OneCare 2.0, Norman Security Suite y Trend Micro PC Cillin Internet Security 2009 (que llegaron poco fotogénicas, tostadas en CDs sin caja original)
Como suites de seguridad que son, con diversas tecnologías y funcionalidades (antivirus, antispam, firewal, antiphishing, control parental, etc.), habría que hacer una batería de pruebas para evaluarlas de forma más completa. Si bien, en lo que se refiere a tests técnicos, la mayoría de evaluaciones terminan realizando la típica comparativa antivirus basada en enfrentar las soluciones a diferente malware y amenazas para ver la respuesta. Es decir, cometiendo básicamente los mismos errores de Secunia en su reciente y polémica comparativa.
Hay muchos detalles a tener en cuenta en una metodología de evaluación AV medio decente, pero a mi juicio los 2 fundamentales son:
* Reproducir entornos y vectores de infección reales: soluciones instaladas por defecto en máquinas reales, ni siquiera vale utilizar sistemas virtualizados ya que hay código malicioso que los detectan y no se ejecutan. Tampoco vale analizar a demanda las muestras con el escáner, como por ejemplo hizo Secunia, sino que el ataque se debe producir de forma completa por el canal para el que ha sido diseñado.
* Elección del malware: que sea real y representativo.
Dicho así no parece muy complicado, pero la realidad es que no existe ninguna comparativa AV a nivel mundial que cumpla estos requisitos. El primer punto es tal vez el más sencillo, cuestión de dedicar recursos a montar un laboratorio de evaluación. A partir de ahí la cosa se complica.
Los evaluadores de comparativas antivirus suelen contar con grandes colecciones de malware, pero no tienen conocimientos o recursos suficientes para dilucidar que es malware y que no (símplemente se dejan arrastrar por los aciertos y errores de los propios motores antivirus, con lo cual pueden estar premiando a los más paranoicos). Suponiendo que cuente con los conocimientos, podrá asegurar que es malware una pequeña porción de su colección. Es materialmente imposible con 2 o 3 personas realizar una evaluación completa de colecciones de cientos de miles o millones de muestras. Si ya tienen problemas los propios laboratorios antivirus, pensemos en los recursos con los que puede contar un evaluador.
Contando con que el evaluador pueda hacer una limpieza medio decente de su colección, para evitar contar como malware ficheros que no lo son, el otro problema con que se encuentra es establecer cuales son significativos y cuales no (cuales se encuentran en activo en mayor número y cuales son simples pruebas de concepto que no afectan a nadie).
Supongamos que logra salvar también el anterior escollo, y que cuenta con una colección suficiente de malware que realmente lo es y que tiene certeza de que está afectando en el mundo real (hablemos al menos de unos pocos miles). Ahora debería conocer los vectores de infección de cada uno de esos ficheros (si se difunden por e-mail, por IM, por web, mediante red, exploits, etc.), cosa complicada a no ser que los haya capturado el propio evaluador a través de honeypots y disponga de esa información.
Pongamos que también salva ese problema, que consigue montar una infraestructura para automatizar la evaluación de los productos en entornos reales reproduciendo el vector original de infección. Pues aun así, tampoco obtendría un resultado real, si tenemos en cuenta ciertas tecnologías de protección que se basan en reconocer los propios hosts de descarga (pongamos por caso SiteAdvisor de McAfee, que puede bloquear una URL determinada por lista negra, pero que fallaría si ese mismo malware se hospeda en una URL distinta dentro de la red del laboratorio de evaluación).
Realmente es complicado hacer una comparativa seria de este tipo de soluciones. Se puede hacer, pero necesita de una cantidad de recursos importante. Si a eso sumamos que, al final, buena parte del apoyo financiero a los sistemas de evaluación AV vienen de las propias casas antivirus, la cosa se enturbia aun más. En fin, entre una cosa y otra, siempre hay que hacer una lectura crítica de los resultados de cualquier evaluación. Palabra de evaluador.
