Hemos repetido en más de una ocasión que no se debe utilizar VirusTotal para hacer evaluaciones o comparativas de antivirus. Entre otras razones porque las versiones utilizadas en VirusTotal (commandline) no son las mismas que las que instala el usuario final (escritorio), y estas últimas pueden tener funcionalidades añadidas que no se encuentran en las versiones de línea de comando (monitorización del comportamiento y otras capas de defensa).
Otra razón importante es que se debe reproducir el entorno real donde se pueden producir las infecciones. Error que todas las evaluaciones suelen cometer, ya sean comparativas de revistas, de la VirusBulletin, o de cualquier otro que se dedique a este tipo de evaluaciones.
En mi opinión, para no hacerlas tan mal (incluido las que yo he venido haciendo hasta la fecha), habría que reproducir tanto el entorno, como el vector de infección, así como completar la evolución de la amenaza, y hacerlas continuas en el tiempo.
El entorno parece claro que debe ser un ordenador real con el antivirus que puede comprar el usuario actualizado e instalado por defecto. El vector de infección debe ser el/los que se haya utilizado para propagar la muestra (no, no responde igual un antivirus si un ejecutable le llega por email, por web, o se copia en una carpeta). Además de ejecutar la muestra a través del vector de infección, habría que completar la evolución de la amenaza (un antivirus puede fallar al detectar un downloader, pero puede que detecte el ejecutable que éste intente descargar, o un antivirus puede fallar al detectar un troyano pero puede impedir que éste realice la acción para la que estaba diseñado, etc).
Como proyecto personal (sin agobios de plazos de revistas ni otro tipo de presiones), estoy desarrollando una metodología al respecto e intentando automatizarla, de cara a que cumpla los requisitos de la AMTSTO y mis propios criterios. La metodología no resulta demasiado complicada, pero la automatización tiene muchos flecos y cada antivirus tiene sus particularidades. De momento estoy en una fase de semiautomatismos.
Pese a lo mucho que suele ser criticado VirusTotal cuando se utiliza para evaluaciones (nosotros somos los primeros que no lo recomendamos), la realidad es que los resultados de momento no distan mucho de la realidad en la mayoría de los casos, a juzgar por los resultados que voy obteniendo en las pruebas.
Esta mañana, por ejemplo, ha llegado a mi buzón uno de los troyanos bancarios más simplones que se pueden ver hoy día (contra clientes de Banamex y BBVA Bancomer). Según VT, sólo era detectado por tres antivirus, pero dado el mecanismo que utilizaba era el ideal para ser detectado por los antivirus que incorporan funcionalidades añadidas (como monitorización del sistema). Aplicada la metodología con cuatro de los principales antivirus del mercado (con los que estoy trabajando de momento), sólo uno de ellos daba un aviso que dejaba la última palabra al usuario (por defecto permitir la acción del troyano), y los otros tres no detectaron nada. Al final, el troyano bancario podía actuar en los cuatro casos y robar las credenciales de los usuarios.
¿Existe tanta diferencia entre los resultados de VT y el mundo real?. ¿La instalación por defecto de los antivirus es la más idónea para detectar amenazas o han optado las casas por la instalación menos intrusiva (menos consumo de recursos y menos incidencias)?. ¿Realmente apoyarían las casas AV una comparativa basada en AMTSO (caiga quién caiga)?
