Uno de los muchos retos que plantea las nuevas tecnologías AVs de cara a realizar una evaluación tiene que ver con hacer cada uno de los tests al mismo tiempo con cada una de las distintas soluciones. Ya no vale hacer una actualización a todos en el mismo momento y "congerlarlos" para pasar luego los tests tranquilamente uno a uno, ya que el uso de "la nube" permite a los AVs consultar firmas en tiempo real contra su servidor en Internet.
Pasar un AV con esta tecnología con un par de horas de diferencia frente a otro sería dar ventajas al último. En mis tiempos mozos, en las primeras comparativas para PCActual, contaba con 10 PCs en una red local (cosas de tener una academia de informática) donde paralelizaba los tests. Pero era por una cuestión de economía, los tests tardaban mucho y de esa forma me permitía ir haciendo varios antivirus a la vez.
Ahora la necesidad de paralelizar los tests la encuentro por partida doble. Por un lado el ya comentado uso de la nube por parte de algunos AVs, por otro que veo imprescindible que los AVs se enfrenten a las amenazas vivas y en el mundo real.
En este último punto hay opiniones encontradas. Hasta hace no mucho se pensaba que era irresponsable conectar las máquinas a Internet para hacer los tests con muestras de malware reales, y se pretendía que el laboratorio de evaluación simulara el vector de infección. El resultado de este acercamiento era que, sencillamente, no se hacía, por dificultad y coste (realmente era complicado contemplar todas las casuísticas caso por caso de malware).
A día de hoy, en mi opinión, no hay debate posible. El malware también está haciendo uso de la nube, así que no puedes reproducir la respuesta que hay en el otro lado, simplemente porque no la conoces (un malware podría actuar de forma diferente según la respuesta del lado servidor, y esta respuesta puede depender de factores que desconocemos -tiempo, aleatoriedad, IP, sistema,..-).
Hay que dejarse de remilgos, hay que enfrentar a los AVs a situaciones reales.
Otro tema interesante, abierto a interpretaciones, es valorar el nivel de respuesta del AV. Contando con que el AV detecte "algo", no es lo mismo que automáticamente te prevenga de la amenaza, que lo haga a medias (que se le cuele algún componente pero no todo), o que la respuesta deje la patata caliente al usuario.
Por ejemplo, en el caso que comentaba ayer, McAfee era el único de los 4 que decía algo ante un troyano bancario, pero preguntaba al usuario que acción tomar y por defecto aparecía seleccionada la opción de permitir (la infección).
El vector de infección era un mensaje de e-mail en HTML, que incluía un enlace con una página web con un supuesto vídeo. En dicha página web se intentaba descargar el troyano/ejecutable, que lo único que hacía era una modificación del hosts de Windows para hacer pharming-local a una página de phishing.
Al menos McAfee se percataba de ello. ¿Qué puntuación habría que darle?, porque si el usuario aceptaba la opción por defecto la infección se producía igualmente. Probablemente habría que hacer una escala. Si damos 1 a la prevención completa, podríamos dar 0.75 a una prevención parcial pero efectiva, 0.50 a un aviso pero sin prevención por defecto (éste caso), y un 0 si no hay ningún tipo de reacción por parte del AV. Esto último es lo que obtendría el resto:
Como anécdota, 24 horas después de haberse distribuido a las casas AVs, parece que sólo ha funcionado "la nube" de McAfee que ha sumado su detección a las tres ya existentes ayer en VirusTotal. Realmente es un caso sin importancia, la infraestructura del troyano quedó KO ayer tarde, y apenas tuvo impacto (según el contador del servidor sólo accedieron al ejecutable unos 30 y poco usuarios).
