Les suites 2018-2019 à l’épreuve des tests

Comment notre laboratoire teste les suites de sécurité 2018-2019 ?

Comme chaque année, notre laboratoire a évalué les suites grand-public des principaux acteurs de la sécurité. Des milliers de tests sont réalisés pour analyser l’impact des suites, leur efficacité défensive et leur richesse fonctionnelle…

Nous testons les suites de sécurité selon cinq angles majeurs afin d’évaluer :
- leur impact sur les performances de votre ordinateur,
- leur efficacité à vous défendre face aux menaces largement répandues et plus encore face aux menaces nouvelles et inconnues de leurs bases de signatures,
- leur efficacité à protéger vos explorations Internet,
- leur capacité à protéger vos enfants,
- leur convivialité et leur richesse fonctionnelle pour optimiser le PC et protéger le foyer.

1 - Impact sur les performances

Les suites de sécurité sont sensiblement plus sophistiquées que les antivirus gratuits ou que Windows Defender. Pour autant, force est de reconnaître que malgré leurs nombreux boucliers, elles n’ont en général qu’un impact très mineur sur les performances du PC.
Globalement, les opérations multimédias et bureautiques ne sont pas affectées par ce surcroit de sécurité. Le premier lancement d’une application est parfois légèrement ralenti mais c’est une affaire de secondes. Les deux activités où leur présence se fait souvent ressentir sont la phase de démarrage du PC (le Boot) et la navigation Internet.

2 - Impact Multimédia

Les applications multimédias font un usage intensif du multithreading CPU, des disques et de la mémoire. Les suites un peu gourmandes peuvent avoir un impact sur ces tâches et ralentir vos encodages voire même ralentir la lecture de flux vidéos Full HD ou 4K.

D’une manière générale aucune suite n’impacte les tâches multimédias de façon significative. Sur ces opérations, Avast, Eset, F-Secure et McAfee semblent même n’avoir absolument aucune influence sur le comportement de l’ordinateur.

3 - Impact Bureautique

Les suites doivent contrôler le comportement des programmes utilisés pour les travaux quotidiens mais doivent aussi surveiller les fichiers bureautiques qui peuvent embarquer des menaces sous forme de liens dangereux ou de macros malveillantes. Cette surveillance avancée a un impact souvent assez marqué au premier lancement d’un programme mais également sur le chargement des fichiers Office, PDF ou OpenOffice. Par ailleurs, les utilisateurs bureautiques font fréquemment des copies, déplacements et effacements de fichiers qui sont eux aussi attentivement surveillés par les suites pour notamment détecter l’insertion de menace dans le système mais aussi empêcher l’activité extrêmement destructrice des ransomwares.

Sur ces tâches, Kaspersky Total Security et Trend Micro Maximum Security sont les deux seules suites à présenter un impact significatif, témoignant d’une attention toute particulière à surveiller et protéger les fichiers bureautiques de l’utilisateur. Mais les ralentissements restent peu perceptibles par l’utilisateur et l’on peut donc considérer qu’en la matière aucune suite 2018 ne perturbera votre travail.

4 - Impact Jeux

Pour les hardcore gamers, hors de question que la protection de leur ordinateur vienne impacter la fluidité des jeux. Certaines suites adoptent automatiquement un mode Jeu qui adapte le niveau de sécurité et réduit les alertes pour préserver toute l’expérience ludique.

Même si les résultats montrent une influence des suites sur le comportement général du système, aucune suite n’impacte l’expérience ludique de façon significative. Vous pouvez donc opter pour n’importe laquelle. On notera cependant que Trend Micro Maximum Security obtient ici la note maximale. En outre, signalons que AVG est la seule suite à ne pas proposer de véritable « mode Jeux ».

5 - Impact Internet

Les défenses à la source cherchent à empêcher l’utilisateur d’atteindre une menace en ligne en bloquant les sites de phishing et en surveillant attentivement les flux téléchargés. Ces analyses consistent non seulement à analyser les paquets de données entrants et sortants mais aussi à surveiller chaque appel DNS, chaque IP appelée et chaque nom de domaine visité. Sachant que le chargement d’une page Web (avec ses pubs et ses trackers) peut aisément engendrer plus de 50 appels vers des adresses externes, leur contrôle peut ralentir le chargement si le cloud des suites n’est pas assez réactif. En outre, certaines suites ajoutent leur propre barre d’outils au navigateur et peuvent donc ralentir le chargement celui-ci.

McAfee et Bitdefender se démarquent ici avec un impact insensible pour l’utilisateur, mais les suites Norton, F-Secure, G Data et même Kaspersky se débrouillent également très bien ne ralentissant pas vraiment le navigateur et n’impactant que très légèrement le téléchargement de fichiers.

6 - Impact démarrage

Les suites sont truffées de boucliers défensifs et d’outils annexes qui prennent du temps à charger. En outre, les suites doivent aussi contrôler les premières phases du démarrage de Windows pour s’assurer qu’aucune menace ne se charge avant elles (ce qui leur permettrait sinon de masquer leur activité et de duper les protections).
Résultat, le temps de démarrage est forcément impacté. Si le PC dispose d’un disque dur assez lent, le ralentissement peut-être particulièrement notable par l’utilisateur qui a alors la sensation que la protection tend à faire considérablement « ramer » l’ordinateur même si cet impact n’est sensible que durant la phase de boot.

Trend Micro Maximum Security se montre le moins impactant sur les phases de démarrage du PC, mais les suites de Norton, Eset et McAfee démarrent elles aussi très rapidement sans ralentir de façon sensible le démarrage. En réalité, seules les suites d’Avira et d’Avast - composées de nombreux modules indépendants - se montrent significativement plus lourdes sur le démarrage de l’ordinateur.

7 - Impact mémoire

Au final, c’est l’occupation mémoire qui départage le plus les suites. Évidemment, si vous avez 4 Go ou plus sur votre machine, cette occupation mémoire est sans importance. En revanche, sur les tablettes Windows et les mini PC à bas coût, la mémoire est souvent limitée à 2 Go. Or une suite trop consommatrice de mémoire conduit à un usage abusif du fichier de « swap » ce qui se traduit par d’importants ralentissements.

Eset Multi-Device Security, Panda Dome et Norton Security Premium sont les trois suites qui ont la plus faible empreinte en mémoire et sont, dès lors, les trois suites à considérer en priorité si l’on veut protéger un petit PC ou une tablette Windows qui ont une quantité de RAM limitée (2 Go ou moins).

8 - Résumé des impacts sur la performance

Nous avons noté avec amusement que plusieurs suites affichent – sur certains tests – des performances meilleures que les protections intégrées au système et contribuent, dès lors, à rendre Windows 10 plus rapide. Le gain n’est pas sensible mais il est mesurable. Ces gains sont même devenus plus nombreux en 2018, les nombreux boucliers ajoutés par Microsoft à Windows 10 Fall Creators Update ayant un impact mesurable (quoique peu sensible) sur les performances générales. McAfee se montre ainsi plus rapide que Windows Defender sur certaines manipulations de fichiers, Windows 10 doté de GData et Eset affiche un meilleur score PC Mark que Windows 10 avec Windows Defender activé, Windows 10 démarre un peu plus rapidement avec Trend Micro, etc.
Toutefois, si l’on moyenne tous les résultats obtenus sur les 41 mesures d’impact de performances, on constate à la fois que Windows Defender reste la protection la plus légère mais aussi que, au final, toutes ses suites n’ont qu’un impact minime et à peine sensible pour l’utilisateur sur des machines actuelles (4 Go de RAM, processeur dual ou quad core, disque SSD). Les éditeurs ont retenu les leçons du passé et veillent désormais à minimiser l’impact de leur suite sur la performance du système.

Sur l’ensemble des tests de performance, les suites de McAfee, Eset et Norton l’emportent sur la concurrence, favorisées par d’excellentes prestations générales sur tous nos tests. Mais les résultats des suites de Kaspersky, Bitdefender, F-Secure, Avast, G Data et Trend Micro sont vraiment très proches. Seule la suite Avira apparaît en retrait, desservie bien davantage par son impact mémoire et son impact sur le démarrage que sur son impact réel dans les tâches quotidiennes du PC qui reste presque imperceptible pour l’utilisateur (avec 4 Go de RAM et un SSD, l’impact d’Avira restera donc insensible).

9 - La lutte contre les malwares

La performance sans efficacité défensive ne rime à rien. Nous évaluons l’efficacité défensive des suites face aux malwares selon trois axes principaux :

* La réactivité de leurs signatures : si une suite n’a connaissance des menaces que plusieurs jours après leur diffusion, les risques de succès d’un ransomware ou d’une infection sont bien plus grands pour l’utilisateur. Nous réalisons toute une série de tests pour juger la capacité des éditeurs à rapidement prendre connaissance des menaces diffusées et à mettre à jour leurs signatures.

En 2018, Norton Security Premium, G Data Total Security, et Avira Prime se sont montrées les trois suites les plus réactives. Avast et AVG suivent de très près. Kaspersky et Bitdefender obtiennent un bon score mais comptent avant tout sur leurs défenses proactives pour lutter contre les nouveaux codes tout en produisant peu de faux positifs. Trend Micro, McAfee et surtout Panda se montrent les suites les moins réactives dans ces tests de détection mais possèdent d’autres défenses pour pallier ce déficit.

* La capacité de défense proactive : aujourd’hui les menaces sont de plus en plus ciblées et les cybercriminels utilisent toutes sortes de techniques pour s’assurer que leurs malwares se diffusent sous le seuil d’alerte des radars antivirus. Les suites doivent donc de plus en plus faire appel à leurs moteurs heuristiques et comportementaux pour repérer les dangers qui n’ont pas de signatures.
Nos tests mesurent la capacité des suites à lutter contre des codes malveillants encore inconnus et à défendre le système contre ces menaces. Ces tests sont très exigeants et difficiles.

En matière de défense proactive, Norton l’emporte cette année grâce à ses excellentes détections par réputation, la qualité de ses nouvelles défenses anti-exploit et la solidité de son fameux moteur de détection des comportements malveillants dénommé Sonar.
La suite de Trend Micro arrive seconde (mais attention elle tend à produire de nombreux faux positifs) suivie dans un mouchoir de poche par Avast, F-Secure et Bitdefender.
McAfee et Panda obtiennent les scores les plus faibles et se révèlent, au final, moins efficaces que Windows 10 et ses défenses par défaut (Defender, SmartScreen for NTFS et Protected Folders).

Mais la véritable surprise vient de la note relativement moyenne obtenue par Kaspersky. Ses défenses proactives sont en effet très complètes et excellentes mais un échec assez étonnant sur l’un des tests Ransomwares, fruit de réglages par défaut trop gentils, impacte lourdement sa note cette année.

* La défense contre les rançongiciels : En effet, comme l’an dernier, nous avons porté une attention particulière sur la capacité des suites à contrer les ransomwares. Notre note proactive comporte donc les résultats de plusieurs tests en la matière. Rappelons que Windows 10 FCU dispose d’une fonctionnalité de protection des dossiers utilisateurs. Aucune application non autorisée ne peut dès lors accéder à ces dossiers. Efficace mais peu convivial (les exceptions doivent être manuellement déclarées), ce bouclier n’est pas actif par défaut.
Certaines suites 2018 embarquent une nouvelle protection très similaire à celle de Windows 10 mais souvent beaucoup plus conviviale, évitant aux utilisateurs des manipulations compliquées pour autoriser les applications non reconnues comme sans risques.
D’une manière générale, les suites 2018 ont - grâce à ces nouvelles protections - affiché des résultats beaucoup plus probants que l’an dernier sur nos tests ransomwares. Celles qui se sont les mieux comportées sur ces tests voient ainsi leur note proactive générale augmentée significativement par rapport à l’an dernier. A l’inverse, celles qui ont connu des échecs voient leur note proactive handicapée.

Dotés de tels boucliers avancés et personnalisables, Trend Micro, Bitdefender, Avast, AVG et Panda obtiennent la note maximale à nos nouveaux tests proactifs « ransomwares ». Norton ne possède pas de protection personnalisable en la matière mais s’en sort tout aussi bien, obtenant lui aussi la note maximale.
En revanche, toutes les autres suites se sont révélées plus ou moins faillibles. A commencer par Kaspersky Total Security qui, comme nous l’avons déjà dit plus haut, s’est laissé piéger sur l’une de nos menaces les plus redoutables : la suite possède pourtant d’excellentes défenses et une surveillance des dossiers utilisateurs, mais ses paramétrages par défaut sont trop tendres. En les modifiant, Kaspersky est parvenu à contrer ce code sans souci. D’où l’importance de bien régler la suite manuellement en relevant le niveau défensif par défaut. Cependant, Kaspersky n’est pas la seule suite à s’être laissé piéger : McAfee et G Data ont également été incapables de contrer cette même attaque inconnue et rien dans leur paramétrage n’a permis de la bloquer.

10 - Les défenses en ligne

Notre analyse des suites porte également une attention particulière sur leur capacité à protéger les navigations Web. L’objectif est de déterminer jusqu’à quel point les suites se montrent efficaces à bloquer les menaces à la source en empêchant l’accès aux pages Web infectées, aux pages Web réalisant du « Drive-By Download » (téléchargement automatique de malwares à l’insu de l’utilisateur), aux pages d’arnaques en tous genres et aux pages de phishing.
Si les suites se montrent dans l’ensemble assez efficaces à contrer les pages infectées ou celles conduisant à des malwares, elles se révèlent assez décevantes à lutter contre le Phishing et notamment le Phishing visant des internautes français.

Seule Kaspersky s’en sort avec une très bonne note. Elle est à nos yeux l’unique suite à offrir une vraie défense anti-phishing même si celle-ci pourrait encore être améliorée. Norton et Bitdefender obtiennent une mention « bien ». Toutes les autres échouent assez largement à nous convaincre dans ce domaine.

11 - Le contrôle parental

C’est l’une des fonctionnalités communément attendues des suites de sécurité. De fait, seules les suites d’Avira, d’Avast et d’AVG en sont dépourvues. Pour ces dernières, il faudra donc s’appuyer sur le contrôle parental embarqué au cœur de Windows 10, ou plutôt au cœur du « Compte Microsoft » avec lequel chacun devrait s’identifier sur Windows 10. Celui-ci n’est compatible qu’avec Windows 10 et la Xbox One (tout du moins pour l’instant), mais il est plutôt efficace, protège bien les recherches sous Edge et se pilote à distance avec des comptes rendus d’activité assez détaillés.
Il y a de la marge pour proposer mieux, mais force est de constater que très peu de suites se montrent meilleures que la protection de Microsoft. Un comble ! Pourquoi payer pour avoir moins bien ? Apparemment, Mc Afee trouve cela très normal : la suite est livrée avec un contrôle parental anachronique et risible de nullité alors que l’éditeur dispose par ailleurs d’une excellente solution à acquérir séparément. Honte à eux…

Kaspersky emporte largement le titre de meilleur contrôle parental intégré dans une suite. Un bémol toutefois, Kaspersky SafeKids n’est présent que dans l’édition Total Security (la suite Internet Security doit se contenter d’un contrôle parental à l’ancienne et sans intérêt). Kaspersky Safekids est ainsi le seul contrôle parental à obtenir une très bonne note dans le contrôle des recherches.
Derrière, Norton, Bitdefender et F-Secure se tiennent dans un mouchoir de poche avec un contrôle parental plus performant et plus universel que celui de Windows 10. Toutes les autres suites se montrent décevantes, à l’exception peut-être d’Eset qui s’en sort avec les honneurs.

Remarque :

Si vous attendez d’un contrôle parental qu’il bloque tous les dangers, vous allez être déçus ! Ces protections sont extraordinairement perfectibles. Nos tests montrent qu’aucune ne protège à 100 % les enfants contre des recherches d’images pornographiques ou l’accès à des sites inadaptés à leur âge.
En revanche, si vous attendez d’un contrôle parental qu’il vous permette de surveiller l’activité de vos enfants et de comprendre ce qui les préoccupe afin d’entamer un dialogue avec eux, certains contrôles parentaux peuvent vraiment vous y aider. Pas tous ! Car pour qu’elles soient vraiment utiles, ces protections doivent pouvoir surveiller un champ étendu d’activités menées par les enfants (contacts, réseaux sociaux, mots-clés recherchés, sites visités) sur tous les appareils qu’ils utilisent. Ce qui suppose notamment de disposer d’une interface Web centrale pour piloter la protection à distance. Les quatre suites qui remportent cette catégorie répondent parfaitement à ce cahier des charges et méritent votre confiance.

12 - La richesse fonctionnelle

Il est assez logique que l’on en veuille toujours plus pour son argent. Les suites ne se différencient pas uniquement par la qualité de leurs défenses mais également par la richesse fonctionnelle proposée. Des suites comme Kaspersky, Bitdefender, Avira Prime, Panda Dome, Trend Micro Maximum Security, offrent énormément d’outils, de paramètres, et de fonctions avancées à leurs utilisateurs, là où des suites comme F-Secure ou ESET demeurent très (trop ?) minimalistes.
Cette richesse fonctionnelle est évaluée selon 180 paramètres et fonctionnalités répartis en 7 catégories :
- Convivialité & paramétrages : qui mesure la simplicité d’utilisation et d’accès,
- Intégration à Windows 10 : qui mesure les efforts des éditeurs pour s’intégrer à ce système (support des notifications, des vignettes dynamiques, de Edge, du tactile, de Windows Hello, de Cortana,…)
- Richesse des boucliers : qui évalue la diversité des défenses et des boucliers proposés indépendamment de leur efficacité,
- La protection de la Vie Privée : qui comptabilise tous les outils et options proposés pour défendre votre identité, votre confidentialité et vos transactions en ligne,
- La protection du Foyer : qui prend en compte la présence de console centralisée, la protection des mobiles, la surveillance du réseau,
- Les fonctions d’Optimisations : qui étudie la richesse des fonctions d’optimisation du PC,
- La richesse du Contrôle Parental : qui évalue la souplesse des réglages, la possibilité de contrôler les règles à distance, la qualité des rapports, les possibilités de surveillance et la disponibilité sur mobile.

Les résultats sont assez conformes à l’an dernier. Quatre suites se démarquent, vous en offrant beaucoup pour votre argent :
- Kaspersky est vraiment la suite la plus complète et la plus aboutie.
- Norton est aussi une suite très complète avec sa console centralisée, sa fantastique protection Android, son excellent contrôle parental, ses fonctions d’optimisation et de sauvegarde simples et réussies.
- Bitdefender en offre également beaucoup pour votre argent avec des modules homogènes, performants et suffisamment riches pour se montrer utiles au quotidien.
- Enfin, Trend Micro est truffé de bonnes idées et d’outils originaux servis par une convivialité remarquable.
Mais deux autres suites viennent cette année se frotter aux meilleures en matière de richesse fonctionnelle. Avira Prime et Avast Ultimate sont portées par leurs nombreux boucliers et leurs excellents outils d’optimisation du PC et de l’univers Android. Les deux suites se révèlent très riches et très complètes, mais l’absence de contrôle parental impacte cependant leur note générale.

13 - En conclusion

Deux éléments clés permettent finalement de se forger une opinion sur chaque suite : sa qualité technique et son rapport qualité-prix.

La note technique finale

Pour départager les suites et évaluer simplement leur qualité technique, nous prenons en compte l’ensemble des notes obtenues sur les performances, sur l’efficacité défensive dans nos tests proactifs (coefficient 2) et en ligne (coefficient 2), sur la réactivité des signatures, sur une moyenne des notes obtenues sur les tests des autres laboratoires (AV Comparatives, AV Tests, SE-Labs, VB100) et enfin sur notre note de richesse fonctionnelle. On obtient alors une note technique finale qui reflète la qualité du produit indépendamment du prix.

Classement 2018 « Qualité technique » :

Obtiennent une note technique supérieure ou égale à 15/20 :

1er : Norton Security Premium 2018
2ème : Kaspersky Total Security 2019
3ème : Bitdefender Total Security 2018
4ème : Avira Prime 2018
5ème : Avast Ultimate 2018
6ème : F-Secure Safe 2018
7ème : AVG Ultimate 2018
8ème : Eset Multi-Device Security 2018
9ème : Trend Micro Maximum Security 2018

Le rapport qualité-prix

Quel que soit le produit, il est difficile de considérer les aspects efficacité/richesse sans tenir du compte du prix. Et c’est sans doute là que les différences sont les plus marquantes.

Pour calculer le rapport qualité-prix final, nous moyennons deux rapports : le premier est le rapport entre la note technique et le prix pour la première année, le second la note technique et le prix réclamé sur 2 ans. Un bonus/malus de 0,5 points vient moduler la note en fonction de la logique marketing de l’éditeur (cohérence de l’offre, cohérence des promotions, exitance d’une formule mensuelle sans engagement, support d’un nombre illimité d’appareils).

Le classement affiche dès lors un visage un peu différent. Il rappelle à tous les éditeurs notre attachement à une politique tarifaire respectueuse du porte-monnaie des utilisateurs et cohérente avec l’offre gratuite proposée par Windows 10 mais aussi avec les offres logicielles utilisées au quotidien par nos utilisateurs (rappelons que l’extrême richesse d’Office 365 ne coûte que 10 €/mois pour 5 utilisateurs et 25 appareils).

Classement 2018 « rapport qualité-prix »

Obtiennent une note « qualité-prix » supérieure ou égale à 15/20 :

1er : Norton Security Premium 2018
2ème : Bitdefender Total Security 2018
3ème : Trend Micro Maximum Security 2018
4ème : Kaspersky Total Security 2019
5ème : AVG Ultimate 2018
6ème : F-Secure Safe 2018
7ème : G Data Total Security 2018
8ème : Avira Prime 2018

Accéder à nos tests individuels

Ce comparatif donne une vue globale des différentes suites sans rentrer dans le détail de leurs qualités et défauts. Pour connaître notre avis complet et commenté sur chacune des suites présentes dans ce comparatif, nous vous invitons à consulter les tests individuels :


Selon quels critères les test sont-ils effectués ?

Notre analyse des suites de sécurité se focalise sur quatre domaines fondamentaux : les performances, l’efficacité défensive, le contrôle parental et la richesse fonctionnelle.

Chaque suite est évaluée individuellement durant deux semaines au moment de sa sortie. Puis, sur les tests de défense « en ligne » et les tests de « réactivité », toutes les suites sont soumises simultanément aux mêmes menaces durant une période de six semaines. Tous les tests sont réalisés sous Windows 10 « Fall Creators Update ». Pour tous les tests, les suites ont un plein accès à leur infrastructure Cloud.

1 - Les Performances :

Les utilisateurs veulent bien dépenser pour être mieux protégés, mais à une condition : que les outils de sécurité ne viennent pas ralentir leur machine et affecter leur expérience utilisateur.

Le produit est installé sur des PC sous Windows 10 Fall Creators Update. Toute une batterie de tests de performance est alors réalisée à travers des benchmarks classiques (notamment ceux de Passmark et de UL Benchmarks) et à travers des scripts spécialement créés pour évaluer l’impact sur les opérations quotidiennes (transferts de fichiers, copies de fichiers, renommages de fichiers, effacements de fichiers, chargement de documents Office, exécution de macros Office, chargement de pages Web en Intranet, chargement de pages Web des sites français les plus fréquentés, etc.). En tout, près de 50 tests de performance sont réalisés (et répétés plusieurs fois). On mesure ensuite les écarts sur chaque test avec les performances relevées avec un Windows 10 et ses protections intégrées.
Pour chaque test, une note de 0 à 5 est attribuée qui définit à quel point l’impact est sensible ou non pour l’utilisateur. Car ce qui compte au final, c’est la perception que l’utilisateur a, et non les données brutes. Perdre 1 ou 2 secondes sur la copie de milliers de fichiers, c’est un faible prix à payer pour sa sécurité. En revanche perdre 2 à 3 images par seconde sur un jeu vidéo peut ruiner l’expérience ludique. Perdre 2 à 3 secondes sur l’affichage de la moindre page Web peut rapidement se révéler exaspérant.

De même, les utilisateurs sont très sensibles au temps de démarrage de leur PC. Or les suites peuvent parfois l’impacter de plusieurs dizaines de secondes, même si les SSD tendent aujourd’hui à masquer la disparité des temps de boot. L’impact au démarrage est évalué au travers d’une dizaine de mesures qui permettent d’apprécier le temps que le PC met à afficher l’écran de Login, le Bureau, le chargement de tous les modules systèmes, le chargement de tous les modules annexes, ainsi que le temps à partir duquel la protection est effectivement opérationnelle (affichage de son interface et démarrage des interactions), le temps à partir duquel le bureau retrouve sa réactivité aux ordres de la souris et le temps après lequel le PC retrouve une activité « Idle » (la plupart des protections effectuant des vérifications et des mises à jour juste après le démarrage).

Les différents résultats de tous ces tests sont regroupés en 6 catégories :

* Internet : comporte des mesures de téléchargements de fichiers, de navigations WEB depuis un serveur interne (Intranet), de navigations WEB sur les pages des principaux sites français (les pages sélectionnées sont celles qui n’évoluent pas au cours des semaines et ne comportent pas de bandeaux publicitaires, les tests étant réalisés en pleine nuit à l’heure où le trafic Internet est le plus faible) ;

* Bureautique : tests de travaux automatisés sous Office, manipulations de fichiers, compressions/décompressions, installations/désinstallation de programmes ;

* Jeux : impact sur le Frame Rate des jeux en plein écran et des jeux en fenêtre Windows ;

* Multimédia : impact sur les retouches, les chargements, les stream vidéos, les encodages ;

* Démarrage : impact sur le démarrage perceptible et imperceptible du PC, impact sur le retour en « Idle » après démarrage.

* L’empreinte mémoire : Ce critère est redevenu fondamental depuis l’arrivée des tablettes Windows, mais aussi des mini-PC (NUC, PC au format Clé HDMI) qui disposent presque toujours de moins de 2 Go de RAM. La consommation mémoire est un sujet plus compliqué qu’il n’y paraît de prime abord, parce que Windows pagine sa mémoire sur disque. Or, une occupation importante engendre une activité de plus en plus intense sur la mémoire paginée au point que le système finit par ralentir passant plus de temps à jongler entre les pages sur disques qu’à exécuter les opérations. Nous évaluons donc la consommation mémoire sur un PC équipé de 2 Go de mémoire. La note s’appuie sur plusieurs mesures : occupation mémoire 10 minutes après le boot, occupation mémoire avant scan, occupation mémoire après scan, optimisation réelle de la mémoire, mesure Peak Working Set (post Scan) de l’ensemble des modules de la solution.

2 - L’efficacité défensive :

L’efficacité défensive est, avec l’impact sur les performances, l’autre critère fondamental surveillé par les utilisateurs. Mais l’efficacité est un concept qui dépend directement de la façon dont sont menés les tests : comment sont récoltés les échantillons des menaces, quels scénarios sont joués pour soumettre la menace à la suite, quels sont les critères retenus pour définir la dangerosité d’une menace, quels sont les réglages adoptés sur la suite, quels sont les points de vue adoptés pour déterminer si la suite a réussi ou non un test donné (les suites pouvant parfois demander à l’utilisateur de décider d’une remédiation), etc.

Une focalisation sur les menaces qui touchent les Français

Le Labo de Tom’s Guide a pris le parti de se focaliser sur les menaces susceptibles d’atteindre les utilisateurs francophones. Cela affecte la façon dont nous détectons les menaces, les sources de menaces que nous explorons, et les menaces Web que nous sélectionnons. Typiquement, les sites de phishing qui visent spécifiquement les Français sont utilisés en priorité dans nos tests anti-phishings. De même certains malwares et URLs dangereuses sont récoltés à partir de recherches réalisées sur des artistes, acteurs et personnages publics français, sur des mots-clés d’actualité français, sur les traductions françaises des titres de films ou de séries, etc.

Les échantillons que nous récupérons le sont par nos propres honeypots et nos propres crawleurs. Nous utilisons également des sources publiques ou privées internationales. Il est important de noter que nous utilisons plusieurs sources et que nous les utilisons à égalité de poids : ceci évite de favoriser les solutions de sécurité également abonnées à une de ces sources au détriment de celles qui ne le sont pas (si nous n’utilisions qu’une seule source, certaines suites pourraient afficher un 100 % de réussite parce que l’éditeur l’utilise aussi, et d’autres des scores bien moindres parce qu’ils ne l’utilisent pas, ça ne nous donnerait pour autant aucune information pertinente sur l’efficacité réelle des suites).

« Focalisation » ne signifie pas pour autant que nous délaissons les menaces internationales. Nos tests intègrent également des menaces véhiculées par des sites en langue anglaise, espagnole, portugaise et allemande. Simplement, ces menaces ne constituent pas la majorité de nos échantillons (là où certains Labos utilisent eux des menaces à 99 % asiatiques ou russes parce qu’elles sont les plus nombreuses et les plus simples à récolter).

Cette focalisation sur les menaces francophones est une grande spécificité de nos tests et ce qui nous différencie des autres Labos et permet d’apporter un point de vue complémentaire aux tests que ces derniers réalisent.

Une attention sur la proactivité

L’autre grande spécification de notre méthodologie d’évaluation de l’efficacité défensive est le soin que nous apportons à l’évaluation des boucliers proactifs. Nous sous-entendons par « proactif », toutes les méthodes utilisées par la suite pour détecter comme malveillant un malware ou site qui ne figure pas dans sa liste de signatures.

C’est important parce que, au final, les machines se retrouvent infectées, et les identifiants se retrouvent volés parce que les éditeurs n’avaient pas encore connaissance de la menace. Sur Internet tout va très vite : les sites de Phishing ne survivent que quelques heures, de nouveaux binaires échappant aux signatures sont compilés toutes les secondes.

Nous réalisons une centaine de mesures de proactivité différentes. Certaines permettent directement d’évaluer l’efficacité de la suite, mais d’autres sont plutôt destinées à nous aider à mieux comprendre comment fonctionnent les différents boucliers, quelles sont les forces et les faiblesses de la suite dans son approche d’une défense en profondeur, jusqu’à quel point la suite est susceptible de contrer des menaces nouvelles.

Ces tests comprennent l’exécution de certains des malwares non éradiqués par le scan, le téléchargement et l’exécution des malwares véhiculés par les pages Web que les défenses à la source n’ont pas bloquées, le téléchargement et la reconnaissance de malwares connus, mais que l’on a « crypté » (à l’aide des Crypters couramment employés par les cybercriminels), la résistance aux exploits, ainsi que l’exécution de programmes de notre cru (ce ne sont pas des simulations, mais de vrais programmes réalisant de vraies opérations malveillantes) qui permettent de mieux cerner les comportements de chaque suite et leur technicité. Nous avons également introduit la notion de proactivité dans l’antiphishing en hébergeant sur des URLs inconnues des réplicas de sites de Phishings de PayPal, La Poste et des banques françaises afin de déterminer le niveau d’intelligence de la suite pour contrecarrer l’hameçonnage.

En 2018 nous avons encore enrichi notre bestiaire maison de nouveaux tests ciblant particulièrement les défenses anti-ransomwares. Certains de ces tests émulent exactement le comportement de CryptoLocker ou Locky, d’autres utilisent des techniques différentes pour aboutir à un résultat similaire : prendre en otage vos fichiers.

Scénarios d’infection

Que ce soit pour les tests Web comme pour les tests proactifs, la méthodologie scénaristique simule un comportement type : d’abord la menace est accédée depuis un navigateur Web (on regarde si le navigateur en bloque l’accès), puis si la page n’a pas été bloquée la menace est téléchargée (soit par un clic, soit via du Drive-By selon les sites et les menaces), puis si elle n’a pas été bloquée précédemment elle est exécutée. Puis on évalue l’état de la machine après exécution.

Durant tous nos tests, les suites de sécurité ont accès à leur Cloud. Une mise à jour manuelle est forcée avant chaque session de tests. Si une suite - à une étape ou une autre – affiche une alerte demandant une décision à l’utilisateur, c’est toujours la réponse proposée par défaut qui est sélectionnée (quand il n’y a pas de réponse par défaut, c’est l’autorisation qui est sélectionnée).

Les 4 axes d’analyse défensive

Nous évaluons l’efficacité défensive selon 4 axes.

* La réactivité

On le sait, les utilisateurs ne sont que très rarement infectés par des menaces connues depuis plusieurs jours ou semaines. Ce sont les codes qui ont quelques heures d’existence ou qui sont uniques qui infectent réellement les machines. Les lecteurs attentifs auront remarqué que nous n’avons jusqu’ici jamais parlé de « Scan ». À nos yeux, les « Scans » ne constituent pas une protection défensive en tant que telle. D’ailleurs, certaines protections obtiennent de piètres résultats aux scans et pourtant la probabilité que leurs utilisateurs soient infectés est presque nulle parce que leurs boucliers de blocage à la source et de blocage comportemental sont très efficaces.
Le test de nettoyage et réactivité évalue la capacité de la suite à nettoyer les disques de menaces latentes apparues dans la journée grâce à son scan et à son antimalware temps réel. Il met en œuvre à la fois les bases de signature, les capacités heuristiques et les bases de réputation des différentes suites. Le résultat s’appuie sur des mesures réalisées quotidiennement pendant plusieurs jours avec une base virale enrichie quotidiennement de nouveaux malwares. Chaque jour, on regarde la quantité de malwares détectés et éradiqués. On compare les résultats à J+1, J+2, etc.

* L’efficacité proactive

Comme largement expliquée précédemment, cette centaine de mesures permet d’évaluer le comportement des Suites face aux menaces que sa base de signature virale ou sa base d’URLs dangereuses ne connaît pas. La note est formée des résultats obtenus à l’exécution des menaces non reconnues, à la résistance face aux exploits, à la capacité à protéger le fichier Hosts, certaines clés de la Registry, les téléchargements masqués, les zones « autoruns », et l’on prend en compte l’existence de fonctionnalités antikeyloggers, sandboxing, protection des navigations bancaires. La note prend également en compte les fonctionnalités d’analyse de vulnérabilités et de mises à jour automatisées des logiciels vulnérables et périmés. Nous considérons effectivement ses fonctionnalités comme des défenses proactives essentielles aujourd’hui.

* Les défenses Web

Chaque suite de sécurité est soumise à plus de deux cents menaces « Live », actives sur le Web et venant tout juste d’être repérées par le laboratoire. Ces menaces sont un mélange de pages Web infectées, d’arnaques en lignes, de faux sites de support, de pages menant au téléchargement de malwares, de pages comportant des codes JavaScript d’exploits et Drive-By, des « Watering Holes », des URLs directes de malwares. La suite marque un point pour chaque site bloqué ou chaque action de téléchargement bloquée. Ces tests analysent aussi le comportement des défenses sur des pages de Phishing actives sur le Web au moment des tests ainsi que sur des pages non référencées conçues pour analyser leur détection proactive du Phishing. Les tests se focalisent à 70 % sur les pages de phishings en français.

* Le contrôle parental

Notre test de contrôle parental expose l’enfant (dans un scénario où l’enfant a entre 6 et 9 ans) à 250 URLs inadaptées à son âge. 100 URLs véhiculant de la pornographie sont évaluées, mais aussi des dizaines d’URL d’enrôlement islamiste, d’armes, de fabrication de bombes, de forums de rencontres, de téléchargement illégal, de jeux potentiellement dangereux, etc. À ces purs tests d’URLs s’ajoutent des tests de recherches de sites et d’images à partir de mots-clés inadaptés ou de mots d’argots français. D’autres tests vérifient si la suite force les moteurs de recherche à conserver leur mode « Safe » de filtration des contenus.
Ces tests mesurent donc la capacité de la suite à contrôler les recherches des enfants, à réagir à l’utilisation de mots-clés (langue française et argot), à empêcher la visite d’une centaine de sites dangereux (sites révisionnistes, sites de jeux d’argent, sites de téléchargement illégal, sites de drogues et d’armement, sites de rencontres, etc.) et d’une centaine de sites pornographiques.

3- La richesse fonctionnelle

Il nous apparaît logique qu’au-delà de l’efficacité défensive, le rapport qualité-prix puisse aussi être évalué sur la convivialité, la capacité de la suite à défendre tout le foyer (et non seulement le PC) et la quantité d’outils et de fonctions proposées.

La richesse fonctionnelle est évaluée selon 7 axes et plus de 180 critères :

- Convivialité & paramétrages :
La note sur 20 traduit la simplicité d’utilisation de la suite, la clarté et le nombre de mesures la simplicité d’utilisation et d’accès, l’accès simplifié aux journaux d’évènements, le côté graphique et convivial des rapports, la fonction de réparation en 1 clic, la possibilité de créer en un clic une clé et un CD de réparation, la présence d’un scan de réputation, le nombre de redémarrages imposés par la suite, le suivi des processus, etc.

- L’intégration à Windows 10 :
La note sur 20 traduit à quel point la suite intègre les fonctionnalités propres à Windows 10 et à quel point elle s’intègre dans Windows 10. Elle prend en compte des éléments comme le support des comptes Windows, l’intégration à Windows Hello, la réactivation des protections Windows à la désactivation de la site, l’intégration aux vignettes et aux notifications, le support de Cortana, la conservation des défenses de Windows 10, l’existence d’une interface UWP, le support des Jumplists de Windows 10, la compatibilité avec l’affichage portrait et les gestuelles tactiles des tablettes Windows,

- La défense du PC :
La note sur 20 traduit uniquement la richesse des boucliers et non leur efficacité. Elle comptabilise tous les boucliers présents ainsi que l’existence de boucliers pour filtrer les recherches, sauvegarder les fichiers ou le système, gérer les mises à jour de la configuration, la présence de sandboxing automatique ou manuel, les fonctionnalités HIPS, les fonctionnalités de diagnostics, de réparation du PC et des navigateurs, de verrouillage du PC, etc.

- La protection de la Vie Privée :
La note sur 20 traduit la variété et le nombre de fonctionnalités dédiées à la Vie Privée. Elle prend en compte la présence d’un navigateur d’achats en ligne, d’un scan des paramètres des réseaux sociaux, de boucliers Web contre les collectes, de blocages de tracking et de bannières, d’effacements des traces et des activités, de présence d’un VPN (pour la navigation, pour le téléchargement), de protection des périphériques, clés, Webcam, d’outils de chiffrements et de destructions de fichiers, de gestionnaires de mots de passe, d’intégration à la biométrie et Windows Hello, etc.

- La protection du Foyer :
La note sur 20 traduit la capacité à défendre le foyer au-delà du PC. Elle prend en compte la présence de console centralisée, la surveillance du réseau, la protection des Macs et des mobiles, l’extension du contrôle parental à tous les PC, la gestion multi-device des mots de passe, les fonctions d’antivol PC et mobiles, etc.

- Les fonctions d’Optimisations :
La note sur 20 évalue la richesse des fonctions d’optimisation affichées par la Suite. Là encore, seule la richesse fonctionnelle est ici évaluée, par l’efficacité. Les fonctions qui se contentent juste d’appeler les options Windows sont ignorées. Les fonctions de nettoyage, défragmentation, détection des doublons, détections des programmes, analyse des performances, optimisations de la base de Registres, sont ici prises en compte.

- La richesse du Contrôle Parental :
La note sur 20 est totalement indépendante de la note d’efficacité du Contrôle Parental. Elle prend uniquement en compte la richesse de la solution et son ergonomie. Elle évalue la souplesse des réglages, la possibilité de contrôler les règles à distance, la qualité des rapports, les possibilités de surveillance, la disponibilité sur mobile, l’ensemble des contrôles (navigations, contacts, programmes, usages, etc.), la qualité des rapports ainsi que la capacité de la suite à favoriser le dialogue entre parents et enfants.

Posez une question dans la catégorie Dossiers du forum
Soyez le premier à commenter
Commenter depuis le forum
    Votre commentaire