🧠 5 utilisateurs ne suffisent pas pour réaliser des tests utilisateurs

J'entends souvent « fait un guerilla test, avec 5 personnes tu auras tes réponses ». Le mythe des 5 testeurs est bien ancré dans les entreprises. Et pourtant il est erroné.

Jakob Nielsen sort un papier en février 2020, mais il n’en est pas à son coup d’essai puisqu’en 1993 il a publié le même contenu, signalant que, selon lui, avec 5 testeurs la majorité des problèmes UX peuvent être identifiés. Ce postulat est très attractif et confortable pour les gens évoluant dans l’UX car il permettrait de rapidement confronter un dispositif digital à un petit nombre de personnes.

Et pourtant … après avoir réalisé des études visant à mesurer l’impact réel du nombre de testeurs sur les performances d’un site, de nombreux scientifiques ont démonté, depuis presque deux décennies, que 5 testeurs est un mythe.

Par exemple, lors d’une étude réalisée par Spool & Schroeder, les 5 premiers utilisateurs n’ont pu révéler que 35% des problèmes UX d’un site web. Dans cette même étude, les 13e et 15e testeurs ont permis d’identifier des problèmes majeurs sur le site.

Un autre test réalisé avec 18 testeurs a permis de trouver plus de 5 problèmes majeurs après avoir dépassé les 5 premiers testeurs (Perfetti & Landesman).

Laura Faulkner, une scientifique de l’Université du Texas à Austin a effectué une étude dans laquelle 60 testeurs ont été utilisés. Ces 60 testeurs ont été regroupés de manière aléatoire en groupe de 5, 10, ….

Les résultats de son étude sont sans appel :

Utiliser 16 testeurs vous permettra d’avoir le meilleur équilibre coût/fiabilité. En effet, vous identifierez entre 90 et 97% des problèmes. Après plus de 250 sessions de test réalisées pour nos clients, l’expérience de terrain confirme ces différentes recherches scientifiques.

Reste ensuite à utiliser des techniques permettant de récolter des données objectives et éviter la subjectivité. Nous en reparlons.

A suivre : Êtes-vous un expert UX de type « numération arabe » ou « numération romaine » ?