Quand on voit les données par le petit bout de la lorgnette, on est borgne. Comment éviter cet écueil ?
Quand il nous manque des données importantes, on ne voit qu'une partie infime de la réalité: notre vision du monde est dangereusement insuffisante. On peut très vite faire des erreurs d'analyse fondamentales; on appelle ça les biais de sélection.
Le biais de disponibilité, par exemple, survient lorsqu'on s'appuie trop sur les données disponibles dans notre environement immédiat, et qu'on présume à tort que ces données sont représentatives du monde dans son ensemble.
Découvrons un exemple, avant de tirer quelques conclusions utiles pour l'analyse des performances en web analytics.
Comment déprimer son service client tout en battant des records de vente: Marc au SAV
Marc rentre tard ce soir-là, pour la troisième fois de la semaine, déprimé. Il en est maintenant persuadé: la nouvelle gamme de machines à laver ACME, pour lesquelles il est responsable du service après-vente, sont nulles. Probablement les pires du marché. Marc est bien placé pour le savoir|: depuis un mois, il passe ses journées à essayer de calmer des clients furieux, coincés avec une machine encore en panne parfois pour la deuxième, voire la troisieme fois. Marc veut sincérement aider ses clients, mais il est maintenant convaincu que le produit n'est tout simplement pas de bonne qualité.
Le lendemain, à la pause café, il bavarde un instant avec Sabine, sa collègue du marketing. "On va faire un super trimestre", lui annonce-t-elle enthousiasmée, "les nouvelles machines font un tabac". "Tu rigoles! Elle sont toutes en pannes, on est innondés d'appels au SAV. On va droit au mur!".
Quelques mois plus tard, la prédiction de Sabine s'avère correcte: les nouvelles machines ont fait un carton: les ventes ont quadruplé. On découvre même que le taux de retours au SAV pour la nouvelle machine est deux fois moins élevé que pour le modèle précédent! Les nouvelles machines sont donc 2 fois plus fiables...que s'est-il passé ?
ACME a quadruplé ses ventes, et la proportion de machines défectueuses a été divisée par deux. Globalement, c'est un excellent résultat, mais localement, ça représente quand même deux fois plus de panner à gérer pour le pauvre Marc!
Comme, pas définition, Marc ne rencontre que les clients avec une machine défectueuse, il a tiré une conclusion erronnée, basée sur les données partielles disponibles autour de lui: il présume que la majorité des machines sont défectueuses, alors qu'en réalité c'est l'inverse. Comme il n'a pas vu les chiffres de vente, il est victime de son environement, et du biais de disponibilité. Sabine, en revanche, a accès à des données plus représentatives de la tendance générale.
Il est important de noter qu'on aurait pu avoir le phénomène inverse: si le nouveau modèle se vend deux fois moins, avec un taux de machines défectueuses deux foix plus élevé, Marc aurait pu se réjouir en voyant très peu de machines revenir au SAV, pendant que Sabine se serait arraché les cheveux en constatant des chiffres de vente décevants.
Le biais de disponibilité en web analytics: les questions à se poser pour éviter les pièges
Quand on analyse les performances d'un site web avec un outil comme Google Analytics, on peut facilement, comme Marc, devenir victime du biais de disponibilité.
Voici quelques pistes de réflexions pour éviter cet écueil:
- Les visiteurs de votre site ne représentent pas l'ensemble de la population. Qu'est-ce qui rend vos utilisateurs différents? Pouquoi sont-ils sur votre site et pas un autre?
- Si vos clients remarquent des défauts sur votre site et s'en plaignent, est-ce que ces plaintes sont représentatives, ou s'agit-ils seulement d'une minorité? A l'inverse, si vous n'avez aucune plaintes, est-ce parce qu'il n'y pas de problèmes ou est-ce que les gens quittent votre application sans vous signaler le problème? Observez votre taux de rebond(bounce rate), essayer de trouver les pages-clés avec un taux de décrochage important. Vous pourriez déceler et corriger des problèmes cruciaux.
- Envisagez toujours les changements importants dans leur contexte. Si le nombre de conversions augmente rapidement, par exemple, est-ce à cause d'une promotion, d'une période de l'année traditionnellement plus "vendeuse", d'une nouvelle version du site, etc. ? Si possible, comparez votre chiffre d'une année sur l'autre. Votre vente record n'est peut-être pas si impressionnante que ça. Dans la même logique, une baisse soudaine et inattendue n'est pas toujours signe de problème, c'est peut-être un ajustement parfaitement naturel.
Avez-vous déjà été berné par le biais de disponibilité? Avez-vous des idées pour éviter ce problème dans vos analyses? Partagez votre expérience dans les commentaires !
Source image: "Iceberg" par NOAA's National Ocean Service sous licence CC BY 2.0
Top comments (0)