Pourquoi s’intéresser à la fiabilité ou à la validité des données de sondage?

Écrit par Yeona Jang, Ph. D. Responsable en chef de l’implication communautaire. 20 février 2020

Vous vous êtes déjà retrouvé dans une discussion sur la « fiabilité » ou la « validité » des données issues de sondages tels que les évaluations de cours ou les sondages sur l’implication des employés? Pourquoi s’intéresser à la fiabilité ou à la validité des données de sondage?

Les données erronées peuvent mener aux mauvaises conclusions. Notamment lorsque les enjeux sont importants, il faut nous assurer de colliger les bonnes données. Cela implique qu’il y a des sondages de bonne et de mauvaise qualité. Les bons sondages produisent des données justes et des informations pertinentes, offrant des aperçus saillants sur l’essence du sujet abordé. Inversement, les mauvais sondages produisent des données erronées. Autrement dit, ces données ne sont ni fiables ni valides et ne peuvent pas être reproduites, menant ainsi à des conclusions et à des actions inappropriées.

Le terme « sondage » englobe un éventail d’objectifs de recherche – des populations cibles, un cadre d’échantillonnage, des stratégies de recrutement, des modèles d’instrument de sondage, des méthodes d’administration de sondage, le traitement de données et l’ajustement statistique – afin d’assurer un procédé et des résultats de sondage de haute qualité. Étant donné la gamme d’options possibles pour mener un sondage, il est impératif que le consommateur/lecteur de résultats de sondage comprenne le risque de biais ainsi que les stratégies et les techniques utilisées pour réduire celui-ci afin que les conclusions appropriées soient tirées des données.

Les bons sondages produisent des données justes et des informations pertinentes, offrant des aperçus saillants sur l’essence du sujet abordé. Inversement, les mauvais sondages produisent des données erronées. Autrement dit, ces données ne sont ni fiables ni valides et ne peuvent pas être reproduites, menant ainsi à des conclusions et à des actions inappropriées.

La conception d’un sondage implique beaucoup d’éléments qui ont un impact sur la qualité des données qui en découleront : le temps et l’effort requis par les répondants pour remplir un formulaire, l’ordre des questions, le nombre de points sur une échelle d’évaluation et l’ordre des options question-réponse, pour ne nommer que ceux-là. Alors quels sont les facteurs clés à considérer en vue de créer des sondages qui fournissent des données de haute qualité? Bien que la validité et la fiabilité soient souvent discutées dans le domaine de la psychométrie, on tient souvent pour acquis qu’elles sont présentes, et ce, sans validation. Or, il faut s’assurer de pouvoir répondre par l’affirmative à la question « Les données issues de ce sondage sont-elles assez fiables et valides pour être utilisées? ». On veut éviter de tirer les mauvaises conclusions, tout particulièrement lorsque les enjeux sont importants, par exemple lorsque les résultats d’un sondage ont un impact sur l’avancement professionnel ou la manière d’investir temps et argent à des fins d’amélioration.

Que sont la fiabilité et la validité? Ont-elles la même signification? Même s’il n’est pas rare de voir ces deux mots utilisés de façon interchangeable, ils représentent deux concepts très distincts dans le domaine de la recherche axée sur les données. En quoi sont-ils différents? Et en quoi cela importe de connaître la différence?

Fiabilité de sondage versus validité de sondage
La validité et la fiabilité sont deux facteurs clés à considérer au moment de développer et de tester tout instrument de sondage pour la collecte de données. En portant une attention particulière à ces considérations, vous pouvez assurer la qualité de votre instrument de sondage et donc des données colligées pour l’analyse et l’utilisation.

Imaginez que vous concevez un sondage sur l’implication des employés et que vous considérez inclure la question « Je suis impliqué » dans le questionnaire.
Je suis impliqué:
Fortement en désaccord - En désaccord - Un peu en désaccord - Un peu en accord - En accord - Fortement en accord

Au moment d’évaluer la qualité d’un sondage, on doit considérer les points suivants :

Pose-t-on la bonne question? Autrement dit, à quel point cette question mesure-t-elle ce qui est censé être mesuré? (c.-à-d. l’implication)
Dans quelle mesure cette question donne-t-elle lieu (ou non) à la même interprétation pour fournir le même type d’information? (c.-à-d. une réponse constante chaque fois qu’on la pose)
La première question porte sur la validité, et la seconde sur la fiabilité.
Comme vous pouvez voir, elles ne concernent pas le même sujet.

La fiabilité n’implique pas la validité. La fiabilité d’un sondage n’est pas en soi un gage de validité et l’inverse est vrai aussi.

Une mesure valide mesurant ce qu’elle est censée mesurer ne produit pas forcément des réponses constantes si la question peut être interprétée de façons différentes par les répondants chaque fois qu’on la pose. Autrement dit, un sondage sur l’implication des employés peut avoir une grande validité, mais une faible fiabilité.
De plus, un sondage sur l’implication des employés peut être conçu pour avoir une grande fiabilité, c’est-à-dire des réponses constantes chaque fois qu’on le mène, mais une faible validité si les mauvaises questions sont posées. Demander à quel point un répondant est d’accord avec l’énoncé « Je suis impliqué » peut être valide en fonction de vos objectifs de sondage. Si votre but est de connaître le pourcentage approximatif des employés qui se sentent impliqués, il s’agit probablement d’une question valide. Toutefois, si l’objectif de votre sondage est d’identifier les éléments qui ont un impact sur l’implication des employés, il y a matière à douter de la validité de cette question

Pour résumer
La validité porte sur l’efficacité de l’instrument de sondage à mesurer ce qui est censé l’être. Par exemple, un sondage conçu pour explorer l’implication des employés, mais qui mesure en fait la satisfaction des clients, ne serait pas considéré valide.

La fiabilité porte sur l’efficacité des questions de sondage à susciter des réponses constantes chaque fois qu’on les pose dans la même situation de façon répétée. La fiabilité est une mesure statistique sur le degré de reproductibilité des données d’un instrument de sondage. Un instrument de sondage est considéré très valide s’il produit des résultats similaires sous des conditions constantes, et tout changement serait donc attribuable à une véritable modification de l’attitude et non à une interprétation différente (p. ex. une erreur de mesure).

Même si elles sont distinctes, la validité et la fiabilité d’un sondage sont inextricablement reliées. La fiabilité n’implique pas la validité, mais elle impose une limite sur la validité globale.

Il existe divers types de fiabilité, de validité et de tests pour les estimer. Vous trouverez ci-dessous quelques bonnes ressources.

Reliability and validity assessmentpar Carmines et Zeller (1979) est probablement l’un des livres les plus souvent cités où les deux concepts interconnectés sont définis et discutés.
Psychological testing: Principles and applications (6e éd.). Upper Saddle River, N.J.: Pearson/Prentice Hall. ISBN 0-13-189172-3.)

Des indicateurs de qualité de sondage sont accessibles sur l’Eurostat de la Commission européenne pour aider à évaluer la qualité des données de sondage.

La preuve de validité et de fiabilité est un prérequis pour assurer l’intégrité et la qualité d’un instrument de sondage, car nous tirons et appliquons des conclusions à partir des données colligées dans le cadre d’un sondage. Voilà pourquoi il est important de connaître la différence entre les deux.