Étape 1 : Déterminez pourquoi vous avez besoin d’un sondage

Avant de réaliser un sondage dans le cadre d’un audit de performance, vous devez déterminer très clairement pourquoi vous en avez besoin. Quel est le lien avec l’objectif de votre audit? Que cherchez-vous à découvrir? La réalisation d’un sondage est-elle le seul moyen d’obtenir ces informations?

Habituellement, le sondage n’est qu’une des techniques de collecte d’informations utilisées en audit de performance. Comme d’autres techniques, le sondage doit permettre d’évaluer les critères d’audit et servir de base pour tirer des conclusions d’audit. En conséquence, un sondage ne doit être réalisé qu’après l’établissement des critères d’audit et ne peut pas servir d’outil de planification précoce pour aider votre équipe d’audit à déterminer l’objet de l’audit. À titre d’exemple, il convient de ne pas réaliser de sondage au début d’un audit pour déterminer les risques d’un programme. Il s’agit plutôt de mener le sondage ultérieurement afin de confirmer les risques recensés par l’audit et de savoir comment ces risques sont perçus par la population faisant l’objet du sondage.

Étape 2 : Déterminez quelles informations seront fournies par le sondage

Déterminez clairement quelles informations vous serez en mesure de fournir à partir des résultats du sondage. Que cherchez-vous à mesurer? Comment les résultats seront-ils utilisés dans le cadre des constatations de l’audit? Bien comprendre cela vous aidera à décider s’il convient de réaliser le sondage et comment concevoir au mieux les questions qui doivent être posées.

Vous devez avoir des attentes réalistes quant aux informations que les résultats du sondage peuvent fournir. Les sondages ont des limites et il est important de comprendre que les résultats d’un sondage ne constituent pas des éléments probants. Les sondages se fondent sur des opinions; ils donnent un aperçu du point de vue des répondants sur un élément donné, à un moment donné. Ils ne fournissent pas une vérité objective, mais plutôt des informations sur la façon dont les répondants perçoivent la réalité. À titre d’exemple, si tous les membres d’un conseil d’administration répondent dans un sondage que leur conseil est très efficace, cela ne signifie pas que le conseil est réellement efficace, mais simplement qu’ils le perçoivent comme tel. Les auditeurs doivent toujours garder à l’esprit cette nuance lorsqu’ils présentent les résultats d’un sondage.

Étape 3 : Déterminez comment le sondage sera réalisé

Une fois que l’équipe d’audit a déterminé clairement la raison d’être du sondage et la nature des informations visées, il est possible de décider comment réaliser efficacement le sondage. La méthode la plus efficace dépendra des réponses apportées aux étapes 1 et 2 et de ce qui est mesuré. Vous devez connaître les limites de chaque approche (sondage en ligne, questionnaire par courrier, entrevues individuelles, groupes de discussion, etc.) afin de déterminer la méthode la mieux adaptée à ce que l’audit cherche à évaluer ou à mesurer. Quand on entend le mot « sondage », on pense le plus souvent à un questionnaire structuré, soit sur papier envoyé par courrier, soit en ligne. Ces types de questionnaires sont couramment utilisés pour sonder de grandes populations et fournissent principalement des résultats quantitatifs, bien qu’ils devraient toujours s’accompagner de réponses qualitatives.

Les sondages en ligne sont omniprésents dans le monde actuel. Ils sont même utilisés à outrance et de nombreux répondants s’en méfient, se demandant si leur confidentialité est réellement protégée. En outre, les répondants aux sondages en ligne se lassent très rapidement et sont plus susceptibles de les abandonner avant la fin, ce qui limite le nombre de questions que vous pouvez poser et la quantité d’informations que vous pouvez recueillir. Pour ces raisons, il n’est pas toujours approprié d’utiliser des sondages en ligne dans les audits de performance.

Dans certains cas, l’approche la plus efficace peut consister à utiliser un processus entièrement qualitatif qui est mené par le biais d’entrevues structurées. Cette solution est adaptée aux populations peu nombreuses, car mener des entrevues qualitatives exige beaucoup de temps et de ressources. Une autre approche qualitative courante consiste à utiliser un groupe de discussion. Le plus souvent, on y a recours pour réaliser une étude de produit ou de marché ou bien pour évaluer les réactions des gens. Toutefois, un groupe de discussion peut également être utilisé parallèlement à un questionnaire structuré pour assurer un suivi et clarifier la signification des résultats d’un sondage quantitatif. Une autre possibilité consiste à faire appel à un animateur pour administrer un questionnaire à un groupe dont les membres déterminent ensemble leurs réponses ou les fournissent par vote électronique, si des résultats quantitatifs sont requis.

Étape 4 : Concevez le questionnaire du sondage

Une fois que vous avez choisi une méthode de sondage, l’étape suivante consiste à concevoir le questionnaire du sondage – c’est la partie la plus compliquée du processus, celle dont la réussite est essentielle! La meilleure façon de concevoir un questionnaire de sondage est d’utiliser un cadre analytique, fondé sur les critères de l’audit, qui donne un aperçu complet de ce qui est mesuré et évalué. En envisageant toutes les questions possibles dans ce cadre, vous finirez par pouvoir en restreindre le nombre et sélectionner celles qui conviennent le mieux à votre audit. Cette méthode garantit également que les résultats du sondage seront conformes à l’objectif et aux critères de l’audit, et que les informations recueillies grâce au sondage vous aideront à préparer le rapport d’audit.

Il est préférable d’avoir effectué le plus de travail possible sur le terrain concernant d’autres aspects de l’audit avant de finaliser le questionnaire du sondage. Cela permet de prendre en compte les lacunes ou les faiblesses du programme qui ont été identifiées lors de l’élaboration des questions pertinentes pour lesquelles le point de vue des répondants peut apporter une valeur ajoutée.

Les questionnaires de sondage comprennent idéalement divers types de questions, tant ouvertes que fermées, afin de maintenir l’intérêt des répondants. Il existe différents types de questions de sondage fermées, consistant par exemple à demander aux répondants :

• d’évaluer leur degré d’accord ou de désaccord avec une déclaration (au moyen d’une échelle de Likert),
• de classer leurs préférences
• de sélectionner leurs réponses dans une liste à choix multiples

À l’inverse, les questions ouvertes permettent aux personnes interrogées de fournir des réponses dans leurs propres mots. Malgré leur importance, ces questions doivent être utilisées avec précaution car elles peuvent augmenter les coûts du sondage et risquent, si elles sont mal posées, de ne pas fournir d’informations utiles.

La conception des questionnaires est un art et s’avère beaucoup plus complexe qu’il n’y paraît. Les erreurs de conception peuvent avoir des conséquences regrettables et générer par exemple des résultats trompeurs. C’est pourquoi il est extrêmement important de réfléchir à la manière dont les résultats du sondage seront présentés, afin de pouvoir formuler soigneusement les questions en conséquence. Les questions du sondage doivent être claires et viser un objectif unique, sans être suggestives ou biaisées. Sur le plan psychologique, l’ordre des questions a également son importance. Les premières questions du sondage doivent éveiller l’intérêt des répondants et leur donner envie de remplir le questionnaire. Ne posez pas de questions trop difficiles ou intrusives au début du sondage, car cela pourrait gêner les répondants et les conduire à abandonner le questionnaire.

Enfin, il faut toujours tester le sondage auprès d’un petit groupe de répondants ou de personnes présentant les mêmes caractéristiques que la population observée pour s’assurer qu’ils comprennent bien les questions. Il est ensuite possible de clarifier certaines questions et de résoudre toute autre difficulté, par exemple les problèmes d’ordonnancement, avant d’administrer le sondage à l’ensemble de la population ciblée.

Étape 5 : Assurez-vous que les résultats du sondage sont fiables

Même le sondage le mieux conçu n’aura pas grande utilité s’il n’est pas envoyé aux bonnes personnes ou si seules quelques-unes y répondent. Pour que les résultats du sondage soient fiables, la population cible doit être choisie soigneusement et le taux de réponse doit être élevé.

Quand on réalise un sondage, il est toujours difficile d’échantillonner efficacement une population et de s’assurer d’obtenir des résultats fiables. Chaque fois que l’on essaie de généraliser les résultats d’un sondage qui a été réalisé auprès d’un échantillon de population (ne représentant qu’une partie de la population globale), il y a toujours une marge d’erreur. Le calcul de cette marge d’erreur est un élément important pour comprendre dans quelle mesure l’on peut se fier aux résultats du sondage. Il convient de maintenir cette marge d’erreur au plus bas niveau possible en utilisant des techniques de sélection des échantillons appropriées.

Dans le cadre d’un audit de performance, il est recommandé d’envoyer le sondage à l’ensemble de la population interrogée chaque fois que possible. Cette approche de recensement, comme on l’appelle, est toujours préférable car elle fournit les résultats les plus fiables. L’échantillonnage ne doit être utilisé que si la population n’est pas entièrement connue ou accessible, ou bien lorsqu’une approche de recensement serait trop exigeante en ressources.

En outre, il est important que le taux de réponse au sondage soit élevé pour garantir la validité des résultats. Afin d’obtenir un bon taux de réponse, il est essentiel de garantir aux répondants que leur confidentialité et leur anonymat seront pleinement protégés. Les bureaux d’audit législatif sont extrêmement bien placés pour réaliser des sondages. Notre crédibilité, notre indépendance et notre neutralité politique nous confèrent un certain degré d’autorité, de persuasion morale et de confiance, et nous devons veiller à ce que ce lien de confiance ne soit jamais rompu.

Pourquoi faire appel à des experts?

Bien que cela puisse sembler facile, réaliser des sondages s’avère souvent compliqué. Comme les auditeurs ne sont généralement pas spécialistes des méthodes de sondage, envisagez de recourir aux services d’une firme de sondage pour vous aider, surtout si l’audit ou les informations recherchées revêtent un caractère sensible.

Avant de faire appel à une firme de sondage, gardez à l’esprit les deux points suivants :

1. Pour un bureau d’audit législatif, la neutralité politique est cruciale. Comme de nombreuses firmes de sondage sont liées à des partis politiques spécifiques ou réalisent des sondages politiques, assurez-vous de recourir aux services d’une firme qui ne travaille pour aucun parti et qui n’a aucune affiliation politique.
2. Les prix bas ne sont pas toujours gages de qualité. Faites attention à l’expertise que vous achetez. Si les « experts » ne font qu’utiliser des outils en ligne dont vous pourriez vous servir, c’est que vous seriez probablement capable de réaliser le sondage par vous-même.

Une fois que vous avez choisi votre firme de sondage, faites appel à son expertise. Les experts peuvent vous aider à choisir la meilleure méthode pour atteindre votre objectif et devraient être en mesure de vous dire si vous faites fausse route compte tenu de ce que vous souhaitez réaliser. Ils peuvent également vous aider à concevoir et élaborer un questionnaire. Ils vous conseilleront lorsqu’une question est trop suggestive ou lorsque vous influencez ou biaisez les résultats. Ils vous aideront à tester le sondage et à y apporter les corrections nécessaires, ainsi qu’à obtenir un bon taux de réponse. Au bout du compte, leur expertise devrait vous permettre d’obtenir des résultats fiables contribuant à la rigueur du rapport final.

Votre implication tout au long du processus reste cependant nécessaire. Ne vous contentez pas de recruter des experts, de leur confier le projet et d’espérer que tout se passera bien. Donnez-leur des objectifs clairs et faites-leur part de vos critères d’audit. Expliquez exactement comment vous souhaitez utiliser les résultats du sondage dans votre rapport d’audit. Grâce à ces informations, les experts vous aideront à interpréter sous un angle approprié les résultats du sondage et s’assureront que l’importance de ceux-ci ne soit pas exagérée dans votre rapport.

Conclusion

Un sondage n’est pas un audit, mais il peut constituer un élément extrêmement utile d’un audit de performance. Les sondages d’opinion apportent des éclairages précieux qui peuvent aider à compléter les constatations d’audit. Lorsqu’ils sont réalisés correctement, selon une méthode, une rigueur et une expertise appropriées, les sondages peuvent fournir des informations fiables qui apportent une valeur ajoutée importante à un rapport d’audit de performance.

Références

Les auditeurs intéressés par la lecture d’un rapport d’audit utilisant des méthode de sondage conçues en fonction des critères de l’audit peuvent consulter le rapport d’audit de 2014 du vérificateur général du Manitoba, « Manitoba’s Framework for an Ethical Environment » (Cadre stratégique du Manitoba pour un environnement éthique) (en anglais seulement). L’annexe E de ce rapport présente la méthode de sondage qui a été utilisée ainsi que les résultats détaillés du sondage.