Introduction

Les gouvernements recueillent une masse considérable d’informations et ont un intérêt croissant à utiliser ces données pour prendre de meilleures décisions. Toutefois, plusieurs facteurs sont susceptibles de ralentir leur progression. Ces facteurs incluent le manque de temps, de ressources, d’expertise et d’outils, voire parfois l’absence d’une orientation stratégique, aux fins d’utilisation des données.

Les audits portent souvent sur des programmes ou des services gouvernementaux générant des données qui n’ont pas encore été utilisées pour déterminer l’impact ou l’efficacité de ces mêmes programmes et services. Par le passé, cela conduisait habituellement à des constatations d’audit du type « le ministère ne sait pas si son programme est efficace » ou « le ministère n’a pas évalué ses données pour évaluer s’il a atteint ses objectifs ». Selon cette logique, l’audit recommandaient alors au ministère « d’analyser ses données pour déterminer l’efficacité du programme » ou parfois de « recueillir et analyser des données lui permettant d’évaluer les résultats du programme ».

Ces dernières années, les auditeurs législatifs ont commencé à s’aventurer au-delà des constatations et recommandations de ce type pour utiliser des outils et des techniques d’analyse de données leur permettant d’analyser eux-mêmes l’efficacité des programmes. Les raisons suivantes expliquent ce changement :

• Les auditeurs ont accès à des outils et à une expertise auxquels les gouvernements n’ont pas toujours accès.
• Les auditeurs jettent un nouvel éclairage sur les possibilités d’analyse et de compréhension des activités du gouvernement.
• Les auditeurs ont accès à des données de différents secteurs du gouvernement qui leur permettent d’effectuer des analyses que les ministères et les organismes publics ne peuvent pas réaliser parce qu’ils travaillent en vase clos.
• Les gestionnaires de programme peuvent être incités à consacrer leurs ressources à la prestation des services de première ligne, de sorte qu’il leur paraît difficile de justifier une analyse des données tant que son utilité n’est pas prouvée.
• Rares sont les programmes qui prévoient les modalités de l’analyse des données à une étape suffisamment précoce pour permettre une collecte de données efficace, si bien qu’il faut plus de ressources pour procéder à l’analyse une fois que les programmes ont atteint leur vitesse de croisière. Les auditeurs ont parfois plus de temps et de ressources que les gestionnaires de programme pour surmonter cette contrainte.

Les bureaux d’audit ont réalisé qu’ils peuvent démontrer aux gouvernements la valeur de l’analyse des données en fournissant des exemples concrets de travaux analytiques de bonne qualité. Ceci peut inciter les gouvernements à procéder eux-mêmes à une analyse des données et à utiliser ces informations pour prendre de meilleures décisions stratégiques. Lorsque les conditions sont réunies pour leur permettre de produire des analyses précieuses, les auditeurs peuvent mieux répondre aux besoins de leurs parlementaires.

Cet article présente l’exemple du Bureau de la vérificatrice générale de la Colombie-Britannique, qui a pu réaliser ce type de travail analytique dans le cadre d’un audit sur la sécurité des véhicules utilitaires (en anglais seulement) publié en décembre 2018. L’audit examinait si trois organisations provinciales géraient efficacement leurs programmes respectifs de promotion de l’utilisation sécuritaire des véhicules utilitaires sur les routes de la Colombie-Britannique.

Pourquoi avons-nous décidé d’effectuer cette analyse des données?

Les activités du gouvernement en matière de sécurité des véhicules, incluant les inspections routières et les contrôles routiers, sont souvent considérées de prime abord comme un coût et une entrave à la libre circulation des véhicules. Le fait de pouvoir estimer les avantages sur le plan de la sécurité, dont la réduction du nombre d’accidents et l’impact en termes de coûts, contribue à démontrer la valeur des activités de prévention et permet d’améliorer la qualité des renseignements fournis aux personnes chargées de prendre des décisions sur la base d’une analyse coûts-avantages. Ces renseignements ont également leur importance pour les législateurs.

Une présentation donnée par le Bureau du vérificateur général de la Nouvelle-Écosse lors d’un symposium sur l’audit de performance du CCVL a été notre première source d’inspiration. Dans un audit sur la sécurité des camions réalisé en 2009 (en anglais seulement), le Bureau du vérificateur général de la Nouvelle-Écosse a effectué une analyse des données pour évaluer si le gouvernement avait respecté ses normes de service concernant les inspections des véhicules utilitaires. Nous avons demandé à un expert sur le sujet, le professeur Garland Chow, de l’Université de la Colombie-Britannique, de nous prodiguer des conseils sur la réalisation de ce type d’analyse des données.

Quelle approche avons-nous adoptée en matière d’analyse des données?

Voici les étapes que nous avons suivies pour préparer le modèle et les données aux fins d’analyse.

1. Identifier un modèle pouvant permettre d’évaluer l’impact des activités de sécurité des véhicules utilitaires.

Le professeur Chow nous a recommandé le « Roadside Intervention Effectiveness Model » (RIEM), un modèle d’efficacité des interventions routières utilisé aux États-Unis.

2. Confirmer auprès des personnes-ressources du ministère que le modèle pouvait s’appliquer au contexte de la C.-B.

Nous avons validé le modèle auprès du ministère des Transports et de l’Infrastructure. Nous avons échangé des renseignements généraux concernant le modèle avec nos principales personnes-ressources au sein du ministère et nous leur avons montré comment les résultats étaient utilisés aux États-Unis. Comme le RIEM était utilisé dans tous les États américains, et puisque les normes de sécurité des véhicules utilitaires et les principes d’application sont similaires au Canada et aux États-Unis, nous avons jugé raisonnable d’étendre le modèle à la C.-B., moyennant quelques adaptations.

3. Consulter les chercheurs responsables du modèle.

Nous avons soumis notre plan et notre approche à l’avis des chercheurs du département des Transports des États-Unis qui supervisent les travaux relatifs au RIEM.

4. Adapter le modèle au contexte et aux données de la C.-B.

Le ministère nous a fourni des données sur les inspections routières et les contrôles routiers en C.-B. ainsi que sur les infractions identifiées durant ces activités – l’intrant clé du modèle. Le ministère nous a également communiqué le tableau utilisé au Canada pour garantir l’équivalence des infractions commises avec un véhicule automobile d’une juridiction à une autre, que nous avons utilisé pour classer les groupes d’infractions de la C.-B. en fonction des groupes d’infractions du RIEM.

Nous avons déterminé que la plupart des groupes d’infractions étaient définis de la même façon en C.-B. et dans le RIEM. Toutefois, certains groupes d’infractions du RIEM n’étaient pas définis ou utilisés en C.-B., et vice-versa. En outre, la classification de certains groupes d’infractions constatées pendant les inspections routières était plus agrégée en C.-B. que dans le RIEM. Nous avons aussi dû reclasser les infractions classées dans le groupe « divers » en C.-B. avant de pouvoir les utiliser dans le modèle.

Pour minimiser la différence entre les classifications des groupes d’infractions et maximiser la précision des estimations du nombre d’accidents évités, nous avons utilisé un certain nombre de procédures. Celles-ci ont notamment consisté à demander au personnel du ministère de confirmer la correspondance entre les groupes d’infractions de la C.-B. et ceux du RIEM, ainsi qu’à estimer l’impact potentiel des activités de prévention non mesurées en C.-B. et des activités menées en C.-B. mais non reconnues dans le RIEM.

5. Épurer les données et les verser dans le modèle.

L’épuration des données consistait principalement à s’assurer qu’il n’y avait pas de « double comptage » des infractions constatées à la fois durant la procédure d’inspection et à l’occasion d’un contrôle routier donnant lieu à une contravention.

Page 1 de 2

À propos de l’auteure

Jessica Schafer travaille au Bureau de la vérificatrice générale de la Colombie-Britannique depuis 2009 et elle y est présentement gestionnaire d’audits de performance. Elle a un grand intérêt pour l’analytique des données appliquée à l’audit et a expérimenté avec plusieurs techniques d’analyse dans plusieurs audits ayant précédé celui sur la sécurité routière des véhicules commerciaux. Elle est membre du comité de travail sur l’éducation du CCVL et elle a contribué à plusieurs projets de la FCAR, notamment en tant que mentore pour des boursiers internationaux et comme conseillère pour le document de travail sur l’analyse des causes profondes ainsi que pour le cours sur la collecte et l’analyse des éléments probants.

Avant d’être auditrice, elle oeuvrait dans le milieu académique et travaillait sur projets relatifs au développement communautaire, au développement international et aux études africaines, aux universités de Sussex, d’Oxford, de Victoria et d’Ottawa.

Contactez l’auteure

jschafer@bcauditor.com