Comment le modèle fonctionne-t-il?

L’utilisation d’un modèle de données nécessite de comprendre clairement tous les intrants requis, de connaître la source des données et de savoir comment les différents intrants sont utilisés pour produire un résultat. Les intrants utilisés par le RIEM pour estimer le nombre d’accidents évités grâce aux inspections routières et aux contrôles routiers sont décrits ci-dessous.

Les véhicules utilitaires font l’objet d’inspections routières réalisées par des inspecteurs de la sécurité des véhicules utilitaires. Chaque inspection respecte le protocole nord-américain et couvre les mêmes éléments. Toute infraction constatée est enregistrée et punie d’une amende ou d’une obligation de corriger la défaillance. Un inspecteur de la sécurité des véhicules utilitaires peut aussi établir une contravention pour toute infraction à la loi sur les véhicules motorisés (Motor Vehicle Act) de la Colombie-Britannique. Ces infractions peuvent recouper celles figurant sur la liste d’inspection ou en être tout à fait distinctes. À titre d’exemple, un véhicule utilitaire peut être arrêté pour excès de vitesse, puis faire l’objet d’une inspection révélant une défaillance du système de freinage, ce qui constitue une infraction au protocole d’inspection.

Chaque inspection routière ou contrôle routier constitue une intervention. Lorsque l’intervention met au jour une infraction, on considère qu’elle a permis de réduire le risque d’accident. Le RIEM exprime cette réduction du risque en termes d’accidents évités grâce à la correction de chaque défaillance observée.

Chaque infraction est classée dans un « groupe d’infractions » incluant des infractions connexes présentant le même risque d’accident. À titre d’exemple, le groupe « conduite non sécuritaire » inclut toutes les infractions relatives à la conduite non sécuritaire, par exemple le défaut de s’immobiliser à un feu rouge, le mauvais changement de voie ou le défaut de céder le passage. Le risque d’accident attribué par le RIEM à chaque groupe d’infractions est estimé en examinant l’incidence des infractions spécifiques constatées pendant les inspections routières faisant suite à un accident comparativement à celles constatées pendant les inspections n’ayant pas de lien avec un accident. Ce risque est multiplié par la durée estimée de l’impact de l’intervention, puis par le taux de correction estimé pour chaque intervention, qui ont également été déterminés sur la base des données provenant des États-Unis. Certaines infractions donnent par exemple lieu à une interdiction de conduire ou de manœuvrer un véhicule pendant une certaine période, qui constitue la durée de l’impact. Enfin, comme les défaillances observées ne sont pas toujours corrigées par les conducteurs à l’issue des interventions, le taux de correction doit être pris en compte.

En faisant la somme, pour tous les groupes d’infractions, des probabilités de risque d’accident après correction pour les interventions effectuées pendant une période donnée, le modèle estime le nombre d’accidents évités grâce aux inspections routières et aux contrôles routiers (figure 1).

Ces données permettent d’estimer les économies découlant des interventions de sécurité, sur la base d’une estimation des coûts sociaux liés aux collisions (fournie par le ministère).

Quels ont été les résultats de notre analyse des données?

En utilisant le modèle et les données fournis par le ministère des Transports et de l’Infrastructure, nous avons pu estimer le nombre d’accidents évités grâce aux inspections routières et aux contrôles routiers visant les véhicules utilitaires entre 2014 et 2016 (la période pour laquelle des données étaient disponibles). Nous avons également utilisé les données provinciales sur les accidents pour estimer le nombre de blessures et de décès évités, ainsi que le montant des économies réalisées en évitant ces accidents.

Les résultats du modèle montrent que sur les trois années que nous avons analysées, les inspections routières et les contrôles routiers visant les véhicules utilitaires en C.-B. ont permis d’éviter environ 1 100 collisions, ainsi que quatre décès et plus de 260 blessures non mortelles. On estime que les économies ainsi réalisées s’élèvent à 130 millions de dollars en termes de coûts sociaux, incluant les journées de travail perdues et les frais médicaux, et à environ 18 millions de dollars en termes de dépenses d’assurance provinciales.

Le nombre annuel d’accidents évités a diminué entre 2014 et 2016, en raison d’une baisse du nombre d’inspections routières et de contrôles routiers. Cette baisse a été en partie compensée par l’amélioration de la productivité des inspections routières (c’est-à-dire que le nombre d’infractions constatées par inspection a augmenté). Cette productivité accrue est probablement due à la participation croissante à un programme de présélection électronique (« Weigh2GoBC » – en anglais seulement) grâce auquel les inspecteurs peuvent se concentrer sur les véhicules présentant un risque élevé pour effectuer des inspections approfondies.

D’après notre analyse, le ministère pourrait envisager certaines options et initiatives pour maintenir et améliorer l’efficacité des interventions de sécurité malgré le manque de ressources. En utilisant différemment les données du ministère, nous lui avons fourni des informations et une analyse détaillées qui aideront les responsables ministériels à prendre des décisions éclairées pour améliorer la sécurité des véhicules.

Notre analyse a également suscité l’intérêt de l’Assemblée législative; le rapport d’audit a été examiné par le comité des comptes publics en février 2019.

Quelles ont été les difficultés?

Le recours à un modèle de données pour tester l’efficacité des inspections routières et des contrôles routiers s’est avéré être une procédure d’audit précieuse. Certaines difficultés, détaillées ci-dessous, se sont toutefois posées.

Temps

Comme c’est souvent le cas avec les analyses de données, l’épuration des données et l’adaptation du modèle à notre contexte sont les activités qui ont nécessité le plus de temps et d’efforts. Nous avons utilisé les données de trois systèmes de données ministériels, que nous avons regroupées au moyen du logiciel d’audit ACL. Ce processus long et fastidieux a duré environ trois mois. L’adaptation du modèle et la validation des données ont nécessité trois autres mois de travail. De plus, notre équipe d’audit de la technologie de l’information (TI) a examiné les contrôles généraux de la TI des systèmes de données pour évaluer la fiabilité des données. Cet examen a nécessité approximativement 400 heures de travail sur environ quatre mois.

Méthode

En matière d’audit de performance, l’une des difficultés consiste à s’assurer que l’analyse fournit des données qui peuvent être utilisées pour tirer une conclusion en fonction des critères d’audit. Dans notre plan initial, nous n’étions pas sûrs de pouvoir utiliser les données analytiques comme éléments probants. Nous n’avions donc pas établi de critères bien alignés avec le modèle. En conséquence, après confirmation de la validité du modèle, nous avons dû ajuster l’un de nos critères pour mieux l’aligner avec le modèle. L’équipe d’audit a dû s’adresser à nouveau au ministère pour discuter du changement et confirmer que le nouveau critère était approprié.

Validation

Dans le cadre de notre processus d’approbation du rapport, nous avons informé le département des Transports des États-Unis que nous mentionnerions publiquement son modèle dans notre audit. À ce stade avancé du processus, on nous a signalé que le modèle était en cours de mise à jour (en plus de 20 ans d’utilisation, il a fait l’objet de mises à jour régulières). Nous estimions qu’il n’y avait pas de risque que nos résultats ne soient plus valables, étant donné que nous avions validé le modèle en l’adaptant au contexte de la C.-B. Il nous incombait toutefois de signaler que le modèle était en cours de mise à jour car celle-ci était susceptible de modifier les futurs résultats publiés sur la base des mêmes données. Dans la mesure où notre rapport contenait une estimation, nous devions faire part aux lecteurs de cette possibilité. Il n’est pas toujours facile d’être vigilant face à ce type de changements quand on consacre toute son attention aux différentes tâches requises pour valider les données, appliquer le modèle et rendre compte des résultats.

Quel a été l’impact de notre analyse des données?

Dans notre audit, nous recommandions au ministère de recueillir et d’analyser des données lui permettant d’élaborer des cibles appropriées et d’évaluer l’efficacité de ses programmes de sécurité des véhicules utilitaires, ce qu’il a accepté de faire. Dans son plan d’action (en anglais seulement) visant à mettre en œuvre les recommandations de l’audit, le ministère s’est engagé à travailler avec des experts externes sur l’analyse des données, y compris en élaborant des cibles mesurables et une méthode de collecte de données. Le ministère a également demandé à utiliser l’analyse des données de l’audit pour préparer une présentation au Cabinet.

Conclusion

Même si ce type d’analyse des données nécessite énormément de temps et d’efforts, l’investissement en valait clairement la peine compte tenu de la valeur ajoutée apportée aux résultats de l’audit et à l’organisation auditée.

Au-delà du RIEM, d’autres modèles permettent d’analyser les données pour améliorer l’efficacité des activités de sécurité des véhicules utilitaires. Il existe un modèle similaire qui évalue l’impact des interventions de sécurité auprès des transporteurs exploitant des véhicules utilitaires, appelé « Carrier Intervention Effectiveness Model ». Nous n’avons pas effectué d’analyse utilisant ce modèle en raison d’un manque de temps et de ressources, mais aussi parce que nous estimions que l’analyse des données du RIEM nous permettait de démontrer au ministère la valeur de ce type de travail et de lui fournir les informations dont il avait besoin pour entreprendre des travaux analytiques similaires à l’avenir. Nous avons ouvert une voie que le ministère peut désormais emprunter.

Références

1. Hyeonshic Shin, Sanjay Bapna et Ramesh Buddharaju (2014), Maryland Motor Carrier Program Performance Enhancement, rapport de recherche de la State Highway Administration, MD-14-SP708B4D, département des Transports du Maryland, Hanover, Maryland (en anglais seulement).
2. Ministère des Transports et de l’Infrastructure de la Colombie-Britannique (2019), Action Plan and Progress Assessment (APPA) for the Implementation of Audit Recommendations from the OAG, Victoria, Colombie-Britannique (en anglais seulement).
3. Bureau de la vérificatrice générale de la Colombie-Britannique (décembre 2018), An Independent Audit of Commercial Vehicle Safety, Victoria, Colombie-Britannique (en anglais seulement).
4. Bureau du vérificateur général de la Nouvelle-Écosse (avril 2009), rapport complet, chapitre 4, Transportation and Infrastructure Renewal and Service Nova Scotia and Municipal Relations: Truck Safety, Halifax, Nouvelle-Écosse (en anglais seulement).
5. Département des Transports des États-Unis, Federal Motor Carrier Safety Administration (avril 2017), FMCSA Safety Program Effectiveness Measurement: Carrier Intervention Effectiveness Model (CIEM), Version 1.1, Report for Fiscal Year 2013 Interventions, Washington D.C. (en anglais seulement).
6. Département des Transports des États-Unis, Federal Motor Carrier Safety Administration (2017), Safety Measurement System (SMS) Methodology: Behavior Analysis and Safety Improvement Category (BASIC) Prioritization Status, version 3.0.7 (en anglais seulement).
7. Département des Transports des États-Unis, Federal Motor Carrier Safety Administration (février 2016), FMCSA Safety Program Effectiveness Measurement: Roadside Intervention Effectiveness Model, Fiscal Year 2012, Washington D.C. (en anglais seulement).