Introduction

Depuis leur apparition il y a 40 ans, les audits de performance dans le secteur public ont eu tendance à se concentrer sur les systèmes et les pratiques. Malgré une volonté de réaliser davantage d’audits visant à déterminer si les programmes gouvernementaux atteignent les résultats escomptés, ces audits axés sur les résultats restent peu fréquents.

Dans cet article, je présente une approche, fondée sur un modèle simple, qui peut aider les auditeurs du secteur public à planifier et à mener des audits axés sur les résultats ainsi qu’à rendre compte efficacement de leurs constatations. Cette approche peut également aider à cerner les causes profondes.

La promesse des audits axés sur les résultats : la route est encore longue

À l’origine, les audits de performance visaient à examiner l’économie, l’efficience et l’efficacité (avec toutefois quelques restrictions concernant l’efficacité dans le mandat de certaines institutions d’audit). Malheureusement, les premiers audits de performance réalisés dans les années 1980 ressemblaient souvent à un cours de gestion 101 – ils étaient trop axés sur les systèmes et les pratiques, et pas assez sur la question de savoir si les activités auditées produisaient des résultats. En dépit du consensus visant à se concentrer davantage sur les résultats, peu de changements furent constatés dans les années qui suivirent. Les audits continuaient de porter beaucoup plus sur la bonne gestion des activités auditées que sur les résultats qu’elles produisaient.

Le problème initial provenait en grande partie du fait que les informations sur les résultats étaient difficiles à obtenir et à utiliser pour les raisons suivantes :

• Les quelques bases de données sur les résultats disponibles étaient rarement utilisées pour la prise de décision en matière de gestion.
• Lorsqu’une base de données existait, les auditeurs avaient la lourde tâche d’épurer les données pour disposer d’éléments pouvant être analysés ou utilisés comme base d’échantillonnage. L’audit pouvait aussi exiger de coupler deux ensembles de données qui n’avaient jamais été appariés auparavant; les identificateurs manquants réduisaient alors le nombre d’appariements.
• Si un échantillonnage était requis, la nécessité d’avoir un échantillon représentatif de grande taille pour pouvoir faire une extrapolation était décourageante.

Heureusement, la situation s’est améliorée avec la révolution numérique et l’émergence d’outils d’analyse de données et d’applications d’intelligence artificielle extrêmement efficaces.

Mais, même lorsque des données sont disponibles, les audits axés sur les résultats demeurent complexes. Les techniques d’analyse – du type de celles qu’utilisent les évaluateurs de programme et les statisticiens – constituent souvent une nouveauté pour les auditeurs. Récemment, des analyses de régression et d’autres techniques statistiques ont été utilisées dans certains audits de performance, mais les exemples sont encore rares. En outre, même lorsque les auditeurs ont la formation statistique nécessaire, il peut malgré tout s’avérer difficile d’expliquer clairement dans le rapport d’audit, ou au comité des comptes publics, sur quoi les constatations d’audit sont fondées.

Simplification des audits axés sur les résultats : modéliser l’activité auditée comme un pipeline

À propos de l’auteur

Neil Maxwell a travaillé pendant plus de 30 ans au Bureau du vérificateur général (BVG) du Canada, où il a terminé sa carrière au poste de vérificateur général adjoint, de 2007 à 2015. Lors de ses dernières années au BVG, il a également occupé le poste de responsable des audits de performance et a été nommé commissaire à l’environnement et au développement durable par intérim.

Récemment, en tant que collaborateur de la FCAR, Neil a participé à la conception de plusieurs cours et a dispensé des cours sur l’audit de performance dans de nombreuses juridictions. Il a en outre contribué à plusieurs projets de recherche, dont le document de travail de la FCAR, Approches à l’égard de la sélection et de la planification pluriannuelle des audits, dont il est le chercheur et auteur principal.

Neil est titulaire d’une maîtrise en administration publique et d’un baccalauréat ès arts (avec spécialisation en géographie) de l’Université Queen’s.

Contactez l’auteur :

neilrjmwell@gmail.com

Les audits axés sur les résultats s’avèrent complexes dès l’étape de la délimitation de l’étendue. Les auditeurs trouvent souvent compliqué et long d’élaborer le modèle logique ou le modèle de processus requis pour comprendre le lien entre les intrants, les activités, les extrants et les effets d’un programme public donné. À titre d’exemple, la FCAR enseigne quatre techniques de modélisation pour la planification (les modèles logiques, le modèle de gestion « planifier, faire, vérifier, agir », les modèles de processus et les « arbres de problèmes »), ainsi que quatre techniques d’analyse des causes profondes (les cinq pourquoi, les diagrammes en arêtes de poisson, les diagrammes de Pareto et la cartographie des causes). Le modèle qui en résulte n’est souvent pas facile à comprendre et est donc rarement utilisé dans le rapport d’audit. La complexité est telle qu’il s’avère difficile de délimiter correctement l’étendue de l’audit ou de déterminer sur quels éléments la collecte et l’analyse des éléments probants devraient se concentrer.

J’adopte souvent une approche plus simple qui consiste à modéliser le sujet audité comme un « pipeline ». Tout le monde comprend le fonctionnement d’un pipeline. Quelque chose y entre par une extrémité et en ressort par l’autre, sauf s’il y a des fuites. Si l’on applique ce principe à un audit, des ressources entrent par une extrémité, pompées par des activités soumises à des contrôles de gestion le long du pipeline, et des résultats sortent à l’autre extrémité. En théorie, tous les résultats escomptés doivent sortir du pipeline, mais le plus souvent, certains d’entre eux se perdent en cours de route en raison de fuites dues à un défaut de conception ou de mise en œuvre des contrôles de gestion.

Dans un audit récent sur l’approvisionnement en fournitures (qui n’a pas encore été publié), j’ai proposé d’utiliser le modèle du pipeline. Le Parlement fournit un financement à une extrémité, et les utilisateurs reçoivent des fournitures lorsqu’ils en ont besoin à l’autre extrémité. L’audit consistait à repérer les fuites tout au long du pipeline, en commençant par l’entrée (figure 1). Il est apparu qu’une part importante des fonds autorisés par le Parlement n’était pas dépensée en raison de retards d’approbation. Des retards d’approvisionnement réduisant la quantité de fournitures circulant dans le pipeline ont ensuite été constatés. Puis, des pertes de fournitures stockées devenues périmées sont venues alimenter la fuite. L’audit a cherché à quantifier les fuites le long du pipeline et à déterminer les raisons de l’échec des contrôles à chaque étape.

Figure 1 – Identification des fuites du pipeline perturbant les résultats dans un audit sur l’approvisionnement en fournitures

Page 1 de 2