ARCHIVÉ - Les liens entre la verification et l'évaluation dans les ministères fédéraux canadiens (SCT papier) - le 30 septembre

Cette page a été archivée.

Types de lien

Historique, tendances et théorie

La vérification et l'évaluation ont pris forme de façon très distincte, à des moments différents et à partir de disciplines différentes. La vérification est issue de la comptabilité et de la gestion financière et elle a conservé leur indépendance traditionnelle de la gestion de programme. Sa force tient beaucoup à ce qu'elle repose sur un ensemble de normes largement reconnues (IIA et gouvernement fédéral). Elle offre toute une gamme de produits, de la vérification intégrée à la vérification de la conformité, portant sur divers aspects d'une organisation, mais, quelle que soit sa forme, elle prend comme point de départ la gestion et les opérations de l'organisation et elle se déplace vers les activités et les produits de l'organisation.

L'évaluation, dont l'origine remonte seulement aux années 60, est née en réaction à un besoin perçu aux États-Unis de comprendre les effets réels des projets militaires de la « grande société ». Elle s'inspire de méthodes (principalement socio-) scientifiques, présentant des preuves empiriques de l'impact et de l'effet des politiques d'intérêt public devant servir à la prise de décision. L'évaluation s'intéresse d'abord à l'impact et aux résultats de l'organisation et elle approfondit ensuite son approche pour chercher les explications opérationnelles de ces résultats. L'évaluation s'est donnée son propre ensemble de normes (AEA et gouvernement fédéral) pour la mesure du rendement, mais elle reste traditionnellement en liaison avec les gestionnaires et les planificateurs de programmes, préférant l'objectivité à l'indépendance dans la pratique.

En raison de l'origine de chaque fonction, la vérification au gouvernement fédéral a toujours été rattachée au secteur de la gestion financière, tandis que l'évaluation l'a été à celui de l'élaboration des politiques. S'il est généralement acquis que la vérification et l'évaluation font partie d'un continuum de services d'information sur l'organisation qui se chevauchent dans des domaines tels l'efficience des opérations et la rentabilité, on a depuis toujours maintenu une distinction, l'évaluation s'occupant de l'analyse des politiques et des résultats, et la vérification, des contrôles financiers internes et des systèmes de gestion.

Ces traditions ont évolué au cours de la dernière décennie dans de nombreuses administrations, tant dans le secteur privé que dans le secteur public. Il semble y avoir deux raisons à cela dans le secteur public, les deux étant liées aux compressions budgétaires. En premier lieu, les compressions dans les secteurs de la vérification et de l'évaluation font que ces fonctions sont davantage pressées de montrer leur utilité en répondant à la demande de produits de la part de clients. Il leur faut par conséquent faire preuve de souplesse dans l'établissement de la liste des produits qu'ils offrent et se montrer disposées à prendre en charge des tâches qui ne correspondent pas nécessairement au cadre traditionnel de la discipline. Il semble que les clients cherchent maintenant davantage des produits qui les renseignent sur les opérations, de manière à modifier progressivement les programmes pour les exécuter avec plus d'efficacité et d'efficience. C'est ainsi que l'évaluation se rapproche de plus en plus de la vérification.

En deuxième lieu, les compressions dans les ministères et programmes d'exécution contribuent à rendre plus valables les renseignements découlant des examens, s'ils s'appliquent aux cadres hiérarchiques. On demande de plus en plus à la vérification, non seulement de déceler l'existence de problèmes, mais aussi d'examiner l'ampleur des problèmes et les solutions possibles. Par ailleurs, on demande de plus en plus à l'évaluation de commenter l'impact de structures ou de systèmes particuliers sur l'atteinte des objectifs. En raison des problèmes bien précis qu'éprouvent les gestionnaires soumis aux compressions, les groupes de vérification et d'évaluation subissent les nouvelles pressions mentionnées précédemment, ce qui leur donne l'occasion de procéder à des examens pour obtenir de nouveaux clients avec de nouveaux produits (de niveau opérationnel).

Pour ces deux raisons, la vérification a commencé à s'intéresser au rendement et aux programmes, tandis que l'évaluation s'attache de plus en plus aux processus et à l'efficience. C'est ainsi que les aspects opérationnels de l'examen commencent à l'emporter tant sur les aspects stratégiques que redditionnels. Cette évolution ne va pas sans controverse. L'importance que l'évaluation accorde à l'efficience, par exemple, est un point litigieux depuis les premiers jours de la fonction au Canada, des autorités se prononçant aussi bien d'un côté comme de l'autre. Le danger est qu'on en vienne à oublier la contribution que l'évaluation est seule capable d'apporter à la prise de décision stratégique et à la planification. De même, on perdra beaucoup si la fonction de vérification délaisse la reddition des comptes au profit des opérations. On ne croit pas qu'il s'agisse là des conséquences de l'établissement d'un lien entre la vérification et l'évaluation, mais plutôt d'aspects de la cause des rapports plus étroits entre les deux.

Lien organisationnel

Vers la fin des années 80 et au début des années 90, la plupart des ministères ont établi une relation organisationnelle entre leurs groupes de vérification et d'évaluation. Dans la structure la plus courante, les deux groupes relèvent du même directeur général de la vérification et de l'évaluation. Dans d'autres cas, ils relèvent du même directeur ou sous- ministre adjoint, ou encore d'un cadre supérieur qui est aussi chargé de fonctions telles la consultation de gestion, la planification ou les enquêtes spéciales sur les fraudes. Parmi les ministères étudiés qui avaient établi un lien entre leurs fonctions d'examen, il y en avait à peu près un nombre égal à avoir fait relever le nouveau service du secteur des politiques que du secteur de la gestion générale.

Dans la plupart des ministères, c'est pour épargner des ressources administratives, des frais généraux et surtout du personnel cadre qu'on a lié les fonctions dans l'organisation. Règle générale, il y a un directeur général de la vérification et de l'évaluation dont relèvent un directeur de la vérification et un directeur de l'évaluation, mais, de plus en plus dans les plus petites organisations, il n'y a qu'un seul directeur général de qui relèvent tous les agents. Il s'en suit une organisation plus horizontale, moins chère et peut-être plus réceptive et plus efficiente, mais aussi une organisation qui se situe à un niveau plus bas dans la hiérarchie. Cette dernière caractéristique peut avoir une incidence importante sur les opérations de l'organisation d'examen. Un groupe d'examen dont l'importance est moindre dans l'organisation est moins sensibilisé aux enjeux ministériels, trouve plus difficile de se faire entendre à un niveau stratégique et peut être plus proche des gestionnaires de programme. Ces changements ont des répercussions sur la nature, le contexte et l'efficacité des activités d'examen. Par ailleurs, il y a aussi moins de niveaux hiérarchiques entre les fonctions d'examen et l'administrateur général.

Une autre raison d'établir un lien organisationnel s'articule autour de ce qu'on appelle souvent le problème de la « masse critique ». Certains soutiennent que, si des groupes distincts de vérification et d'évaluation n'ont pas une certaine taille, ils ne commanderont pas un respect suffisant dans le ministère, ni ne disposeront des compétences pour offrir des produits utiles, et qu'il est souhaitable d'établir un lien entre les fonctions pour améliorer le profil et la productivité de chacune. Plusieurs chefs de l'examen ont indiqué qu'il s'agit là d'un problème. Ils le considèrent cependant comme un argument de peu de poids, mais valable dans la mesure où l'amalgamation de très petits groupes devrait augmenter la visibilité des deux fonctions dans le ministère. On ne voit pas très bien pourquoi le simple établissement d'un lien organisationnel entre des fonctions modestes devrait accroître leur capacité d'offrir des produits.

Comme elle est généralement entreprise pour des raisons liées aux ressources, l'intégration organisationnelle ne vise pas généralement, dans l'esprit des personnes qui en prennent l'initiative, à produire des effets importants sur le rendement des fonctions de vérification et d'évaluation. L'on s'attend à ce que le travail se poursuive comme avant dans chaque domaine, mais peut-être de façon plus efficiente en raison du caractère plus horizontal de l'organisation. On reconnaît la possibilité d'avantages marginaux, comme partager les renseignements et ne pas demander deux fois les mêmes renseignements au gestionnaire, étant donné que chaque fonction est plus au courant de l'activité de l'autre. Toutefois, il s'agit là d'avantages secondaires par rapport au désir de réduire les frais généraux et ceux du personnel cadre. Les modifications des fonctions découlant de tels changements organisationnels sont en général craints par les intéressés parce qu'ils croient qu'elles affaiblissent la cohésion et les compétences de chaque fonction; le lien organisationnel tend à être perçu comme le début de la fin pour la distinction professionnelle entre les vérificateurs et les évaluateurs. Lorsque la Direction de l'évaluation et de la vérification a été créée dans l'ancien Bureau du contrôleur général, il a fallu faire beaucoup d'efforts pour expliquer aux milieux de la vérification et de l'évaluation que le nouveau lien au centre ne représentait pas un affaiblissement de l'engagement à maintenir des groupes professionnels forts et distincts, mais un effort pour trouver des moyens plus efficaces et plus efficients de réaliser les produits de vérification et d'évaluation.

Il semble maintenant que le lien organisationnel a effectivement eu un certain impact fonctionnel sur la distinction entre la vérification et l'évaluation, mais non pas de la façon qu'on craignait au départ. Ces faits nouveaux seront approfondis ci-après, mais, en résumé, il s'agit du changement de perspective chez le premier responsable (du fait qu'une seule personne dirige les deux fonctions), des effets de la planification conjointe, de la souplesse des ressources (du fait qu'un seul budget s'applique aux deux fonctions) et du perfectionnement des méthodes en raison du rapport avec des agents d'une profession connexe.

Le « guichet unique »

Le guichet unique est une forme particulière de lien organisationnel où les clients qui demandent des services de vérification ou d'évaluation sont encouragés à poser leurs questions sans égard à la distinction entre les aspects qui tiennent à la vérification ou à l'évaluation. Cette façon de procéder a été jugée avantageuse par de nombreux ministères du fait que les clients n'ont pas à connaître les subtilités de la distinction entre la vérification et l'évaluation et qu'ils peuvent exprimer plus spontanément et plus précisément leurs véritables besoins et intérêts. Pour ces raisons, le guichet unique est très apprécié et hautement souhaité par la plupart des ministères.

La moitié des chefs de l'examen avec qui nous avons communiqué ont dit expressément qu'ils cherchent à offrir à leurs clients un service « à guichet unique », « polyvalent » ou « transparent », et un petit nombre seulement tenait beaucoup, pour des raisons de principe, à offrir des guichets distincts pour la vérification et l'évaluation. Ces derniers étaient les mêmes qui tenaient à des fonctions non liées organisationnellement. La possibilité d'appliquer le guichet unique dépend de la haute direction du ministère; certains demandent une vérification ou une évaluation, tandis que d'autres préfèrent présenter à leur groupe d'examen une simple liste de problèmes ou de questions, sans faire de distinction entre la vérification et l'évaluation.

La polyvalence du service ne dépend pas de l'intégration organisationnelle en ce sens que l'un peut aller sans l'autre; en pratique toutefois, le service à guichet unique tend habituellement à être intégré sur le plan organisationnel. Un point de contact unique avec les clients peut être une façade masquant des unités distinctes et bien définies de vérification et d'évaluation, derrière laquelle le problème du client est disséqué selon ses éléments de vérification et d'évaluation dès le début du processus. Par conséquent, le guichet unique n'est que le symbole d'une orientation- clients de la part du groupe d'examen et il peut ne révéler rien d'autre au sujet de l'organisation interne de la vérification et de l'évaluation.

Outre qu'elle sert le but de l'orientation-client, la transparence a un avantage important puisqu'elle établit une distinction bien réelle plutôt qu'artificielle entre la vérification et l'évaluation. Après que le client se soit adressé au groupe de vérification et d'évaluation avec sa liste de problèmes ou de questions à examiner, il appartient aux fonctions d'examen de les attribuer aux agents ayant les compétences nécessaires. Cela vaut également pour les groupes de vérification-évaluation qui sont organisationnellement distincts, liés ou fusionnés, et fonctionnellement liés ou distincts. Pour attribuer les questions en fonction des compétences, il faut chaque fois retracer la démarcation entre la vérification et l'évaluation, compte tenu concrètement des documents à fournir. Par conséquent, consciemment ou non, l'organisation doit se convaincre chaque fois que sa structure interne de vérification et d'évaluation répond aux besoins de ses clients et des études qu'ils demandent. Il s'agit là d'un exercice valable de réévaluation constante de l'organisation.

Lien fonctionnel

Les distinctions dans l'organisation dissimulent dans une grande mesure le fait que la majorité des groupes font essentiellement les mêmes choses. La plupart des chefs de la vérification et de l'évaluation conviennent que les examens se situent sur un continuum allant de la vérification à l'évaluation, et qu'il y a des zones grises entre les deux. C'est donc que tous les ministères, peu importe la structure de leurs fonctions de vérification et d'évaluation, font certaines vérifications traditionnelles, certaines évaluations traditionnelles et certaines études qui se situent entre l'une et l'autre fonction. C'est vrai pour les groupes où la vérification et l'évaluation ne se distinguent pas sur le plan organisationnel, de même que pour ceux où il n'y a pas de liens officiels entre elles. Essentiellement, la plupart conviennent que les vérifications pures et les évaluations pures sont des catégories d'examens et qu'il existe une troisième catégorie englobant les zones grises. Le lien fonctionnel porte sur la gestion de cette zone grise.

Le terme « lien fonctionnel » englobe toute une gamme d'activités qui comportent une relation plus ou moins poussée entre la vérification et l'évaluation, depuis la planification annuelle conjointe jusqu'à des projets occasionnels touchant des questions à la fois de vérification et d'évaluation, et des études d'examen fusionnées du point de vue fonctionnel.

Le lien fonctionnel minimal se reflète dans la coordination des plans annuels. La mesure dans laquelle les plans peuvent être conjoints varie selon les cas. Il peut s'agir tout au plus de deux documents de planification imprimés ensemble sans qu'il y ait eu interaction réelle ou, inversement, il peut y avoir eu une grande collaboration, mais les plans définitifs sont imprimés séparément. Manifestement, c'est l'interaction qui est importante. Un plan annuel conjoint permet la réalisation de certains des avantages cherchés dans le lien fonctionnel. Mentionnons notamment la connaissance des études que l'autre groupe entreprend, la possibilité de se communiquer des renseignements et des recherches, et peut-être un certain contact avec les méthodes de l'autre. La planification conjointe existe plus ou moins ipso facto pour les groupes liés organisationnellement, mais elle doit être recherchée expressément dans les ministères ayant des unités indépendantes de vérification et d'évaluation. Un chef de groupes de vérification et d'évaluation fonctionnellement distincts a fait observer que la participation des cadres supérieurs et des gestionnaires de programme à l'élaboration d'un plan annuel conjoint a contribué à les sensibiliser aux distinctions entre la vérification et l'évaluation, ce qui a justifié la séparation des fonctions dans ce ministère.

Il devient de plus en plus courant pour un ministère d'entreprendre occasionnellement des études conjointes. Environ la moitié des ministères étudiés ont participé à une entreprise conjointe de vérification-évaluation dans le passé récent, et un autre quart se disent favorables à l'idée même s'ils ne l'ont pas encore mise en pratique. Le processus se déroule généralement comme suit. On définit généralement, dans le processus de planification annuelle, un secteur pouvant faire l'objet d'une étude conjointe, après quoi on explore conjointement les questions d'intérêt, on détermine l'ensemble des renseignements nécessaires et on dresse les listes de questions et les plans de travail. Le processus est généralement lancé par des travaux distincts d'enquête et de recherche pouvant donner lieu à des échanges de renseignements, et il s'achève par un rapport conjoint portant sur les constatations de la vérification et de l'évaluation. Ce modèle varie selon l'objet de l'étude, le temps nécessaire pour chacune des enquêtes et les préférences du client et du groupe d'examen. Par exemple, il n'est pas inhabituel que les plans de travail soient élaborés séparément, qu'une partie des études soient réalisées conjointement ou que des rapports distincts soient présentés. Dans certains cas, on peut mettre sur pied un comité directeur composé de représentants de la vérification et de l'évaluation. Il est important de faire observer que, règle générale, dans les études conjointes, les composantes vérification et évaluation sont exécutées de façon plutôt indépendante, à peu près comme s'il s'agissait d'une vérification ou d'une évaluation tout à fait indépendante. On tend à faire ensemble la planification et la présentation des rapports, les contacts étant essentiellement peu importants en cours de route. Par conséquent, la mesure dans laquelle la plupart des études sont conjointes n'est pas très prononcée.

Peu de ministères songent à pousser le lien fonctionnel au niveau suivant, c'est-à-dire au niveau où les vérificateurs et les évaluateurs sont affectés aux mêmes questions ou qu'un vérificateur est mandaté pour examiner ce qui aurait été jugé traditionnellement comme une question d'évaluation, ou l'inverse. L'exception est le groupe d'examen à fonction unique entièrement fusionné, pour lequel cette situation est courante. Il sera question de ce cas particulier ci-après. Les cas où les ministères ayant des fonctions distinctes de vérification et d'évaluation ont eu recours à cette technique sont pleins d'enseignement car ils font ressortir le respect constant des différences fondamentales entre les deux. Les chefs de l'examen ont signalé qu'il y avait eu ce genre de « collaboration étroite » dans les circonstances suivantes : les évaluateurs ont aidé les vérificateurs à mener des enquêtes auprès des clients ou à faire des travaux statistiques; les vérificateurs ont aidé les évaluateurs à faire des calculs de rentabilité; les évaluateurs ont entrepris une vérification majeure parce qu'on estimait que la « macroperspective » de l'évaluation était nécessaire; il s'est produit une crise au niveau de l'affectation du personnel ou avec les entrepreneurs et les gestionnaires avaient beaucoup plus d'estime pour un groupe que pour l'autre. Dans tous les cas sauf les deux derniers, ce furent les points forts particuliers de chaque discipline qui ont rendue intéressante l'affectation à la fois de vérificateurs et d'évaluateurs aux mêmes questions. Dans les deux autres cas, ce sont d'autres facteurs qui ont pris le pas sur les compétences, ce qu'on a considéré comme optimal, mais loin d'être nécessaire. On peut donc conclure que, dans les occasions où les professions travaillent ensemble à la même question, le caractère distinctif de chacune tend à se renforcer plutôt qu'à s'affaiblir. Les professions sont généralement réunies lorsqu'il faut couvrir les questions situées dans la « zone grise » qui relèvent à la fois de la vérification et de l'évaluation, précisément parce que leurs compétences différentes font qu'il vaut la peine de les réunir.

Plusieurs ministères choisissent de se lancer dans de nombreuses études conjointes, mais maintiennent une distinction organisationnelle entre la vérification et l'évaluation. Cette situation semble découler de la conviction que le désir chez les clients et les cadres supérieurs d'établir des liens entre la vérification et l'évaluation est une mode passagère, et que le groupe doit se protéger au cas où le pendule revienne à son point de départ, soit la distinction entre les deux fonctions, en maintenant une structure distincte d'un point de vue organisationnel, mais fusionnée d'un point de vue fonctionnel.

Examen: une fonction unique?

Deux ou trois ministères ont adopté comme principe que toute distinction formelle entre les questions ou les agents de vérification et d'évaluation est contre-productive. Ces milieux se font les défenseurs de l'examen en tant que discipline regroupant tout l'éventail des questions de vérification et d'évaluation. En théorie, on élimine ainsi les obstacles culturels à la collaboration entre la vérification et l'évaluation, on supprime la nécessité pour les clients de l'examen de comprendre les distinctions et on peut obtenir une vue globale des opérations, de la gestion et des résultats d'un programme ou d'une organisation. L'approche découle de la conviction selon laquelle le chevauchement entre la vérification et l'évaluation est beaucoup plus prononcé qu'on ne l'admet généralement, et qu'il est par conséquent possible de former une personne qui peut bien exercer les deux fonctions. Les sceptiques ont soutenu qu'on a ainsi agi pour réformer une fonction problématique en espérant que, si elle est associée à un groupe qui donne un meilleur rendement, les bonnes pratiques se répandront par osmose.

Plusieurs problèmes sont apparus en pratique dans le cadre de ce régime. En premier lieu, on peut encore se demander s'il ne s'agit tout simplement pas des mêmes produits présentés dans un nouvel emballage, puisque même les chefs des groupes d'examen fusionnés reconnaissent que, fondamentalement, leurs études peuvent se répartir entre ce qu'on appellerait traditionnellement des vérifications pures, des évaluations pures et des études de « zone grise ». Certains affirment qu'il existe bel et bien une différence entre une étude d'examen et les produits reconnus de vérification-évaluation, mais aucune démonstration n'en a été faite.

On se demande aussi si les examinateurs possédant la double compétence peuvent aussi bien faire des vérifications pures ou des évaluations pures que les personnes qui sont expressément formées à une discipline ou à l'autre. Les opposants à ce modèle affirment souvent que le chef de l'examen devrait en premier lieu s'occuper des aspects bien définis de vérification et d'évaluation, puis ensuite se pencher sur les zones grises, puisque si on accorde la priorité aux zones grises en les confiant à des examinateurs, il se peut que les études de vérification ou d'évaluation comme telles soient mal faites. Il est difficile de mesurer l'existence d'une telle situation dans la pratique, car ces groupes fusionnés sont relativement nouveaux, mais ceux qui ont décidé d'aller dans cette voie en sont bien conscients et ne semblent pas dissuadés pour autant.