ARCHIVÉ - Les liens entre la verification et l'évaluation dans les ministères fédéraux canadiens (SCT papier) - le 30 septembre

Cette page a été archivée.

Impact du lien

Avec certaines réserves, à peu près rien n'indique à la suite de la présente étude que les examens conjoints sont bien différents des études de vérification et d'évaluation coordonnées. On reconnaît généralement, parmi les chefs de l'examen représentant toute la gamme des situations de lien et de séparation, que des questions continuent à relever de la vérification, d'autres, de l'évaluation et d'autres encore, de la « zone grise ». Le fait que des vérificateurs et des évaluateurs travaillent ensemble à un sujet n'y change rien, et les questions qu'ils posent et les résultats qu'ils obtiennent semblent être à peu près les mêmes que s'ils fonctionnaient indépendamment. Cette affirmation doit cependant être assortie de réserves pour tenir compte des effets possibles sur les parties intéressées, sur la direction des études et la production des rapports, et sur le perfectionnement professionnel des vérificateurs et des évaluateurs.

Rapport avec les parties intéressées

Les fonctions d'examen s'adressent à trois groupes de parties intéressées correspondant aux trois objectifs d'examen possibles : l'amélioration des programmes et de l'organisation, la gestion stratégique et l'obligation de rendre compte au public. Par conséquent, les parties intéressées sont les gestionnaires de programme, les cadres supérieurs et le Parlement. Certains intérêts de ces groupes sont incompatibles en raison des divers objectifs possibles de la vérification et de l'évaluation.

Les gestionnaires de programme ont généralement été en faveur d'une coordination plus étroite, sinon d'une intégration pure et simple des fonctions de vérification et d'évaluation parce qu'ils s'intéressent aux questions opérationnelles, lesquelles se situent au point de rencontre des deux. Pour ces questions, il peut sembler improductif de maintenir des fonctions distinctes. En outre, les cadres hiérarchiques sont généralement ceux qui portent le poids des perturbations entraînées par les demandes de renseignements des examinateurs. Ainsi, ce sont eux qui ont le plus à gagner d'une meilleure coordination des processus de planification.

L'attitude de la haute direction à l'égard de la fusion des fonctions semble beaucoup dépendre de la personnalité et des antécédents des dirigeants du service. Certains, dit-on, sont psychologiquement déterminés à établir une distinction entre les fonctions de vérification et d'évaluation, partiellement en raison des efforts déployés antérieurement pour vendre l'idée des groupes distincts, tandis que d'autres n'ont jamais été convaincus de l'utilité de la distinction et ils sont donc plus enthousiastes au sujet de la possibilité de nouveautés comme le guichet unique et les études conjointes. On pourrait penser que l'intérêt accru pour l'information sur les opérations et sur la rentabilité, lequel est alimenté par les pressions liées aux compressions et lequel est à son tour à l'origine de la tendance vers de meilleurs liens entre la vérification et l'évaluation, pourrait nuire à la capacité des fonctions d'examen de fournir à la haute direction des renseignements stratégiques pour la prise de décision.

L'intérêt du Parlement dans les fonctions de vérification et d'évaluation réside surtout dans ce qui a trait à l'obligation de rendre compte, à l'obligation de rendre compte de la conformité aux codes, des ressources et des autorisations accordées, de même que des résultats obtenus. Le lien organisationnel ou fonctionnel entre la vérification et l'évaluation ne semble pas préoccuper le Parlement en sa qualité de client, pour autant que les fonctions peuvent s'acquitter de leurs tâches fondamentales relatives à la reddition des comptes. D'autres questions intéressent davantage le Parlement, comme le moyen par lequel les vérifications et les évaluations, peu importe comment elles sont organisées et désignées, sont signalées dans le Budget des dépenses.

Les effets sur les clients sont moins clairs pour ce qui est de l'impact du passage à une discipline unique d'examen intégré. On craint que les vérifications et les évaluations traditionnelles, qui se situent aux extrémités du continuum, soient affaiblies si les examinateurs à double compétence sont moins talentueux pour les réaliser que les vérificateurs et les évaluateurs ne possédant des compétences que dans un seul domaine. En outre, la crédibilité de cette fonction aux yeux des gestionnaires de programme, des cadres supérieurs et du Parlement n'a pas été démontrée, et le respect et l'autorité durement acquis pour les appellations traditionnelles de vérification et d'évaluation auprès de ces clients pourraient être perdus. Cela inquète particulièrement la vérification puisqu'elle est la plus ancienne.

Rapport avec l'organisation

Le lien organisationnel des fonctions a des effets sur les groupes en tant qu'organisations. Par exemple, la mission du nouveau groupe est redéfinie en termes plus larges pour englober les deux. Cette situation pourrait changer l'état d'esprit et la vision de chaque groupe, à mesure que les personnes en viennent à se considérer comme partie de l'entreprise plus large qu'est l'« examen intégré » plutôt que comme partie de la vérification ou de l'évaluation seulement. Une telle évolution pourrait avoir des effets indirects sur les projets et les clients.

Si la direction confie à un seul DG le mandat de diriger les deux divisions de la vérification et de l'évaluation, c'est qu'elle ne voit plus les deux fonctions de la même manière. Elle est portée à les voir comme un seul réservoir de compétences, chaque personne ayant ses points forts devant être assortis à la tâche à accomplir d'une façon optimale, sans contraintes dues à la séparation formelle des groupes. Par conséquent, les études conjointes peuvent devenir plus probables. Autre conséquence, le guichet unique devient plus probable puisque l'accès aux fonctions a été centralisé.

En outre, le lien organisationnel entre la vérification et l'évaluation peut leur permettre de fonctionner à partir du même budget, ce qui facilite la répartition des ressources entre les deux, avantage particulièrement important lorsqu'une crise à mi-exercice amène le ministère à modifier ses priorités d'examen. Toutefois, le Bureau national de vérification de l'Australie (ANAO) a pu constater le contraire, en ce sens que des fonctions modestes et mal financées peuvent, si elles sont associées, aggraver mutuellement leurs problèmes de ressources (ANAO, 1990 : par. 3.3.17).

Ces effets découlant d'un lien organisationnel semblent avoir été des conséquences imprévues, plutôt que la conspiration prévue par les nombreux sceptiques. De toute façon, il est difficile d'affirmer que ces changements d'attitude sont en soi négatifs; ils conviennent bien à une orientation- client, puisqu'ils permettent une réaction plus adaptée aux besoins des clients, tant au départ que pour les produits à offrir, et une utilisation plus souple des compétences dans l'organisation. Les clients et les gestionnaires de la vérification-évaluation semblent heureux de ce résultat. Certains y voient toutefois des retombées dangereuses à long terme, puisqu'il peut en résulter une dépréciation de la distinction professionnelle entre la vérification et l'évaluation et que les clients peuvent être amenés à ne plus tenir compte des différences entre les deux.

Parmi les dangers que présente le lien pour l'organisation, mentionnons la perte possible pour la vérification de son indépendance traditionnelle du fait qu'elle est associée aux aspects de l'élaboration des politiques et de la planification de l'évaluation. Certains ministères ont continué de tirer avantage de la connotation d'autorité du terme « vérification » en l'incluant dans le nouveau titre du groupe : par exemple, la Direction de la vérification et de l'examen. La vérification peut également en arriver à participer davantage à l'évaluation des contrôles avant la mise en _uvre des programmes, ce qui est à la fois un avantage, parce que les compétences du groupe sont mises à profit, et un sujet d'inquiétude, parce que cette situation peut compromettre l'objectivité d'une vérification traditionnelle ex-post. L'un des sujets d'inquiétude pour le ministère tient à ce que, si la vérification et l'évaluation relèvent de la même direction générale, l'une d'entre elles ne suivra plus sa ligne hiérarchique traditionnelle pour présenter ses rapports, ce qui pourrait en réduire l'influence. La seule façon de minimiser ce risque consiste à assurer une bonne communication interne.

L'hypothèse selon laquelle le lien organisationnel est plus probable dans les organisations ayant une proportion plus élevée de marchés de services par rapport aux agents internes, tout en étant plausible, n'est pas étayée par les constatations de la présente étude. D'après la théorie, la gestion des marchés de vérification, par exemple, peut très bien se faire par une organisation d'examen intégré ne possédant pas les compétences nécessaires pour faire elle-même les vérifications. Il ne semble pas y avoir de relation entre la proportion des marchés de services et la fréquence des situations où il existe un lien organisationnel, probablement en raison des nombreux facteurs qui se conjuguent pour donner lieu à un niveau quelconque d'impartition. Il semble toutefois plus facile d'établir un lien entre la vérification et l'évaluation lorsque l'une ou l'autre fonction compte beaucoup sur les marchés de services, probablement parce qu'il y a une résistance culturelle moins forte au changement.

Direction des études conjointes et production des rapports

Deux solutions se présentent pour le problème de la direction des projets conjoints. Plusieurs ministères ont fait l'expérience d'une direction double, soit par un évaluateur et un vérificateur, mais seuls quelques-uns ont maintenu cette pratique en raison des problèmes qu'elle tend à créer relativement à la reddition des comptes et à la démarcation du territoire. Les études qui ont le mieux réussi sont celles qui ont été dirigées par une seule personne, issue généralement du secteur le plus fortement visé par l'étude et aidée d'un conseiller ou d'un « guide » de l'autre fonction.

Le lien fonctionnel soulève la question de savoir s'il est préférable de produire les rapports séparément ou sans distinction. Il n'y a pas de consensus à ce sujet parmi les ministères, mais on résout généralement le problème au cas par cas d'après le calendrier des diverses parties de l'étude et selon les nécessités et les susceptibilités du client. Les chefs de l'examen ont constaté que chaque client a ses préférences à ce sujet, et qu'elles ne sont pas nécessairement liées au contenu véritable du rapport; soit qu'ils attribuent une grande valeur aux étiquettes traditionnelles et exigent par conséquent des rapports distincts, soit qu'ils considèrent cela comme du gaspillage et préfèrent un seul document. Au moins deux ministères ont connu un problème de production de rapports conjoints, soit le cas où une équipe d'évaluation a effectué des travaux de base pour une vérification. Il n'a pas semblé utile de produire un rapport conjoint puisque les constatations de l'évaluation auraient été présentées en annexe à la vérification; il valait mieux produire des rapports distincts pour montrer les contributions égales des deux fonctions. En général, dans le cas où les éléments de l'étude arrivent à terme à peu près en même temps, il semblerait préférable de produire un rapport conjoint de façon à maximiser la possibilité que des conclusions supplémentaires se dégagent en raison de l'intégration des renseignements produits par les deux fonctions.

Questions relatives aux ressources humaines

La plupart des personnes qui dirigent un examen conviennent que les professionnels de la vérification et de l'évaluation peuvent apprendre les uns des autres, qu'ils fassent partie ou non d'organisations liées ou qu'ils participent ou non à des études conjointes. On s'entend pour dire qu'un grand nombre des bonnes pratiques de chaque discipline peuvent renforcer l'autre discipline même si elle est exercée de façon indépendante. Voici les avantages que les chefs de l'examen ont généralement mentionnés et qu'ils considèrent comme les plus valables du contact interdisciplinaire :

• élargir la perspective de chaque discipline de sorte que l'évaluation examine les obstacles opérationnels et administratifs aux résultats escomptés et que la vérification situe son enquête sur le cadre de gestion dans le contexte de son impact sur l'atteinte des objectifs;
• modifier la forme des rapports de vérification, pour qu'ils soient plus explicatifs et plus faciles à comprendre, et offrir à la vérification la possibilité de produire plusieurs versions du rapport final, chacune étant conçue pour un auditoire différent;
• inculquer à la vérification l'esprit de « création de données », l'orientation vers les résultats et l'approche critique de l'évaluation;
• encourager l'évaluation à porter attention au rendement financier et aux conséquences des programmes, et à devenir ainsi plus utile au processus budgétaire.

Il ne semble pas suffisant de s'attendre que chacun des agents de vérification ou d'évaluation sera capable de maîtriser par lui-même ces compétences interdisciplinaires puisque se tenir au courant des nouveautés dans une discipline est en soi une occupation à plein temps. Il semble donc nécessaire de faire des efforts intentionnels pour créer une situation où un tel échange de pratiques se produira. On peut y parvenir soit en accroissant le niveau du rapport organisationnel ou fonctionnel entre les groupes, soit en procédant à des activités précises de formation. Les personnes qui ont participé à des études conjointes ont mentionné que l'expérience est très satisfaisante sur ce plan et probablement plus efficace que ne le serait une formation extérieure. Toutefois, la valeur de cet apprentissage est contestée par certains chefs de l'examen, qui estiment que l'effort nécessaire pour améliorer marginalement le rendement par cet apprentissage interdisciplinaire aurait plutôt avantage à être consacré à d'autres types de formation dans la spécialisation de la personne.

Les cultures professionnelles distinctes que possèdent les vérificateurs et les évaluateurs sont l'objet de nombreux débats. Il y en a qui croient fermement que l'existence de cultures distinctes est un obstacle sérieux à la maximisation de l'utilité des deux fonctions. Ils sont d'avis que la socialisation et l'esprit de corps encouragent l'étroitesse d'esprit et excluent de l'examen de nombreuses questions importantes qui ne font malencontreusement pas partie du domaine traditionnel d'intérêt, et qu'il n'y aura pas de progrès tant que les deux fonctions ne seront pas intégralement amalgamées dans une fonction d'« examen ». En revanche, il y en a d'autres qui estiment que les cultures distinctes des vérificateurs et des évaluateurs sont importantes parce qu'elles agissent comme facteurs de motivation pour leur personnel et qu'elles contribuent à inculquer et à défendre les normes professionnelles, les règles de déontologie et les méthodologies. La vérification en particulier craint que son indépendance de longue date par rapport aux gestionnaires de programme ne soit compromise en raison de son association avec le groupe de l'évaluation, davantage axé sur les politiques. On dit aussi parfois que les groupes doivent être distincts parce qu'il faut donner aux vérificateurs et aux évaluateurs la possibilité d'avancer dans leur carrière.

L'opinion médiane semble dire qu'il n'est pas nécessaire de contester radicalement les cultures pour obtenir les avantages d'une collaboration et que, dans l'ensemble, la fierté et les normes professionnelles inculquées par les cultures sont bonnes pour le moral et l'efficacité. On a toutefois jugé important d'encourager un rapport sans anicroches entre les cultures lorsqu'on a réuni des groupes de vérification et d'évaluation qui n'avaient auparavant aucun lien entre eux. Les méthodes les plus courantes d'acculturation sont les retraites de groupe et les cours d'introduction à la discipline complémentaire. Comme on peut s'y attendre, on a constaté qu'il est culturellement moins difficile de lier organisationnellement les groupes de vérification et d'évaluation dans les cas où il y avait une proportion élevée de personnes en détachement par rapport aux employés permanents, ou dans les cas où il y a beaucoup plus de marchés de service que de travail interne.

Choisir de mettre sur pied un groupe d'« examen » à fonction unique entraîne des conséquences importantes pour les ressources humaines. Les ministères qui ont choisi cette voie ont eu à investir beaucoup pour acquérir ou créer des « généralistes », des agents dotés des compétences et des attitudes nécessaires pour faire les « examens ». En effet, les cultures distinctes des deux groupes, qui sont jugées contreproductives par les adeptes de l'« examen », ont été jugées suffisamment enracinées pour qu'il soit plus facile d'embaucher des gestionnaires de programme ou des personnes de l'extérieur n'ayant aucune formation en vérification- évaluation et de leur enseigner les compétences nécessaires, plutôt que d'éliminer la socialisation chez les vérificateurs ou les évaluateurs. Ce qui peut donner à entendre que les groupes d'examen à fonction unique auront un rendement inférieur à leurs contreparties non fusionnées, du moins jusqu'à ce que les agents amenés de l'extérieur acquièrent de l'expérience.