ARCHIVÉ - Les liens entre la verification et l'évaluation dans les ministères fédéraux canadiens (SCT papier) - le 30 septembre

Avertissement Cette page a été archivée.

Information archivée dans le Web

Information archivée dans le Web à des fins de consultation, de recherche ou de tenue de documents. Cette dernière n’a aucunement été modifiée ni mise à jour depuis sa date de mise en archive. Les pages archivées dans le Web ne sont pas assujetties aux normes qui s’appliquent aux sites Web du gouvernement du Canada. Conformément à la Politique de communication du gouvernement du Canada, vous pouvez demander de recevoir cette information dans tout autre format de rechange à la page « Contactez-nous ».

Papier SCT
Date : 09-30-93

Sujet : Les liens entre la v�rification et l'�valuation dans les minist�res f�d�raux

Division de la revue gouvernementale
Direction de la politique administrative
Secr�tariat du Conseil du Tr�sor

Par Ian Hurd, B.A. (Carleton), PhD. candidate (Yale)

Table des mati�res

Personnes interrog�es pour l'�tude

Bibliographie

Introduction

Le pr�sent document traite de la relation entre la v�rification et l'�valuation dans les minist�res du gouvernement f�d�ral canadien et tire certaines le�ons des exp�riences r�centes v�cues par des minist�res � l'occasion d'�tudes ayant mis � contribution � la fois la v�rification et l'�valuation. Il est fond� sur des entrevues, sur une enqu�te aupr�s d'environ dix autres minist�res et sur un bref examen de la litt�rature actuelle. Les entrevues ont �t� r�alis�es aupr�s de quinze personnes faisant partie des services de v�rification et d'�valuation des minist�res, � partir de v�rificateurs et d'agents d'�valuation jusqu'� des sous- ministres adjoints.

La premi�re partie porte sur les aspects th�oriques de l'�tablissement d'un lien entre la v�rification et l'�valuation, notamment sur les types de lien qui existent dans certains minist�res f�d�raux canadiens. Dans la deuxi�me partie, il est question des effets de ces liens sur les projets, les clients, les examinateurs eux-m�mes et les groupes d'examen en tant qu'organisations. Au d�part cependant, il nous faut donner quelques �claircissements sur la terminologie utilis�e en v�rification-�valuation.

Les d�bats dans le domaine de la v�rification-�valuation dans le pass� se sont heurt�s � l'usage incoh�rent des termes. Il semblerait donc prudent de s'arr�ter d'abord sur la terminologie utilis�e dans le pr�sent document. Voici la d�finition de la v�rification interne dans le Manuel du Conseil du Tr�sor intitul� �valuation et v�rification : � ...�valuation... en regard de crit�res valables [de]... l'ensemble des syst�mes et des pratiques �troitement li�s qui sont adopt�s par la gestion en vue d'atteindre des objectifs �tablis �, de sorte que l'administrateur g�n�ral et d'autres personnes puissent am�liorer la rentabilit� et la gestion responsable des op�rations. Le m�me document d�finit l'�valuation de programme comme suit : � �tude empirique du rendement d'un programme � de sorte que l'administrateur g�n�ral et d'autres personnes puissent remettre en question � l'orientation future du programme et les ressources n�cessaires � sa r�alisation, ce qui inclut la conception du programme, sa prestation et le niveau de services pr�vu. �

On entend ici par lien une situation o� la v�rification et l'�valuation partagent un espace organisationnel ou fonctionnel. Le lien organisationnel correspond � une situation o� le groupe de la v�rification et celui de l'�valuation sont associ�s dans l'organigramme du minist�re : les deux groupes peuvent relever du m�me SMA ou �tre compl�tement fusionn�s en un seul groupe. En revanche, le lien fonctionnel s'entend d'une occasion ou d'un m�canisme o� une �tude d'examen porte sur des questions � la fois de v�rification et d'�valuation ou � laquelle participent � la fois des v�rificateurs et des �valuateurs. Chaque fois qu'il y a une relation de travail entre la v�rification et l'�valuation, on dit qu'il y a un lien fonctionnel, mais, ce qui est le plus int�ressant dans la pr�sente �tude, ce sont les cas o� les deux fonctions sont en liaison officielle et constante.

Le terme � examen � s'entend ici des fonctions de la v�rification et de l'�valuation prises ensemble et il ne s'agit que d'un moyen commode d'�pargner aux lecteurs la construction lourde � v�rification et �valuation �. Par cons�quent, le � groupe d'examen � est le service d'un minist�re charg� de la v�rification et de l'�valuation. Lorsqu'ils portent la majuscule initiale, les termes � Examen � et � Examinateur � s'entendent de la discipline unique et de son praticien, tels qu'ils existent dans certains minist�res en raison de la fusion de la v�rification et de l'�valuation.

La pr�sente �tude est devenue plus compliqu�e en raison de la r�organisation du gouvernement en juin 1993, laquelle a entra�n� l'abolition de plusieurs minist�res contribuant au projet. Dans de nombreux cas, des minist�res ayant des relations v�rification-�valuation tr�s diff�rentes ont �t� fusionn�s et on ne sait pas encore comment les groupes d'examen pour les nouveaux minist�res seront constitu�s. Il est par cons�quent difficile d'indiquer le nombre absolu ou la proportion de minist�res ayant retenu une forme ou une autre, ou encore de mentionner les groupes selon leur appellation, mais l'essentiel de leur exp�rience et de leurs observations reste valable.

Types de lien

Historique, tendances et th�orie

La v�rification et l'�valuation ont pris forme de fa�on tr�s distincte, � des moments diff�rents et � partir de disciplines diff�rentes. La v�rification est issue de la comptabilit� et de la gestion financi�re et elle a conserv� leur ind�pendance traditionnelle de la gestion de programme. Sa force tient beaucoup � ce qu'elle repose sur un ensemble de normes largement reconnues (IIA et gouvernement f�d�ral). Elle offre toute une gamme de produits, de la v�rification int�gr�e � la v�rification de la conformit�, portant sur divers aspects d'une organisation, mais, quelle que soit sa forme, elle prend comme point de d�part la gestion et les op�rations de l'organisation et elle se d�place vers les activit�s et les produits de l'organisation.

L'�valuation, dont l'origine remonte seulement aux ann�es 60, est n�e en r�action � un besoin per�u aux �tats-Unis de comprendre les effets r�els des projets militaires de la � grande soci�t� �. Elle s'inspire de m�thodes (principalement socio-) scientifiques, pr�sentant des preuves empiriques de l'impact et de l'effet des politiques d'int�r�t public devant servir � la prise de d�cision. L'�valuation s'int�resse d'abord � l'impact et aux r�sultats de l'organisation et elle approfondit ensuite son approche pour chercher les explications op�rationnelles de ces r�sultats. L'�valuation s'est donn�e son propre ensemble de normes (AEA et gouvernement f�d�ral) pour la mesure du rendement, mais elle reste traditionnellement en liaison avec les gestionnaires et les planificateurs de programmes, pr�f�rant l'objectivit� � l'ind�pendance dans la pratique.

En raison de l'origine de chaque fonction, la v�rification au gouvernement f�d�ral a toujours �t� rattach�e au secteur de la gestion financi�re, tandis que l'�valuation l'a �t� � celui de l'�laboration des politiques. S'il est g�n�ralement acquis que la v�rification et l'�valuation font partie d'un continuum de services d'information sur l'organisation qui se chevauchent dans des domaines tels l'efficience des op�rations et la rentabilit�, on a depuis toujours maintenu une distinction, l'�valuation s'occupant de l'analyse des politiques et des r�sultats, et la v�rification, des contr�les financiers internes et des syst�mes de gestion.

Ces traditions ont �volu� au cours de la derni�re d�cennie dans de nombreuses administrations, tant dans le secteur priv� que dans le secteur public. Il semble y avoir deux raisons � cela dans le secteur public, les deux �tant li�es aux compressions budg�taires. En premier lieu, les compressions dans les secteurs de la v�rification et de l'�valuation font que ces fonctions sont davantage press�es de montrer leur utilit� en r�pondant � la demande de produits de la part de clients. Il leur faut par cons�quent faire preuve de souplesse dans l'�tablissement de la liste des produits qu'ils offrent et se montrer dispos�es � prendre en charge des t�ches qui ne correspondent pas n�cessairement au cadre traditionnel de la discipline. Il semble que les clients cherchent maintenant davantage des produits qui les renseignent sur les op�rations, de mani�re � modifier progressivement les programmes pour les ex�cuter avec plus d'efficacit� et d'efficience. C'est ainsi que l'�valuation se rapproche de plus en plus de la v�rification.

En deuxi�me lieu, les compressions dans les minist�res et programmes d'ex�cution contribuent � rendre plus valables les renseignements d�coulant des examens, s'ils s'appliquent aux cadres hi�rarchiques. On demande de plus en plus � la v�rification, non seulement de d�celer l'existence de probl�mes, mais aussi d'examiner l'ampleur des probl�mes et les solutions possibles. Par ailleurs, on demande de plus en plus � l'�valuation de commenter l'impact de structures ou de syst�mes particuliers sur l'atteinte des objectifs. En raison des probl�mes bien pr�cis qu'�prouvent les gestionnaires soumis aux compressions, les groupes de v�rification et d'�valuation subissent les nouvelles pressions mentionn�es pr�c�demment, ce qui leur donne l'occasion de proc�der � des examens pour obtenir de nouveaux clients avec de nouveaux produits (de niveau op�rationnel).

Pour ces deux raisons, la v�rification a commenc� � s'int�resser au rendement et aux programmes, tandis que l'�valuation s'attache de plus en plus aux processus et � l'efficience. C'est ainsi que les aspects op�rationnels de l'examen commencent � l'emporter tant sur les aspects strat�giques que redditionnels. Cette �volution ne va pas sans controverse. L'importance que l'�valuation accorde � l'efficience, par exemple, est un point litigieux depuis les premiers jours de la fonction au Canada, des autorit�s se pronon�ant aussi bien d'un c�t� comme de l'autre. Le danger est qu'on en vienne � oublier la contribution que l'�valuation est seule capable d'apporter � la prise de d�cision strat�gique et � la planification. De m�me, on perdra beaucoup si la fonction de v�rification d�laisse la reddition des comptes au profit des op�rations. On ne croit pas qu'il s'agisse l� des cons�quences de l'�tablissement d'un lien entre la v�rification et l'�valuation, mais plut�t d'aspects de la cause des rapports plus �troits entre les deux.

Lien organisationnel

Vers la fin des ann�es 80 et au d�but des ann�es 90, la plupart des minist�res ont �tabli une relation organisationnelle entre leurs groupes de v�rification et d'�valuation. Dans la structure la plus courante, les deux groupes rel�vent du m�me directeur g�n�ral de la v�rification et de l'�valuation. Dans d'autres cas, ils rel�vent du m�me directeur ou sous- ministre adjoint, ou encore d'un cadre sup�rieur qui est aussi charg� de fonctions telles la consultation de gestion, la planification ou les enqu�tes sp�ciales sur les fraudes. Parmi les minist�res �tudi�s qui avaient �tabli un lien entre leurs fonctions d'examen, il y en avait � peu pr�s un nombre �gal � avoir fait relever le nouveau service du secteur des politiques que du secteur de la gestion g�n�rale.

Dans la plupart des minist�res, c'est pour �pargner des ressources administratives, des frais g�n�raux et surtout du personnel cadre qu'on a li� les fonctions dans l'organisation. R�gle g�n�rale, il y a un directeur g�n�ral de la v�rification et de l'�valuation dont rel�vent un directeur de la v�rification et un directeur de l'�valuation, mais, de plus en plus dans les plus petites organisations, il n'y a qu'un seul directeur g�n�ral de qui rel�vent tous les agents. Il s'en suit une organisation plus horizontale, moins ch�re et peut-�tre plus r�ceptive et plus efficiente, mais aussi une organisation qui se situe � un niveau plus bas dans la hi�rarchie. Cette derni�re caract�ristique peut avoir une incidence importante sur les op�rations de l'organisation d'examen. Un groupe d'examen dont l'importance est moindre dans l'organisation est moins sensibilis� aux enjeux minist�riels, trouve plus difficile de se faire entendre � un niveau strat�gique et peut �tre plus proche des gestionnaires de programme. Ces changements ont des r�percussions sur la nature, le contexte et l'efficacit� des activit�s d'examen. Par ailleurs, il y a aussi moins de niveaux hi�rarchiques entre les fonctions d'examen et l'administrateur g�n�ral.

Une autre raison d'�tablir un lien organisationnel s'articule autour de ce qu'on appelle souvent le probl�me de la � masse critique �. Certains soutiennent que, si des groupes distincts de v�rification et d'�valuation n'ont pas une certaine taille, ils ne commanderont pas un respect suffisant dans le minist�re, ni ne disposeront des comp�tences pour offrir des produits utiles, et qu'il est souhaitable d'�tablir un lien entre les fonctions pour am�liorer le profil et la productivit� de chacune. Plusieurs chefs de l'examen ont indiqu� qu'il s'agit l� d'un probl�me. Ils le consid�rent cependant comme un argument de peu de poids, mais valable dans la mesure o� l'amalgamation de tr�s petits groupes devrait augmenter la visibilit� des deux fonctions dans le minist�re. On ne voit pas tr�s bien pourquoi le simple �tablissement d'un lien organisationnel entre des fonctions modestes devrait accro�tre leur capacit� d'offrir des produits.

Comme elle est g�n�ralement entreprise pour des raisons li�es aux ressources, l'int�gration organisationnelle ne vise pas g�n�ralement, dans l'esprit des personnes qui en prennent l'initiative, � produire des effets importants sur le rendement des fonctions de v�rification et d'�valuation. L'on s'attend � ce que le travail se poursuive comme avant dans chaque domaine, mais peut-�tre de fa�on plus efficiente en raison du caract�re plus horizontal de l'organisation. On reconna�t la possibilit� d'avantages marginaux, comme partager les renseignements et ne pas demander deux fois les m�mes renseignements au gestionnaire, �tant donn� que chaque fonction est plus au courant de l'activit� de l'autre. Toutefois, il s'agit l� d'avantages secondaires par rapport au d�sir de r�duire les frais g�n�raux et ceux du personnel cadre. Les modifications des fonctions d�coulant de tels changements organisationnels sont en g�n�ral craints par les int�ress�s parce qu'ils croient qu'elles affaiblissent la coh�sion et les comp�tences de chaque fonction; le lien organisationnel tend � �tre per�u comme le d�but de la fin pour la distinction professionnelle entre les v�rificateurs et les �valuateurs. Lorsque la Direction de l'�valuation et de la v�rification a �t� cr��e dans l'ancien Bureau du contr�leur g�n�ral, il a fallu faire beaucoup d'efforts pour expliquer aux milieux de la v�rification et de l'�valuation que le nouveau lien au centre ne repr�sentait pas un affaiblissement de l'engagement � maintenir des groupes professionnels forts et distincts, mais un effort pour trouver des moyens plus efficaces et plus efficients de r�aliser les produits de v�rification et d'�valuation.

Il semble maintenant que le lien organisationnel a effectivement eu un certain impact fonctionnel sur la distinction entre la v�rification et l'�valuation, mais non pas de la fa�on qu'on craignait au d�part. Ces faits nouveaux seront approfondis ci-apr�s, mais, en r�sum�, il s'agit du changement de perspective chez le premier responsable (du fait qu'une seule personne dirige les deux fonctions), des effets de la planification conjointe, de la souplesse des ressources (du fait qu'un seul budget s'applique aux deux fonctions) et du perfectionnement des m�thodes en raison du rapport avec des agents d'une profession connexe.

Le � guichet unique �

Le guichet unique est une forme particuli�re de lien organisationnel o� les clients qui demandent des services de v�rification ou d'�valuation sont encourag�s � poser leurs questions sans �gard � la distinction entre les aspects qui tiennent � la v�rification ou � l'�valuation. Cette fa�on de proc�der a �t� jug�e avantageuse par de nombreux minist�res du fait que les clients n'ont pas � conna�tre les subtilit�s de la distinction entre la v�rification et l'�valuation et qu'ils peuvent exprimer plus spontan�ment et plus pr�cis�ment leurs v�ritables besoins et int�r�ts. Pour ces raisons, le guichet unique est tr�s appr�ci� et hautement souhait� par la plupart des minist�res.

La moiti� des chefs de l'examen avec qui nous avons communiqu� ont dit express�ment qu'ils cherchent � offrir � leurs clients un service � � guichet unique �, � polyvalent � ou � transparent �, et un petit nombre seulement tenait beaucoup, pour des raisons de principe, � offrir des guichets distincts pour la v�rification et l'�valuation. Ces derniers �taient les m�mes qui tenaient � des fonctions non li�es organisationnellement. La possibilit� d'appliquer le guichet unique d�pend de la haute direction du minist�re; certains demandent une v�rification ou une �valuation, tandis que d'autres pr�f�rent pr�senter � leur groupe d'examen une simple liste de probl�mes ou de questions, sans faire de distinction entre la v�rification et l'�valuation.

La polyvalence du service ne d�pend pas de l'int�gration organisationnelle en ce sens que l'un peut aller sans l'autre; en pratique toutefois, le service � guichet unique tend habituellement � �tre int�gr� sur le plan organisationnel. Un point de contact unique avec les clients peut �tre une fa�ade masquant des unit�s distinctes et bien d�finies de v�rification et d'�valuation, derri�re laquelle le probl�me du client est diss�qu� selon ses �l�ments de v�rification et d'�valuation d�s le d�but du processus. Par cons�quent, le guichet unique n'est que le symbole d'une orientation- clients de la part du groupe d'examen et il peut ne r�v�ler rien d'autre au sujet de l'organisation interne de la v�rification et de l'�valuation.

Outre qu'elle sert le but de l'orientation-client, la transparence a un avantage important puisqu'elle �tablit une distinction bien r�elle plut�t qu'artificielle entre la v�rification et l'�valuation. Apr�s que le client se soit adress� au groupe de v�rification et d'�valuation avec sa liste de probl�mes ou de questions � examiner, il appartient aux fonctions d'examen de les attribuer aux agents ayant les comp�tences n�cessaires. Cela vaut �galement pour les groupes de v�rification-�valuation qui sont organisationnellement distincts, li�s ou fusionn�s, et fonctionnellement li�s ou distincts. Pour attribuer les questions en fonction des comp�tences, il faut chaque fois retracer la d�marcation entre la v�rification et l'�valuation, compte tenu concr�tement des documents � fournir. Par cons�quent, consciemment ou non, l'organisation doit se convaincre chaque fois que sa structure interne de v�rification et d'�valuation r�pond aux besoins de ses clients et des �tudes qu'ils demandent. Il s'agit l� d'un exercice valable de r��valuation constante de l'organisation.

Lien fonctionnel

Les distinctions dans l'organisation dissimulent dans une grande mesure le fait que la majorit� des groupes font essentiellement les m�mes choses. La plupart des chefs de la v�rification et de l'�valuation conviennent que les examens se situent sur un continuum allant de la v�rification � l'�valuation, et qu'il y a des zones grises entre les deux. C'est donc que tous les minist�res, peu importe la structure de leurs fonctions de v�rification et d'�valuation, font certaines v�rifications traditionnelles, certaines �valuations traditionnelles et certaines �tudes qui se situent entre l'une et l'autre fonction. C'est vrai pour les groupes o� la v�rification et l'�valuation ne se distinguent pas sur le plan organisationnel, de m�me que pour ceux o� il n'y a pas de liens officiels entre elles. Essentiellement, la plupart conviennent que les v�rifications pures et les �valuations pures sont des cat�gories d'examens et qu'il existe une troisi�me cat�gorie englobant les zones grises. Le lien fonctionnel porte sur la gestion de cette zone grise.

Le terme � lien fonctionnel � englobe toute une gamme d'activit�s qui comportent une relation plus ou moins pouss�e entre la v�rification et l'�valuation, depuis la planification annuelle conjointe jusqu'� des projets occasionnels touchant des questions � la fois de v�rification et d'�valuation, et des �tudes d'examen fusionn�es du point de vue fonctionnel.

Le lien fonctionnel minimal se refl�te dans la coordination des plans annuels. La mesure dans laquelle les plans peuvent �tre conjoints varie selon les cas. Il peut s'agir tout au plus de deux documents de planification imprim�s ensemble sans qu'il y ait eu interaction r�elle ou, inversement, il peut y avoir eu une grande collaboration, mais les plans d�finitifs sont imprim�s s�par�ment. Manifestement, c'est l'interaction qui est importante. Un plan annuel conjoint permet la r�alisation de certains des avantages cherch�s dans le lien fonctionnel. Mentionnons notamment la connaissance des �tudes que l'autre groupe entreprend, la possibilit� de se communiquer des renseignements et des recherches, et peut-�tre un certain contact avec les m�thodes de l'autre. La planification conjointe existe plus ou moins ipso facto pour les groupes li�s organisationnellement, mais elle doit �tre recherch�e express�ment dans les minist�res ayant des unit�s ind�pendantes de v�rification et d'�valuation. Un chef de groupes de v�rification et d'�valuation fonctionnellement distincts a fait observer que la participation des cadres sup�rieurs et des gestionnaires de programme � l'�laboration d'un plan annuel conjoint a contribu� � les sensibiliser aux distinctions entre la v�rification et l'�valuation, ce qui a justifi� la s�paration des fonctions dans ce minist�re.

Il devient de plus en plus courant pour un minist�re d'entreprendre occasionnellement des �tudes conjointes. Environ la moiti� des minist�res �tudi�s ont particip� � une entreprise conjointe de v�rification-�valuation dans le pass� r�cent, et un autre quart se disent favorables � l'id�e m�me s'ils ne l'ont pas encore mise en pratique. Le processus se d�roule g�n�ralement comme suit. On d�finit g�n�ralement, dans le processus de planification annuelle, un secteur pouvant faire l'objet d'une �tude conjointe, apr�s quoi on explore conjointement les questions d'int�r�t, on d�termine l'ensemble des renseignements n�cessaires et on dresse les listes de questions et les plans de travail. Le processus est g�n�ralement lanc� par des travaux distincts d'enqu�te et de recherche pouvant donner lieu � des �changes de renseignements, et il s'ach�ve par un rapport conjoint portant sur les constatations de la v�rification et de l'�valuation. Ce mod�le varie selon l'objet de l'�tude, le temps n�cessaire pour chacune des enqu�tes et les pr�f�rences du client et du groupe d'examen. Par exemple, il n'est pas inhabituel que les plans de travail soient �labor�s s�par�ment, qu'une partie des �tudes soient r�alis�es conjointement ou que des rapports distincts soient pr�sent�s. Dans certains cas, on peut mettre sur pied un comit� directeur compos� de repr�sentants de la v�rification et de l'�valuation. Il est important de faire observer que, r�gle g�n�rale, dans les �tudes conjointes, les composantes v�rification et �valuation sont ex�cut�es de fa�on plut�t ind�pendante, � peu pr�s comme s'il s'agissait d'une v�rification ou d'une �valuation tout � fait ind�pendante. On tend � faire ensemble la planification et la pr�sentation des rapports, les contacts �tant essentiellement peu importants en cours de route. Par cons�quent, la mesure dans laquelle la plupart des �tudes sont conjointes n'est pas tr�s prononc�e.

Peu de minist�res songent � pousser le lien fonctionnel au niveau suivant, c'est-�-dire au niveau o� les v�rificateurs et les �valuateurs sont affect�s aux m�mes questions ou qu'un v�rificateur est mandat� pour examiner ce qui aurait �t� jug� traditionnellement comme une question d'�valuation, ou l'inverse. L'exception est le groupe d'examen � fonction unique enti�rement fusionn�, pour lequel cette situation est courante. Il sera question de ce cas particulier ci-apr�s. Les cas o� les minist�res ayant des fonctions distinctes de v�rification et d'�valuation ont eu recours � cette technique sont pleins d'enseignement car ils font ressortir le respect constant des diff�rences fondamentales entre les deux. Les chefs de l'examen ont signal� qu'il y avait eu ce genre de � collaboration �troite � dans les circonstances suivantes : les �valuateurs ont aid� les v�rificateurs � mener des enqu�tes aupr�s des clients ou � faire des travaux statistiques; les v�rificateurs ont aid� les �valuateurs � faire des calculs de rentabilit�; les �valuateurs ont entrepris une v�rification majeure parce qu'on estimait que la � macroperspective � de l'�valuation �tait n�cessaire; il s'est produit une crise au niveau de l'affectation du personnel ou avec les entrepreneurs et les gestionnaires avaient beaucoup plus d'estime pour un groupe que pour l'autre. Dans tous les cas sauf les deux derniers, ce furent les points forts particuliers de chaque discipline qui ont rendue int�ressante l'affectation � la fois de v�rificateurs et d'�valuateurs aux m�mes questions. Dans les deux autres cas, ce sont d'autres facteurs qui ont pris le pas sur les comp�tences, ce qu'on a consid�r� comme optimal, mais loin d'�tre n�cessaire. On peut donc conclure que, dans les occasions o� les professions travaillent ensemble � la m�me question, le caract�re distinctif de chacune tend � se renforcer plut�t qu'� s'affaiblir. Les professions sont g�n�ralement r�unies lorsqu'il faut couvrir les questions situ�es dans la � zone grise � qui rel�vent � la fois de la v�rification et de l'�valuation, pr�cis�ment parce que leurs comp�tences diff�rentes font qu'il vaut la peine de les r�unir.

Plusieurs minist�res choisissent de se lancer dans de nombreuses �tudes conjointes, mais maintiennent une distinction organisationnelle entre la v�rification et l'�valuation. Cette situation semble d�couler de la conviction que le d�sir chez les clients et les cadres sup�rieurs d'�tablir des liens entre la v�rification et l'�valuation est une mode passag�re, et que le groupe doit se prot�ger au cas o� le pendule revienne � son point de d�part, soit la distinction entre les deux fonctions, en maintenant une structure distincte d'un point de vue organisationnel, mais fusionn�e d'un point de vue fonctionnel.

Examen: une fonction unique?

Deux ou trois minist�res ont adopt� comme principe que toute distinction formelle entre les questions ou les agents de v�rification et d'�valuation est contre-productive. Ces milieux se font les d�fenseurs de l'examen en tant que discipline regroupant tout l'�ventail des questions de v�rification et d'�valuation. En th�orie, on �limine ainsi les obstacles culturels � la collaboration entre la v�rification et l'�valuation, on supprime la n�cessit� pour les clients de l'examen de comprendre les distinctions et on peut obtenir une vue globale des op�rations, de la gestion et des r�sultats d'un programme ou d'une organisation. L'approche d�coule de la conviction selon laquelle le chevauchement entre la v�rification et l'�valuation est beaucoup plus prononc� qu'on ne l'admet g�n�ralement, et qu'il est par cons�quent possible de former une personne qui peut bien exercer les deux fonctions. Les sceptiques ont soutenu qu'on a ainsi agi pour r�former une fonction probl�matique en esp�rant que, si elle est associ�e � un groupe qui donne un meilleur rendement, les bonnes pratiques se r�pandront par osmose.

Plusieurs probl�mes sont apparus en pratique dans le cadre de ce r�gime. En premier lieu, on peut encore se demander s'il ne s'agit tout simplement pas des m�mes produits pr�sent�s dans un nouvel emballage, puisque m�me les chefs des groupes d'examen fusionn�s reconnaissent que, fondamentalement, leurs �tudes peuvent se r�partir entre ce qu'on appellerait traditionnellement des v�rifications pures, des �valuations pures et des �tudes de � zone grise �. Certains affirment qu'il existe bel et bien une diff�rence entre une �tude d'examen et les produits reconnus de v�rification-�valuation, mais aucune d�monstration n'en a �t� faite.

On se demande aussi si les examinateurs poss�dant la double comp�tence peuvent aussi bien faire des v�rifications pures ou des �valuations pures que les personnes qui sont express�ment form�es � une discipline ou � l'autre. Les opposants � ce mod�le affirment souvent que le chef de l'examen devrait en premier lieu s'occuper des aspects bien d�finis de v�rification et d'�valuation, puis ensuite se pencher sur les zones grises, puisque si on accorde la priorit� aux zones grises en les confiant � des examinateurs, il se peut que les �tudes de v�rification ou d'�valuation comme telles soient mal faites. Il est difficile de mesurer l'existence d'une telle situation dans la pratique, car ces groupes fusionn�s sont relativement nouveaux, mais ceux qui ont d�cid� d'aller dans cette voie en sont bien conscients et ne semblent pas dissuad�s pour autant.

Impact du lien

Avec certaines r�serves, � peu pr�s rien n'indique � la suite de la pr�sente �tude que les examens conjoints sont bien diff�rents des �tudes de v�rification et d'�valuation coordonn�es. On reconna�t g�n�ralement, parmi les chefs de l'examen repr�sentant toute la gamme des situations de lien et de s�paration, que des questions continuent � relever de la v�rification, d'autres, de l'�valuation et d'autres encore, de la � zone grise �. Le fait que des v�rificateurs et des �valuateurs travaillent ensemble � un sujet n'y change rien, et les questions qu'ils posent et les r�sultats qu'ils obtiennent semblent �tre � peu pr�s les m�mes que s'ils fonctionnaient ind�pendamment. Cette affirmation doit cependant �tre assortie de r�serves pour tenir compte des effets possibles sur les parties int�ress�es, sur la direction des �tudes et la production des rapports, et sur le perfectionnement professionnel des v�rificateurs et des �valuateurs.

Rapport avec les parties int�ress�es

Les fonctions d'examen s'adressent � trois groupes de parties int�ress�es correspondant aux trois objectifs d'examen possibles : l'am�lioration des programmes et de l'organisation, la gestion strat�gique et l'obligation de rendre compte au public. Par cons�quent, les parties int�ress�es sont les gestionnaires de programme, les cadres sup�rieurs et le Parlement. Certains int�r�ts de ces groupes sont incompatibles en raison des divers objectifs possibles de la v�rification et de l'�valuation.

Les gestionnaires de programme ont g�n�ralement �t� en faveur d'une coordination plus �troite, sinon d'une int�gration pure et simple des fonctions de v�rification et d'�valuation parce qu'ils s'int�ressent aux questions op�rationnelles, lesquelles se situent au point de rencontre des deux. Pour ces questions, il peut sembler improductif de maintenir des fonctions distinctes. En outre, les cadres hi�rarchiques sont g�n�ralement ceux qui portent le poids des perturbations entra�n�es par les demandes de renseignements des examinateurs. Ainsi, ce sont eux qui ont le plus � gagner d'une meilleure coordination des processus de planification.

L'attitude de la haute direction � l'�gard de la fusion des fonctions semble beaucoup d�pendre de la personnalit� et des ant�c�dents des dirigeants du service. Certains, dit-on, sont psychologiquement d�termin�s � �tablir une distinction entre les fonctions de v�rification et d'�valuation, partiellement en raison des efforts d�ploy�s ant�rieurement pour vendre l'id�e des groupes distincts, tandis que d'autres n'ont jamais �t� convaincus de l'utilit� de la distinction et ils sont donc plus enthousiastes au sujet de la possibilit� de nouveaut�s comme le guichet unique et les �tudes conjointes. On pourrait penser que l'int�r�t accru pour l'information sur les op�rations et sur la rentabilit�, lequel est aliment� par les pressions li�es aux compressions et lequel est � son tour � l'origine de la tendance vers de meilleurs liens entre la v�rification et l'�valuation, pourrait nuire � la capacit� des fonctions d'examen de fournir � la haute direction des renseignements strat�giques pour la prise de d�cision.

L'int�r�t du Parlement dans les fonctions de v�rification et d'�valuation r�side surtout dans ce qui a trait � l'obligation de rendre compte, � l'obligation de rendre compte de la conformit� aux codes, des ressources et des autorisations accord�es, de m�me que des r�sultats obtenus. Le lien organisationnel ou fonctionnel entre la v�rification et l'�valuation ne semble pas pr�occuper le Parlement en sa qualit� de client, pour autant que les fonctions peuvent s'acquitter de leurs t�ches fondamentales relatives � la reddition des comptes. D'autres questions int�ressent davantage le Parlement, comme le moyen par lequel les v�rifications et les �valuations, peu importe comment elles sont organis�es et d�sign�es, sont signal�es dans le Budget des d�penses.

Les effets sur les clients sont moins clairs pour ce qui est de l'impact du passage � une discipline unique d'examen int�gr�. On craint que les v�rifications et les �valuations traditionnelles, qui se situent aux extr�mit�s du continuum, soient affaiblies si les examinateurs � double comp�tence sont moins talentueux pour les r�aliser que les v�rificateurs et les �valuateurs ne poss�dant des comp�tences que dans un seul domaine. En outre, la cr�dibilit� de cette fonction aux yeux des gestionnaires de programme, des cadres sup�rieurs et du Parlement n'a pas �t� d�montr�e, et le respect et l'autorit� durement acquis pour les appellations traditionnelles de v�rification et d'�valuation aupr�s de ces clients pourraient �tre perdus. Cela inqu�te particuli�rement la v�rification puisqu'elle est la plus ancienne.

Rapport avec l'organisation

Le lien organisationnel des fonctions a des effets sur les groupes en tant qu'organisations. Par exemple, la mission du nouveau groupe est red�finie en termes plus larges pour englober les deux. Cette situation pourrait changer l'�tat d'esprit et la vision de chaque groupe, � mesure que les personnes en viennent � se consid�rer comme partie de l'entreprise plus large qu'est l'� examen int�gr� � plut�t que comme partie de la v�rification ou de l'�valuation seulement. Une telle �volution pourrait avoir des effets indirects sur les projets et les clients.

Si la direction confie � un seul DG le mandat de diriger les deux divisions de la v�rification et de l'�valuation, c'est qu'elle ne voit plus les deux fonctions de la m�me mani�re. Elle est port�e � les voir comme un seul r�servoir de comp�tences, chaque personne ayant ses points forts devant �tre assortis � la t�che � accomplir d'une fa�on optimale, sans contraintes dues � la s�paration formelle des groupes. Par cons�quent, les �tudes conjointes peuvent devenir plus probables. Autre cons�quence, le guichet unique devient plus probable puisque l'acc�s aux fonctions a �t� centralis�.

En outre, le lien organisationnel entre la v�rification et l'�valuation peut leur permettre de fonctionner � partir du m�me budget, ce qui facilite la r�partition des ressources entre les deux, avantage particuli�rement important lorsqu'une crise � mi-exercice am�ne le minist�re � modifier ses priorit�s d'examen. Toutefois, le Bureau national de v�rification de l'Australie (ANAO) a pu constater le contraire, en ce sens que des fonctions modestes et mal financ�es peuvent, si elles sont associ�es, aggraver mutuellement leurs probl�mes de ressources (ANAO, 1990 : par. 3.3.17).

Ces effets d�coulant d'un lien organisationnel semblent avoir �t� des cons�quences impr�vues, plut�t que la conspiration pr�vue par les nombreux sceptiques. De toute fa�on, il est difficile d'affirmer que ces changements d'attitude sont en soi n�gatifs; ils conviennent bien � une orientation- client, puisqu'ils permettent une r�action plus adapt�e aux besoins des clients, tant au d�part que pour les produits � offrir, et une utilisation plus souple des comp�tences dans l'organisation. Les clients et les gestionnaires de la v�rification-�valuation semblent heureux de ce r�sultat. Certains y voient toutefois des retomb�es dangereuses � long terme, puisqu'il peut en r�sulter une d�pr�ciation de la distinction professionnelle entre la v�rification et l'�valuation et que les clients peuvent �tre amen�s � ne plus tenir compte des diff�rences entre les deux.

Parmi les dangers que pr�sente le lien pour l'organisation, mentionnons la perte possible pour la v�rification de son ind�pendance traditionnelle du fait qu'elle est associ�e aux aspects de l'�laboration des politiques et de la planification de l'�valuation. Certains minist�res ont continu� de tirer avantage de la connotation d'autorit� du terme � v�rification � en l'incluant dans le nouveau titre du groupe : par exemple, la Direction de la v�rification et de l'examen. La v�rification peut �galement en arriver � participer davantage � l'�valuation des contr�les avant la mise en _uvre des programmes, ce qui est � la fois un avantage, parce que les comp�tences du groupe sont mises � profit, et un sujet d'inqui�tude, parce que cette situation peut compromettre l'objectivit� d'une v�rification traditionnelle ex-post. L'un des sujets d'inqui�tude pour le minist�re tient � ce que, si la v�rification et l'�valuation rel�vent de la m�me direction g�n�rale, l'une d'entre elles ne suivra plus sa ligne hi�rarchique traditionnelle pour pr�senter ses rapports, ce qui pourrait en r�duire l'influence. La seule fa�on de minimiser ce risque consiste � assurer une bonne communication interne.

L'hypoth�se selon laquelle le lien organisationnel est plus probable dans les organisations ayant une proportion plus �lev�e de march�s de services par rapport aux agents internes, tout en �tant plausible, n'est pas �tay�e par les constatations de la pr�sente �tude. D'apr�s la th�orie, la gestion des march�s de v�rification, par exemple, peut tr�s bien se faire par une organisation d'examen int�gr� ne poss�dant pas les comp�tences n�cessaires pour faire elle-m�me les v�rifications. Il ne semble pas y avoir de relation entre la proportion des march�s de services et la fr�quence des situations o� il existe un lien organisationnel, probablement en raison des nombreux facteurs qui se conjuguent pour donner lieu � un niveau quelconque d'impartition. Il semble toutefois plus facile d'�tablir un lien entre la v�rification et l'�valuation lorsque l'une ou l'autre fonction compte beaucoup sur les march�s de services, probablement parce qu'il y a une r�sistance culturelle moins forte au changement.

Direction des �tudes conjointes et production des rapports

Deux solutions se pr�sentent pour le probl�me de la direction des projets conjoints. Plusieurs minist�res ont fait l'exp�rience d'une direction double, soit par un �valuateur et un v�rificateur, mais seuls quelques-uns ont maintenu cette pratique en raison des probl�mes qu'elle tend � cr�er relativement � la reddition des comptes et � la d�marcation du territoire. Les �tudes qui ont le mieux r�ussi sont celles qui ont �t� dirig�es par une seule personne, issue g�n�ralement du secteur le plus fortement vis� par l'�tude et aid�e d'un conseiller ou d'un � guide � de l'autre fonction.

Le lien fonctionnel soul�ve la question de savoir s'il est pr�f�rable de produire les rapports s�par�ment ou sans distinction. Il n'y a pas de consensus � ce sujet parmi les minist�res, mais on r�sout g�n�ralement le probl�me au cas par cas d'apr�s le calendrier des diverses parties de l'�tude et selon les n�cessit�s et les susceptibilit�s du client. Les chefs de l'examen ont constat� que chaque client a ses pr�f�rences � ce sujet, et qu'elles ne sont pas n�cessairement li�es au contenu v�ritable du rapport; soit qu'ils attribuent une grande valeur aux �tiquettes traditionnelles et exigent par cons�quent des rapports distincts, soit qu'ils consid�rent cela comme du gaspillage et pr�f�rent un seul document. Au moins deux minist�res ont connu un probl�me de production de rapports conjoints, soit le cas o� une �quipe d'�valuation a effectu� des travaux de base pour une v�rification. Il n'a pas sembl� utile de produire un rapport conjoint puisque les constatations de l'�valuation auraient �t� pr�sent�es en annexe � la v�rification; il valait mieux produire des rapports distincts pour montrer les contributions �gales des deux fonctions. En g�n�ral, dans le cas o� les �l�ments de l'�tude arrivent � terme � peu pr�s en m�me temps, il semblerait pr�f�rable de produire un rapport conjoint de fa�on � maximiser la possibilit� que des conclusions suppl�mentaires se d�gagent en raison de l'int�gration des renseignements produits par les deux fonctions.

Questions relatives aux ressources humaines

La plupart des personnes qui dirigent un examen conviennent que les professionnels de la v�rification et de l'�valuation peuvent apprendre les uns des autres, qu'ils fassent partie ou non d'organisations li�es ou qu'ils participent ou non � des �tudes conjointes. On s'entend pour dire qu'un grand nombre des bonnes pratiques de chaque discipline peuvent renforcer l'autre discipline m�me si elle est exerc�e de fa�on ind�pendante. Voici les avantages que les chefs de l'examen ont g�n�ralement mentionn�s et qu'ils consid�rent comme les plus valables du contact interdisciplinaire :

�largir la perspective de chaque discipline de sorte que l'�valuation examine les obstacles op�rationnels et administratifs aux r�sultats escompt�s et que la v�rification situe son enqu�te sur le cadre de gestion dans le contexte de son impact sur l'atteinte des objectifs;
modifier la forme des rapports de v�rification, pour qu'ils soient plus explicatifs et plus faciles � comprendre, et offrir � la v�rification la possibilit� de produire plusieurs versions du rapport final, chacune �tant con�ue pour un auditoire diff�rent;
inculquer � la v�rification l'esprit de � cr�ation de donn�es �, l'orientation vers les r�sultats et l'approche critique de l'�valuation;
encourager l'�valuation � porter attention au rendement financier et aux cons�quences des programmes, et � devenir ainsi plus utile au processus budg�taire.

Il ne semble pas suffisant de s'attendre que chacun des agents de v�rification ou d'�valuation sera capable de ma�triser par lui-m�me ces comp�tences interdisciplinaires puisque se tenir au courant des nouveaut�s dans une discipline est en soi une occupation � plein temps. Il semble donc n�cessaire de faire des efforts intentionnels pour cr�er une situation o� un tel �change de pratiques se produira. On peut y parvenir soit en accroissant le niveau du rapport organisationnel ou fonctionnel entre les groupes, soit en proc�dant � des activit�s pr�cises de formation. Les personnes qui ont particip� � des �tudes conjointes ont mentionn� que l'exp�rience est tr�s satisfaisante sur ce plan et probablement plus efficace que ne le serait une formation ext�rieure. Toutefois, la valeur de cet apprentissage est contest�e par certains chefs de l'examen, qui estiment que l'effort n�cessaire pour am�liorer marginalement le rendement par cet apprentissage interdisciplinaire aurait plut�t avantage � �tre consacr� � d'autres types de formation dans la sp�cialisation de la personne.

Les cultures professionnelles distinctes que poss�dent les v�rificateurs et les �valuateurs sont l'objet de nombreux d�bats. Il y en a qui croient fermement que l'existence de cultures distinctes est un obstacle s�rieux � la maximisation de l'utilit� des deux fonctions. Ils sont d'avis que la socialisation et l'esprit de corps encouragent l'�troitesse d'esprit et excluent de l'examen de nombreuses questions importantes qui ne font malencontreusement pas partie du domaine traditionnel d'int�r�t, et qu'il n'y aura pas de progr�s tant que les deux fonctions ne seront pas int�gralement amalgam�es dans une fonction d'� examen �. En revanche, il y en a d'autres qui estiment que les cultures distinctes des v�rificateurs et des �valuateurs sont importantes parce qu'elles agissent comme facteurs de motivation pour leur personnel et qu'elles contribuent � inculquer et � d�fendre les normes professionnelles, les r�gles de d�ontologie et les m�thodologies. La v�rification en particulier craint que son ind�pendance de longue date par rapport aux gestionnaires de programme ne soit compromise en raison de son association avec le groupe de l'�valuation, davantage ax� sur les politiques. On dit aussi parfois que les groupes doivent �tre distincts parce qu'il faut donner aux v�rificateurs et aux �valuateurs la possibilit� d'avancer dans leur carri�re.

L'opinion m�diane semble dire qu'il n'est pas n�cessaire de contester radicalement les cultures pour obtenir les avantages d'une collaboration et que, dans l'ensemble, la fiert� et les normes professionnelles inculqu�es par les cultures sont bonnes pour le moral et l'efficacit�. On a toutefois jug� important d'encourager un rapport sans anicroches entre les cultures lorsqu'on a r�uni des groupes de v�rification et d'�valuation qui n'avaient auparavant aucun lien entre eux. Les m�thodes les plus courantes d'acculturation sont les retraites de groupe et les cours d'introduction � la discipline compl�mentaire. Comme on peut s'y attendre, on a constat� qu'il est culturellement moins difficile de lier organisationnellement les groupes de v�rification et d'�valuation dans les cas o� il y avait une proportion �lev�e de personnes en d�tachement par rapport aux employ�s permanents, ou dans les cas o� il y a beaucoup plus de march�s de service que de travail interne.

Choisir de mettre sur pied un groupe d'� examen � � fonction unique entra�ne des cons�quences importantes pour les ressources humaines. Les minist�res qui ont choisi cette voie ont eu � investir beaucoup pour acqu�rir ou cr�er des � g�n�ralistes �, des agents dot�s des comp�tences et des attitudes n�cessaires pour faire les � examens �. En effet, les cultures distinctes des deux groupes, qui sont jug�es contreproductives par les adeptes de l'� examen �, ont �t� jug�es suffisamment enracin�es pour qu'il soit plus facile d'embaucher des gestionnaires de programme ou des personnes de l'ext�rieur n'ayant aucune formation en v�rification- �valuation et de leur enseigner les comp�tences n�cessaires, plut�t que d'�liminer la socialisation chez les v�rificateurs ou les �valuateurs. Ce qui peut donner � entendre que les groupes d'examen � fonction unique auront un rendement inf�rieur � leurs contreparties non fusionn�es, du moins jusqu'� ce que les agents amen�s de l'ext�rieur acqui�rent de l'exp�rience.

Conclusions

Le lien organisationnel semble comporter des avantages probables importants, mais aussi des dangers relativement modestes. Outre les �conomies de ressources possibles qui ont motiv� la haute direction, les avantages qu'ils comportent sont notamment de faciliter la mise en place d'une orientation-clients sous la forme d'un guichet unique et l'occasion, pour chaque partie, d'apprendre des m�thodes de l'autre. Le danger tient au fait que les personnes int�gr�es � chacune de leur profession se sentent menac�es par la proximit� d'une culture diff�rente et en concluent qu'il s'agit d'une manifestation de l'ignorance de la haute direction au sujet des distinctions entre les fonctions. Cette association n�gative a �t� accentu�e du fait que le lien organisationnel a souvent �t� cons�cutif � des compressions dans les fonctions.

Environ la moiti� des minist�res visit�s ont r�alis� r�cemment une �tude confi�e conjointement � la v�rification et � l'�valuation, et un quart des autres songent � la possibilit� de le faire sous peu. Dans la plupart de ces cas toutefois, le projet conjoint prend la forme d'une �tude de v�rification et d'une �tude �valuation distinctes mais coordonn�es. La r�partition traditionnelle des questions entre les fonctions est g�n�ralement respect�e.

La fusion en un groupe d'examen � fonction unique peut entra�ner des cons�quences n�gatives plus graves et est g�n�ralement r�alis�e pour des motifs tr�s diff�rents que les deux formes pr�c�dentes de lien. Il est trop t�t pour d�terminer si les � examinateurs � g�n�ralistes produisent des �tudes dont la qualit� est diff�rente de celle des v�rificateurs et des �valuateurs, mais les co�ts de d�part pour la formation et l'acculturation semblent plut�t �lev�s.

Personnes interrog�es pour l'�tude

(Poste et minist�re au moment de la rencontre)

Jim van Adel, directeur g�n�ral int�rimaire, V�rification interne, D�fense nationale.
Robert Bergeron, directeur, Examen et v�rification, P�ches et Oc�ans.
Barry Bragg, directeur g�n�ral int�rimaire, Direction g�n�rale de la v�rification et de l'�valuation, Travaux publics Canada.
Francine Chabot-Plante, directrice g�n�rale, V�rification et �valuation, Communications Canada.
Bill Clark, directeur g�n�ral int�rimaire, Direction g�n�rale de la v�rification minist�rielle, Minist�re des Affaires indiennes et du Nord canadien.
David Bell, sous-ministre adjoint - Examen, Transports Canada.
Elizabeth Hopkins, directrice, �valuation, Approvisionnements et Services Canada.
Nicole Mendenhall, directrice g�n�rale, V�rification et �valuation, Revenu Canada - Douanes et Accise.
Basil Orsini, directeur, V�rification et �valuation, Revenu Canada - Imp�t.
Denise Roberge, directrice, V�rification interne et �valuation de programme, Travail Canada.
Bill Smith, directeur, Planification et �valuation minist�rielle, Conseil national de recherches.
Owen Taylor, directeur g�n�ral, Direction g�n�rale de la v�rification des op�rations, Industrie et Sciences Canada.
Steven Turner, directeur g�n�ral, Direction g�n�rale de l'examen, Approvisionnements et Services Canada.
Al Whitla, directeur, V�rification et �valuation, Affaires �trang�res et Commerce international Canada.
Steve Wilson, v�rificateur, Services correctionnels Canada.

Bibliographie

Les articles suivants constituent une bibliographie choisie sur les liens entre la v�rification interne et l'�valuation.

Chelimsky, E (1985), "Comparing and Contrasting Auditing and Evaluation: some Notes on their Relationship", Evaluation Review, 9 (4), 483-503.
Comptroller General of the United States (1988), Government Auditing Standards, United States General Accounting Office.
Davis, D. F. (1990), "Do you want a Performance Audit or a Program Evaluation?", Public Administration Review, 50 (1), 35-41.
Hendricks M., Mangano M.F. & Moran W.C. (1990), "Inspector Generals; A New Force in Evaluation", New Directions for Program Evaluation, 48.
Management Advisory Board-Management Improvement Advisory Committee, Australia (1993), Performance Information and the Management Cycle, Publication no 10.
Bureau du contr�leur g�n�ral (1991), Bulletin d'information, Les gestionnaires axiaux et appr�ciation de service au public.
Bureau du contr�leur g�n�ral (1992), Appr�ciation du rendement: Le guide du gestionnaire sur l'�valuation de programmes et la v�rification interne.
Rist, R.C. (1989), "Management Accountability: the Signals Sent by Auditing and Evaluation", Journal of Public Policy, 9 (3), 355-369.
Segsworth R. V. (1990), Canadian Journal of Program Evaluation, 5 (1),41- 56, "Auditing and Evaluation in the Government of Canada: Some Reflections".
Walker W.E. (1988), Evaluation and Program Planning, 8, 271-280, "The conduct of program evaluation reviews in the GAO".
Walker W.E. (1988), Evaluation and Program Planning, 8, 359-366, "The impact of program evaluations on government".