ARCHIVÉ - Consultation auprès des administrateurs généraux sur la fonction d'évaluation - Rapport sommaire

Avertissement Cette page a été archivée.

Information archivée dans le Web

Information archivée dans le Web à des fins de consultation, de recherche ou de tenue de documents. Cette dernière n’a aucunement été modifiée ni mise à jour depuis sa date de mise en archive. Les pages archivées dans le Web ne sont pas assujetties aux normes qui s’appliquent aux sites Web du gouvernement du Canada. Conformément à la Politique de communication du gouvernement du Canada, vous pouvez demander de recevoir cette information dans tout autre format de rechange à la page « Contactez-nous ».

� l’intention du Centre d’excellence en �valuation, Secr�tariat du Conseil du Tr�sor du Canada

Robert Lahey
REL Solutions Inc.

Janvier 2011

Table des mati�res

1. Introduction

Le pr�sent rapport est un sommaire des consultations tenues aupr�s d’un �chantillon restreint d’administrateurs g�n�raux de minist�res et organismes f�d�raux au sujet de la fonction d’�valuation. L’objectif �tait de recueillir de l’information qui allait servir d’intrant pour la r�daction du premier rapport annuel sur l’�tat de la fonction d’�valuation que le Secr�tariat du Conseil du Tr�sor (SCT) pr�sentera au Conseil du Tr�sor.

Le Centre d’excellence en �valuation (CEE) du SCT a retenu les services de Robert Lahey, pr�sident de REL Solutions Inc., qui, en septembre 2010, a men� des entrevues aupr�s de neuf administrateurs g�n�raux sur quatre grands th�mes :

Comment le minist�re/l’organisme utilise l’�valuation;
Quelle incidence le renouvellement du Syst�me de gestion des d�penses (p. ex. les examens strat�giques) et la Politique sur l’�valuation de 2009 ont eue sur l’ex�cution des �valuations, sur les ressources qui leur sont attribu�es et sur leur planification;
Quelle serait la meilleure fa�on dont le SCT pourrait appuyer l’organisation en ce qui concerne l’�valuation et les nouvelles exigences de la Politique de 2009;
Dans quelle mesure l’�valuation et la surveillance du rendement en continu donnent une image compl�te du � rendement � d’une organisation.

On trouvera la liste des administrateurs g�n�raux participants � l’annexe 1.

Le pr�sent rapport donne un aper�u sommaire des r�troactions des administrateurs g�n�raux ayant particip� aux consultations en fonction des quatre grands th�mes �num�r�s ci‑dessus.

2. Contexte

Un rapport annuel au Conseil du Tr�sor sur l’�tat de la fonction d’�valuation est une nouvelle exigence de la Politique sur l’�valuation de 2009, et son objet est d’�clairer le Conseil du Tr�sor et le Secr�tariat en faisant un survol des progr�s de la mise en œuvre de la Politique dans les minist�res. D’un point de vue op�rationnel, on s’attend � ce qu’un tel rapport aide le SCT � s’acquitter de son r�le en mati�re de leadership fonctionnel et qu’il aide aussi les minist�res � cerner les am�liorations � apporter � la fonction d’�valuation.

M�me si la consultation aupr�s des administrateurs g�n�raux ne constitue qu’un intrant du rapport sur l’�tat de la fonction d’�valuation, on s’attendait � ce qu’elle repr�sente une riche source d’information sur la fa�on dont les administrateurs g�n�raux voient et utilisent l’�valuation dans le cadre de la gestion de leurs organisations.

Dix‑huit mois apr�s la mise en œuvre transitoire de la Politique sur l’�valuation de 2009, on pensait que les organisations auraient accumul� suffisamment d’exp�rience en la mati�re. De plus, si des enjeux importants avaient surgi, il y aurait eu suffisamment de temps depuis l’entr�e en vigueur de la Politique pour qu’ils viennent � l’attention du fonctionnaire du rang le plus �lev� au sein de l’organisation.

3. M�thodologie

C’est le SCT qui a d�termin� combien d’organisations seraient consult�es (9) et de quelles organisations il s’agirait.

L’�chantillon de neuf participants est tr�s petit et il ne faut donc pas penser qu’il est repr�sentatif de tout l’univers, mais les organisations choisies repr�sentent une bonne s�lection de minist�res et d’organismes. Les neufs administrateurs g�n�raux participants, dont on trouvera la liste � l’annexe 1, repr�sentent un vaste �ventail d’activit�s op�rationnelles gouvernementales et de situations aux fins de l’�valuation; il s’agit notamment d’un minist�re qui a une vaste composante de subventions et de contributions (S et C); d’un minist�re charg� de l’�laboration de politiques; d’un organisme r�gional; du minist�re qui compte la plus vaste unit� d’�valuation; d’une diversit� de cat�gories de programmes, y compris des programmes sociaux, des programmes �conomiques, des programmes de r�glementation et des programmes internationaux; et d’organisations au sein desquelles l’�valuation cohabite ou ne cohabite pas avec la v�rification interne.

Pour prendre les rendez‑vous aux fins des entrevues, c’est le Secr�taire du CT qui a communiqu� formellement avec chaque administrateur g�n�ral (on trouvera � l’annexe 2 l’information pr�alable qui a �t� transmise aux administrateurs g�n�raux par le SCT). Les entrevues allaient durer entre 30 et 60 minutes et aucune pr�paration pr�alable n’allait �tre n�cessaire de la part des administrateurs g�n�raux, car l’objet de la consultation �tait d’obtenir leurs r�actions spontan�es � des questions au sujet de leur fonction d’�valuation. Seuls les quatre grands th�mes de discussion leur ont �t� communiqu�s.[¹]

Les administrateurs g�n�raux ont particip� � des entrevues dont la dur�e est all�e de 45 � 60 minutes. Dans tous les cas, ils ont �t� plus que dispos�s � consacrer toute leur attention � la discussion de l’�valuation et de son utilisation.

Ce sommaire fait la synth�se des constatations en fonction des quatre grands th�mes de discussion. Compte tenu de la petite taille de l’�chantillon, l’analyse est de nature plus qualitative, mais elle permet de faire ressortir dans quels cas la majorit� des administrateurs g�n�raux �tait du m�me avis.

4. Constatations

4.1 Utilisation de la fonction d’�valuation par les minist�res et organismes

Une diversit� d’utilisations

Les administrateurs g�n�raux indiquent une vari�t� de fa�ons dont la fonction d’�valuation peut �tre utilis�e – et est utilis�e – au sein de leur organisation. Certains ont mentionn� express�ment le lien avec la planification strat�gique et les rapports sur le rendement (en tant qu’intrant du Rapport minist�riel sur le rendement), mais les utilisations suivantes semblent ressortir :

Pour les organisations qui ont des programmes de S et C, l’�valuation est un intrant important des discussions/d�cisions concernant les programmes qui arrivent � �ch�ance et le renouvellement du financement lorsqu’elles se pr�sentent au Cabinet.

En g�n�ral, l’�valuation peut – et devrait – servir de source d’information (mais ne sera pas le seul intrant) � l’appui des examens strat�giques minist�riels. Dans ce contexte, les donn�es probantes recueillies et les rapports d’�valuation peuvent servir d’intrants dans la documentation utilis�e pour d�terminer les domaines de faible rendement et de faible priorit�.

Comme l’ont affirm� de diverses fa�ons plusieurs administrateurs g�n�raux, l’�valuation est consid�r�e comme un moyen de faire le tour d’une question ou d’un th�me strat�gique afin d’�clairer les discussions sur les politiques, l’�laboration des politiques et les d�cisions. Cet usage met en lumi�re la contribution de l’�valuation aux connaissances de l’organisation ou, en d’autres termes, le savoir que l’�valuation a g�n�r� dans tel ou tel domaine.

Bien qu’il n’ait pas �t� mentionn� par tous les r�pondants, le domaine traditionnel de � l’�valuation de programme �, qui examine les enjeux entourant la conception des programmes, leur mise en œuvre, leur efficacit�, etc., a quand m�me �t� jug� particuli�rement utile par certains administrateurs g�n�raux. Ils �taient d’avis que l’approche syst�matique et rigoureuse qui permet de r�unir des donn�es disparates (ce qui pose parfois un d�fi) et qui n�cessite une r�ponse de la direction qui va faire l’objet d’un suivi constitue une � approche robuste � qui est � sur le m�me pied que la v�rification interne �.

Quelques administrateurs g�n�raux ont ajout� que les usages possibles de l’�valuation ne peuvent pas tous �tre n�cessairement pr�vus � l’avance, car il est parfois difficile de d�terminer o� les conclusions d’une �valuation auront une influence particuli�re (par exemple, dans les discussions sur les politiques).

Ce qui se d�gage des observations des administrateurs g�n�raux est que les �valuations ont besoin d’�tre r�alis�es et discut�es en temps opportun et d’�tre solidement reli�es aux discussions de la haute direction. Ce dernier �l�ment est important si on veut s’assurer que la fonction d’�valuation anticipe les domaines qui rev�tiront de l’int�r�t � l’avenir et que les conclusions d’une �valuation pertinente soient mises � la disposition des auditoires cl�s.

�valuation et examen strat�gique

Un certain nombre de r�pondants �taient d’avis que la nouvelle proximit� de l’examen strat�gique et de l’�valuation avait, comme un administrateur g�n�ral l’a soulign�, � donn� un nouveau souffle � la fonction d’�valuation �.

� L’examen strat�gique a relev� la fonction d’�valuation de quelque degr�s. �

Mais comme l’ont fait remarquer certains r�pondants, l’impact r�el de la fonction d’�valuation se manifestera dans l’avenir, car la premi�re ronde des examens strat�giques a d� miser sur l’information d�j� disponible et dans de nombreux cas, il n’y avait pas eu d’�valuations. Mais dor�navant, comme les lacunes dans l’information sont mieux connues, l’opinion est que la planification des futurs travaux de l’�valuation peut tenir compte du calendrier des futurs examens strat�giques.

La fonction d’�valuation comme �l�ment contributif de la prise de d�cisions

Dans l’ensemble, un grand nombre des administrateurs g�n�raux estimaient que l’�valuation apportait une � solide � contribution � la prise de d�cisions dans leur minist�re, mais certains croyaient aussi qu’on pourrait en faire plus � ce chapitre (pour des raisons qui seront examin�es dans la section qui suit).

Les administrateurs g�n�raux ont mentionn� plusieurs facteurs qui contribuent vraisemblablement � l’utilisation de l’�valuation :

La composition du Comit� d’�valuation minist�riel (CEM). Plus d’un r�pondant est d’avis qu’un CEM plus inclusif, sur le mod�le de l’�quipe de la haute direction, a suscit� � des discussions vraiment fructueuses �, par exemple, une plus grande rigueur et des questions d’approfondissement au moment d’�tablir le plan d’�valuation de l’organisation. En outre, dans les cas o� il incombe au CEM d’approuver le mandat des �valuations, le Comit� devient une tribune au sein de l’organisation qui contribue � veiller � ce que les pr�occupations/enjeux de la direction se refl�tent dans la port�e des �valuations.
La composition du CEM mais aussi la fr�quence de ses r�unions jouent vraisemblablement un r�le dans l’utilisation de l’�valuation. Un administrateur g�n�ral a indiqu� que le CEM pouvait se r�unir toutes les quatre ou six semaines, ce qui fait que � l’�valuation est toujours au premier plan de la gouvernance de l’organisation �.
Certains r�pondants ont parl� de l’�valuation comme � �l�ment de la structure de gouvernance �, de son int�gration au processus d�cisionnel, aux m�moires au Cabinet, de ses liens avec la planification strat�gique, l’adoption de politiques et la production de rapports. Mais qu’est‑ce qui est � l’origine de ce ph�nom�ne? Un administrateur g�n�ral a expliqu� qu’il avait adopt� une � approche syst�matique � en ce qui concerne le recours � l’�valuation, qui se retrouve en fait ench�ss�e dans un m�canisme robuste de planification, de mesure et de rapports. Mais comme les r�pondants l’ont fait remarquer, cela repose sur un engagement de recourir syst�matiquement � l’�valuation au sein de l’organisation, engagement sans lequel ces avantages de l’�valuation ne se concr�tiseraient probablement pas.
Pour un administrateur g�n�ral, l’engagement envers l’�valuation ne se limite pas � pr�sider le CEM, malgr� l’importance de cette fonction (� �a envoie un signal �). Selon un r�pondant, l’utilisation efficace de l’�valuation d�pend notamment de l’int�r�t que rev�t le recours � l’�valuation pour l’organisation, � ce qui varie probablement d’un minist�re � l’autre �.

Obstacles qui peuvent entraver le recours � l’�valuation

La plupart des administrateurs g�n�raux ont mentionn� certains �l�ments qui, � leurs yeux, entravent directement le recours � l’�valuation dans leur minist�re ou qui y feraient probablement obstacle :

Probl�mes de d�marrage associ�s � la r�alisation d’une �valuation et qui font qu’en fin de compte, l’�valuation n’est pas livr�e en temps opportun. Ce probl�me est associ� en partie � la question g�n�rale des ressources humaines (c’est‑�‑dire qu’il y a trop peu d’�valuateurs qualifi�s dans le syst�me) et � la n�cessit� d’avoir recours � des entrepreneurs de l’ext�rieur pour pouvoir mener les �valuations. Plus d’un administrateur g�n�ral a fait remarquer que le processus de passation de march�s est devenu plut�t lourd et long, et que son administration semble demander trop de temps.[²]
Les rapports d’�valuation ne fournissent pas toujours de preuves d�finitives au sujet de telle ou telle question et les observations et conclusions manquent parfois de clart�. On peut conclure des r�troactions des administrateurs g�n�raux qu’il y a diverses raisons qui les am�nent � le penser. Par exemple :
1. un manque d’�valuateurs qualifi�s, tant � l’interne qu’� l’externe. La plupart des r�pondants ont indiqu� qu’il n’y avait tout simplement pas assez d’�valuateurs qualifi�s, tant au gouvernement que chez les consultants de l’ext�rieur, et que dans cette perspective, la qualit� des consultants de l’ext�rieur �tait assez variable;
2. la difficult� de mesurer les retomb�es et de faire face aux enjeux de l’attribution;
3. les attentes au sujet des �l�ments qu’une �valuation peut raisonnablement permettre de mesurer – qui sont parfois tr�s peu r�alistes. Certains r�pondants ont fait remarquer qu’il est important de reconna�tre que l’�valuation � est seulement un intrant � dans le processus d�cisionnel et que d’autres facteurs, y compris la dimension politique, entrent en jeu dans les d�cisions. � L’�valuation n’apportera pas toutes les r�ponses, il faut bien le comprendre! �
Les rapports d’�valuation qui ne sont pas tourn�s vers l’avenir et qui n’offrent pas l’�clairage n�cessaire pour les discussions strat�giques. Dans de tels cas, les r�pondants sont d’avis qu’une �valuation peut fournir un diagnostic centr� sur une question en particulier, mais ne permet pas toujours de r�pondre � la question � qu’allez‑vous apporter comme solution? � une fois les enjeux cern�s.
Trop peu de temps et d’�nergie de la part des gens des programmes et des politiques dont l’apport et la mobilisation seraient n�cessaires pour faire le suivi d’une �valuation. D�terminer o� et comment les r�sultats des �valuations seront utilis�s, voil� qui demande du temps et de l’�nergie de la part de gens qui manquent peut‑�tre de l’un et de l’autre. Comme l’a dit un r�pondant, ils se concentrent principalement sur leur travail et les besoins imm�diats.
L’opinion selon laquelle il y a trop peu de ressources au sein de l’organisation pour exploiter � les enseignements tir�s de la fonction d’�valuation �. Dans la plupart des organisations, l’importance accord�e � la production de rapports d’�valuation de qualit� est telle que le groupe de l’�valuation n’a plus le temps/les ressources pour une r�flexion/une analyse plus vastes, plus strat�giques de ce que les r�sultats de l’�valuation signifient r�ellement pour l’organisation.
L’impression que le moment o� une �valuation est r�alis�e et son th�me d�pendent davantage de l’�ch�ance du programme que d’une approche plus strat�gique de l’�valuation des programmes d’un minist�re. � cet �gard, un administrateur g�n�ral a parl� de l’importance d’aligner la r�alisation de l’�valuation et la publication de ses r�sultats, en ajoutant que les �valuations ont besoin d’�tre livr�es avant que le cr�neau se referme.
La perception selon laquelle la Politique sur l’�valuation de 2009 est rigide et n’offre pas la flexibilit� qui permettrait � un minist�re de se concentrer sur des questions qui ne correspondent peut‑�tre pas aux enjeux fondamentaux pr�vus par la Politique. Un grand nombre des r�pondants sont d’avis que la Politique se veut une solution uniformis�e.

Gouvernance et neutralit�

Comme on l’a vu ci‑dessus, certains administrateurs g�n�raux ont constitu� leur Comit� d’�valuation minist�riel (CEM) sur le mod�le de leur Comit� de la haute direction. Cette d�cision repose apparemment sur des motifs administratifs, mais rien ne laisse penser que la � neutralit� �[³] de la fonction d’�valuation s’en trouve diminu�e.

Dans un certain nombre d’organisations consult�es, l’�valuation cohabite avec la v�rification interne, ce qui s’explique en grande partie par le positionnement historique des deux fonctions au sein de l’organisation. Cela pourrait avoir diverses r�percussions du point de vue de la � gouvernance �, surtout � cause de certaines exigences de la Politique de 2006 sur la v�rification interne, notamment les suivantes : l’int�gration de membres de l’ext�rieur du gouvernement dans les comit�s de v�rification minist�riels; ii) un profil rehauss� pour le dirigeant principal de la v�rification (DPV); et (iii) une importance accrue accord�e � � l’ind�pendance �.

Selon les administrateurs g�n�raux, jusqu’� maintenant, les membres de l’ext�rieur qui font partie des comit�s de v�rification comme des comit�s d’�valuation ont surtout besoin de mieux se familiariser avec l’�valuation et son r�le dans l’organisation.

S’agissant du profil rehauss� que la Politique de 2006 sur la v�rification interne donne au dirigeant principal de la v�rification, les cas de cohabitation sembleraient signifier que dor�navant, la fonction d’�valuation a des interactions plus fr�quentes avec l’administrateur g�n�ral. Toutefois, on ne sait pas au juste si cela suscite vraiment plus de discussions au sujet de l’�valuation.

S’agissant de l’accent qui est mis sur l’ind�pendance de la fonction de v�rification interne — les administrateurs g�n�raux semblent faire une distinction entre les deux fonctions � cet �gard. L’opinion g�n�rale semble �tre que les �valuateurs (contrairement aux v�rificateurs internes) devraient consulter les gestionnaires � diff�rentes �tapes de l’�valuation – et le font bel et bien – tout en �tant capables de conserver leur neutralit� et leur objectivit� lorsqu’il s’agit d’analyser les constatations et de rendre compte des r�sultats.

En g�n�ral, les administrateurs g�n�raux interview�s n’ont exprim� aucun probl�me ni aucune pr�occupation au sujet du risque que la neutralit� de l’�valuation soit compromise dans leurs organisations.

4.2 Incidence du renouvellement du SGD et de la Politique sur l’�valuation de 2009 dans les minist�res

Le deuxi�me th�me de la consultation aupr�s des administrateurs g�n�raux concernait l’incidence que le renouvellement du Syst�me de gestion des d�penses et la Politique sur l’�valuation de 2009 ont eue dans les minist�res des points de vue de l’ex�cution des �valuations, de leur planification et de l’attribution des ressources n�cessaires � leur ex�cution.

Les administrateurs g�n�raux qui ont mentionn� le SGD l’ont fait seulement dans le contexte des � examens strat�giques �; toutefois, tous avaient des choses � dire au sujet de la nouvelle Politique sur l’�valuation et de la fa�on dont ils la per�oivent. Les commentaires allaient de l’opinion selon laquelle la Politique �tait assez bien con�ue � la mention de certaines de ses exigences qui sont trop ambitieuses. Mais aux dires de l’un des r�pondants, il est probablement trop t�t pour d�terminer toute l’incidence de la Politique, tant que les minist�res n’ont pas achev� un cycle complet.

Incidence positive de la Politique sur l’�valuation de 2009

Selon certains administrateurs g�n�raux, le lien implicite entre l’�valuation et l’examen strat�gique a rehauss� le profil de leur fonction d’�valuation.[⁴] Aux dires d’un r�pondant, la Politique a � relev� la barre � pour l’�valuation, notamment parce qu’elle obligera tous les programmes gouvernementaux � examiner syst�matiquement des enjeux fondamentaux comme � leur raison d’�tre �.

Un administrateur g�n�ral a d�clar� que l’�valuation � occupe maintenant un peu plus de place � et � pour les bonnes raisons �.

Toutefois, un grand nombre des r�pondants n’ont pas manqu� de dire que si la barre devait �tre relev�e, le SCT allait devoir jouer un plus grand r�le en mati�re de leadership en ce qui concerne l’�valuation. On reviendra sur cette question dans la section 4.3.

La Politique sur l’�valuation de 2009: Pr�occupations et d�fis

Cinq grandes pr�occupations sont revenues un certain nombre de fois et ont �t� exprim�es de diverses fa�ons pendant les entrevues. Elles sont r�sum�es ici, sans ordre particulier.

Il y aurait surabondance d’activit�s s’apparentant � des examens qui ne sont peut‑�tre pas bien coordonn�es par le SCT
- Un certain nombre d’administrateurs g�n�raux ont d�clar�, de diverses fa�ons, qu’un �ventail tr�s ambitieux d’exigences en mati�re de surveillance avait �t� introduit au cours des derni�res ann�es (en raison de la Politique sur les paiements de transfert, du cycle d’examen strat�gique, du r�le rehauss� que jouent les comit�s parlementaires, de la perception voulant que certaines exigences soient surfaites en mati�re de v�rification interne et du processus d’�valuation du CRG). � tout cela s’ajoutent les exigences accrues de la Politique sur l’�valuation de 2009, et certains administrateurs g�n�raux s’interrogent sur la qualit� de la coordination de ces divers m�canismes qui s’apparentent � des examens.
- M�me s’il se peut bien qu’elles aient toutes un certain m�rite lorsqu’il s’agit d’aider les administrateurs g�n�raux � exercer une � saine g�rance �, l’id�e qui en ressort est que collectivement, les activit�s de surveillance repr�sentent un fardeau consid�rable pour les organisations. Plusieurs administrateurs g�n�raux ont affirm� que le SCT doit prendre du recul et r�examiner la gamme compl�te des exigences. Dans ce contexte, il serait utile, aux fins de la fonction d’�valuation, de d�terminer o� l’�valuation apporte la plus grande valeur ajout�e; et de positionner l’�valuation et de mieux harmoniser les diverses activit�s en fonction de cet �ventail plus vaste de m�canismes de surveillance qui a �merg�.
L’exigence de couverture int�grale sur un cycle de cinq ans n’est probablement pas r�alisable et ne devrait pas �tre la balise d’une fonction d’�valuation � efficace �
- Certains r�pondants ont indiqu� que leur organisation r�pondrait aux exigences du cycle de cinq ans de la Politique sur l’�valuation. Quelques-uns n’en sont pas s�rs et d’autres sont d’avis que ce ne serait tout simplement pas le cas. Mais la majorit� s’est dite pr�occup�e au sujet du co�t d’un cycle d’�valuation quinquennal, certains pensant que ce n’est tout simplement pas viable.
- De l’avis d’un r�pondant, les minist�res viseront � � produire des produits significatifs, des produits qui comptent, peu importe si le taux de couverture est de 10 % ou de 20 % �.
- Pour la plupart des administrateurs g�n�raux, l’exigence d’une couverture int�grale sur un cycle de cinq ans remettra en question la capacit� du syst�me, car globalement, il n’y a tout simplement pas assez d’�valuateurs qualifi�s pour r�pondre � la demande.
Les co�ts plus �lev�s de l’�valuation ne peuvent pas �tre absorb�s, surtout en p�riode de gel des budgets
- Certains administrateurs g�n�raux sont d’avis que pour r�pondre aux exigences du cycle quinquennal, ils consacreront trop d’argent � l’�valuation (notamment � cause de l’inflexibilit� per�ue de la Politique sur l’�valuation).
- Pour l’avenir, en p�riode de gel des budgets, certains r�pondants se demandent s’il est plus logique de consacrer l’argent marginal � l’�valuation ou � la mise en œuvre d’un service ou d’un programme.
- Une partie de ce dilemme vient de la surabondance per�ue de m�canismes de � surveillance �. Compte tenu des exigences qu’il a fallu respecter et des lourds investissements qu’il a fallu faire dans la v�rification interne � la suite de la Politique de 2006 sur la v�rification interne, certains administrateurs g�n�raux se demandent si leur minist�re peut aussi se permettre ce qu’ils per�oivent comme une fonction d’�valuation co�teuse.
L’inflexibilit� per�ue de la Politique qui vient augmenter le co�t de l’�valuation. Pour certains, cela signifie �galement que des enjeux importants pour les minist�res pourraient �tre n�glig�s, ce qui r�duirait l’utilit� de l’�valuation pour le minist�re.
- Un certain nombre d’administrateurs g�n�raux ont r�agi n�gativement � ce qu’ils consid�rent comme � la solution uniformis�e � que propose la Politique sur l’�valuation de 2009. Leur opinion est qu’il faut plus de flexibilit� sur les plans de la conception, de la d�termination de la port�e et de l’ex�cution des �valuations (particuli�rement pour les � grands � programmes par rapport aux � petits � et pour les domaines qui pr�sentent des � risques �lev�s � par rapport � ceux qui pr�sentent des � risques faibles �).
- L’opinion est que la Politique exige que toutes les composantes de programmes soient trait�es de la m�me fa�on, et les r�pondants pensent qu’en cons�quence, il y aura trop d’�valuations � r�aliser et que la fonction d’�valuation sera beaucoup plus co�teuse.
- De plus, une exigence veut que les �valuations examinent toute la gamme des � enjeux fondamentaux �; cela ne semble pas laisser de place pour l’examen des enjeux qui ne se trouvent pas sur la liste du SCT (ou de � cr�dit � pour leur examen) (m�me lorsqu’il s’agit d’enjeux qui rev�tent de l’importance pour le minist�re) ou les �tudes qui ne visent pas l’ensemble des enjeux d�finis dans la Politique sur l’�valuation.
- Comme on l’a d�j� vu, certains administrateurs g�n�raux estiment qu’ils ne sont pas en mesure de tirer pleinement parti du vaste �ventail de connaissances et de savoir que produisent les �valuations et ils l’expliquent notamment par les exigences de la Politique. L’obligation d’�valuer tous les programmes d’un minist�re sur un cycle de cinq ans ne laisse pas aux unit�s d’�valuation suffisamment de temps ou de ressources pour tirer les grands enseignements de multiples �valuations.
Le bassin d’�valuateurs qualifi�s et exp�riment�s � l’�chelle du syst�me (les �valuateurs internes et les consultants de l’ext�rieur) est jug� trop limit� pour r�pondre aux exigences accrues de la nouvelle Politique.
- La plupart des administrateurs g�n�raux ont parl� du d�s�quilibre entre la demande d’�valuateurs (qui s’est accrue en raison de la Politique sur l’�valuation de 2009) et l’offre globale actuelle. Le bassin d’�valuateurs qualifi�s et de consultants de l’ext�rieur est trop restreint, ce qui se r�percute sur la capacit� de se plier aux exigences de la nouvelle Politique.
- Plusieurs enjeux concernant les RH sont consid�r�s comme �tant de v�ritables d�fis pour la fonction d’�valuation � l’�chelle du syst�me. On les examinera de fa�on plus d�taill�e ci-dessous.

Les d�fis que doit relever la fonction d’�valuation en mati�re de ressources humaines

Les enjeux des ressources humaines (RH) et de la capacit� sont revenus constamment dans les entrevues. Plusieurs aspects de la question des ressources humaines sont ressortis des discussions avec les administrateurs g�n�raux. M�me dans les organisations dont l’unit� d’�valuation interne a pris de l’expansion ces derni�res ann�es (soit presque la moiti� des organisations sond�es), les questions suivantes soul�vent g�n�ralement des pr�occupations :

Il y a trop peu d’�valuateurs qualifi�s et exp�riment�s � l’�chelle du syst�me
Le recrutement et le maintien en poste d’�valuateurs qualifi�s repr�sentent des d�fis
Le recrutement est souvent retard� par les longueurs du processus de dotation
Il faut � r�orienter � beaucoup d’�valuateurs internes, qui ont jou� traditionnellement un r�le de � gestionnaire de l’�valuation �, pour les amener � jouer un r�le plus actif d’�valuateur � sur le terrain �

Selon les r�pondants, pour r�gler ces enjeux, il faudra que le SCT prennent des mesures sur de nombreux fronts. �tant donn� la nature de la formation des �valuateurs, la strat�gie devra n�cessairement reposer sur le plus long terme et peut-�tre m�me �tre � l’�chelle de la collectivit�. Certains pensent qu’on pourrait tirer des le�ons utiles de l’exp�rience du BCG au moment de la constitution de la collectivit� de la v�rification interne.

Une question connexe concerne le recours aux consultants de l’ext�rieur qui feraient une partie du travail d’�valuation dans les minist�res. Pour la plupart des administrateurs g�n�raux cependant, cela ne r�glerait pas le probl�me des RH, et ce, pour trois grandes raisons :

Il y a trop peu de consultants � de qualit� � dans le syst�me
Les probl�mes associ�s au processus de passation de march�s peuvent s�rieusement retarder le recours � un consultant quand on en a besoin
Le processus de passation de march�s ne se traduit pas n�cessairement par le recrutement d’un consultant � de qualit� � pour telle ou telle t�che[⁵]

Une question a �t� pos�e aux administrateurs g�n�raux au sujet d’une r�flexion de la v�rificatrice g�n�rale dans son r�cent examen de la fonction d’�valuation[⁶], qui affirme que minist�res et organismes devraient avoir plus d’�valuateurs internes et moins compter sur des consultants de l’ext�rieur pour faire les �valuations.

Les administrateurs g�n�raux dont les unit�s d’�valuation avaient pris de l’expansion ont affirm� qu’ils se proposaient de moins recourir aux consultants de l’ext�rieur � l’avenir, faut‑il s’en surprendre. Les autres auraient recours � des consultants selon les besoins. Ou encore, aux dires d’un r�pondant, � �a d�pend de beaucoup de facteurs – la disponibilit� de comp�tences sp�ciales, un besoin pressant de livrer la marchandise, la disponibilit� d’�valuateurs internes, etc. �. En d’autres termes, tous les administrateurs g�n�raux se proposent de continuer de faire appel � des consultants de l’ext�rieur quand c’est logique de le faire. Ceci �tant dit, la majorit� des r�pondants se plaint de la � qualit� � in�gale des consultants de l’ext�rieur.

Pour les administrateurs g�n�raux, le bassin d’�valuateurs qualifi�s n’atteindra pas de niveaux satisfaisants si on se contente d’ajouter des �valuateurs de l’ext�rieur aux �valuateurs internes. C’est pourquoi les administrateurs g�n�raux pensent qu’un bassin insuffisant d’�valuateurs qualifi�s � l’�chelle du syst�me sera un d�fi pour les minist�res au moment de respecter les exigences de la Politique sur l’�valuation de 2009 � court terme, voire m�me � plus long terme.

4.3 Suggestions concernant le soutien/les am�liorations que le SCT/le CEE pourraient apporter

Apr�s avoir d�fini une s�rie de d�fis qui se posent � la fonction d’�valuation, les administrateurs g�n�raux ont �t� pri�s de dire quels moyens le SCT/le CEE pourraient mettre en œuvre pour appuyer le mieux possible les organisations en mati�re d’�valuation et en ce qui concerne les exigences accrues de la nouvelle Politique.

Voici un aper�u des suggestions des administrateurs g�n�raux, qui sont class�es selon quatre grands th�mes :

Clarifier et/ou revoir les exigences de la Politique afin de permettre une plus grande flexibilit�
Fournir davantage de consignes et de soutien pour l’�valuation
Assurer davantage de leadership et de visibilit� pour la fonction d’�valuation
Relever les d�fis des ressources humaines

Clarifier et/ou r�viser les exigences de la Politique afin de permettre une plus grande flexibilit�

Les administrateurs g�n�raux consult�s sont g�n�ralement d’avis que le SCT doit clarifier ses attentes au sujet de la Politique sur l’�valuation de 2009 et fournir des consignes concernant des approches d’un bon rapport co�t‑efficacit� pour satisfaire les exigences de la Politique.

Pour remplacer � la solution uniformis�e � que propose la Politique selon la perception qu’en ont les r�pondants, certains administrateurs g�n�raux ont fait les suggestions suivantes :

S’agissant des � petits � programmes par rapport aux � gros programmes �, envisager une approche en plusieurs volets (trois volets par exemple) qui refl�te une gamme d’attentes, compte tenu de la complexit� de la conception de l’�valuation et des m�thodologies qui seront utilis�es.

Pr�voir une certaine flexibilit� au chapitre de l’�valuation des programmes dans le contexte de l’AAP; par exemple, autoriser des �valuations de niveau plus �lev� apr�s une analyse des risques.

Pr�voir une plus grande flexibilit� dans la d�termination de la port�e des �valuations.

Pr�voir une plus grande flexibilit� dans la d�termination de la longueur appropri�e du cycle d’�valuation et d�terminer les priorit�s en fonction des risques plut�t que d’un cycle quinquennal rigide.

L’inflexibilit� per�ue du cycle quinquennal ainsi que la d�finition de ce qui pourrait constituer un bon rendement de la fonction d’�valuation dans un minist�re posent probl�me � certains r�pondants. Ils ont fait remarquer qu’une analyse des risques devrait se faire au moment de la planification de la couverture de l’�valuation, comme c’est le cas avec la v�rification interne. Comme l’a dit un r�pondant (qui �tait tout � fait en faveur de l’�valuation), si le � bon rendement � repose sur le respect de la couverture de 20 %, il y a de bonnes chances que l’�valuation soit moins significative pour le sous‑ministre. Ce qui compte, c’est que le minist�re produise des �valuations significatives, autrement dit des �valuations qui � font une diff�rence �.

Plus d’un r�pondant a mentionn� qu’il y a un auditoire important au SCT lui‑m�me – c’est‑�‑dire les propres analystes du SCT – qui a besoin de mieux comprendre les attentes concernant une fonction d’�valuation, et la mesure du rendement en g�n�ral. Une opinion partag�e par plusieurs administrateurs g�n�raux est que les analystes dans les divers secteurs du SCT ont besoin d’attentes harmonis�es lorsqu’il est question d’�valuation. Et les r�pondants s’inqui�tent du fait que ce n’est pas le cas � l’heure actuelle.

Fournir davantage de consignes et de soutien pour l’�valuation

Au‑del� de la clarification des attentes, un certain nombre d’administrateurs g�n�raux pensent que des consignes pr�cises et des outils fournis par le SCT faciliteraient la mise en œuvre de la Politique et en fin de compte, l’utilisation de l’�valuation. Leur impression est que de fa�on g�n�rale, le SCT s’est cantonn� dans un r�le de � surveillance � et a fourni trop peu de soutien. Selon l’un des r�pondants, les minist�res se sentent g�n�ralement � laiss�s � eux‑m�mes � lorsqu’il s’agit de la nouvelle Politique.

Diverses questions au sujet desquelles le SCT/le CEE pourraient offrir plus de soutien ont �t� relev�es :

des consignes sur des approches et des m�thodologies d’un bon rapport co�t‑efficacit� pour r�pondre aux exigences de la Politique sur l’�valuation de 2009;
plus de conseils/de consignes sur les normes attendues lorsqu’il s’agit de produire du travail � de qualit� �, notamment sur la r�alisation et le processus de l’�valuation; la r�daction de rapports; le suivi des �valuations;
des consignes sur les attentes du SCT et des approches appropri�es pour la r�alisation d’�valuations concernant les politiques;
des consignes sur la r�alisation d’�valuations strat�giques et horizontales;
des conseils � l’intention des minist�res sur la meilleure fa�on d’appliquer les pratiques de gestion de l’information afin que les connaissances g�n�r�es par les �valuations soient conserv�es et facilement accessibles dans la m�moire institutionnelle.

Assurer davantage de leadership et de visibilit� pour la fonction d’�valuation

En g�n�ral, beaucoup de remarques se rapportent � l’absence ou au peu de leadership de la part du SCT en ce qui concerne la fonction d’�valuation. Selon certaines remarques tr�s pointues, le r�le du SCT n’est � pas �vident �; les minist�res ne re�oivent � pas beaucoup de consignes de la part du SCT �; � il n’y a pas beaucoup de visibilit� (pour l’�valuation) de la part du SCT �; et ce n’est pas le cas pour l’instant que la collectivit� de l’�valuation donne l’impression d’avoir une orientation, d’avoir des directions de ses dirigeants et de faire une diff�rence. Par contraste, la fonction de la v�rification interne au gouvernement, la relation du Bureau du contr�leur g�n�ral (BCG) avec le dirigeant principal de la v�rification (DPV) et les minist�res sont d�crites comme �tant � beaucoup plus solides �.

En plus des consignes propos�es dans des domaines particuliers, comme ci-dessus, certaines suggestions plus g�n�rales ont �t� faites : les r�pondants sont d’avis qu’il faut un champion plus visible et proactif, qui occupe un poste de rang sup�rieur et qui vient du centre. En particulier :

le SCT a besoin de faire valoir davantage l’�valuation, de jouer un plus grand r�le de leadership � l’�chelle du gouvernement, de relever le profil de l’�valuation et de lui accorder une plus grande reconnaissance, comme le contr�leur g�n�ral le fait pour la v�rification interne;

il vaudrait renforcer les interactions et � cette fin, cibler les rangs de la haute direction partout au gouvernement – pour mieux faire conna�tre et comprendre l’�valuation, expliquer pourquoi elle est importante et comment elle peut aider les administrateurs g�n�raux. La v�rification interne est � plus visible, mieux connue et (peut-�tre) plus appr�ci�e �; cela ne semble pas �tre le cas de l’�valuation;

le SCT a besoin de relever le profil de la fonction d’�valuation et du poste de chef de l’�valuation, comme la Politique sur la v�rification interne et le BCG ont relev� le profil du dirigeant principal de la v�rification (DPV) et lui ont donn� plus de visibilit� et une classification sup�rieure;

le SCT doit se faire le champion de l’�valuation en d�montrant amplement ce qui constitue une � fonction d’�valuation robuste �, en faisant valoir � ce que �a signifie pour le SM �; et en expliquant � pourquoi les SM ne peuvent pas se passer de l’�valuation – parce que l’�valuation apporte un �l�ment important � la table! � De plus, pour les praticiens, expliquer plus clairement � comment y parvenir �;

le SCT a besoin de fournir plus de soutien et de leadership pour l’ensemble de la collectivit� f�d�rale de l’�valuation, mettre davantage l’accent et se concentrer davantage sur le � d�veloppement de la collectivit� �.

Relever les d�fis des ressources humaines

La quasi‑totalit� des r�pondants a reconnu le grand d�fi que posent les ressources humaines (RH) dans le domaine de l’�valuation et tous les r�pondants avaient un commentaire ou une suggestion pour le SCT/le CEE :

La formation en g�n�ral – le SCT a besoin de jouer un r�le de leadership, puisque le d�fi des RH est un d�fi pangouvernemental. De plus, lorsqu’il s’agit de dispenser la formation n�cessaire, le lien avec l’�cole de la fonction publique du Canada pourrait �tre renforc�.
Une formation cibl�e – plusieurs �l�ments des comp�tences que doit poss�der un �valuateur ont �t� mentionn�s : �tablissement des co�ts d’un projet; r�daction des �nonc�s des travaux; �l�ments � prendre en consid�ration dans la conception d’une �valuation; gestion de projet; et aptitudes � la communication.
Une formation s’adressant aux utilisateurs des r�sultats de l’�valuation – une formation/orientation s’adressant aux cadres interm�diaires s’impose, puisque, comme l’a fait remarquer un r�pondant, � le SCT ne r�ussit pas trop bien lorsqu’il s’agit de parler d’�valuation avec les cadres interm�diaires �.
Une optique plus g�n�rale en mati�re de � d�veloppement de la collectivit� � – plusieurs administrateurs g�n�raux reconnaissent que la question des RH doit �tre abord�e dans une perspective plus g�n�rale, au-del� de la seule formation. En fait, les enjeux du recrutement et du maintien en poste sont des �l�ments essentiels de la constitution d’une collectivit� de l’�valuation viable. Une partie du probl�me imm�diat s’explique par le nombre croissant d’�valuateurs d’exp�rience qui prennent leur retraite.
En g�n�ral, les r�pondants estiment que le SCT a besoin d’offrir plus de soutien et de leadership � l’ensemble de la collectivit� de l’�valuation.
Le SCT devrait examiner ce qui a �t� fait pour d’autres collectivit�s fonctionnelles qui ont �prouv� des probl�mes de recrutement (trop peu de professionnels) et de maintien en poste/roulement. Des approches novatrices en mati�re d’affectations � � l’�chelle de la collectivit� � seront peut-�tre n�cessaires pour renforcer le cheminement de carri�re des �valuateurs.
Pour la collectivit� dans son ensemble, il faut d�ployer plus d’efforts afin de mettre l’accent sur le d�veloppement de la collectivit� et les occasions de r�seautage et ainsi favoriser les synergies, le soutien et la capacit� de partager les pratiques exemplaires parmi les �valuateurs f�d�raux – exploiter diverses r�unions virtuelles, des activit�s de r�seautage, des bulletins, etc., pour cr�er des occasions de mobilisation et de partage de l’information � l’�chelle de la collectivit� de l’�valuation.
Comp�tences et chef de l’�valuation – Le SCT/le CEE pourraient tirer des le�ons de l’exp�rience du BCG au sujet du programme de perfectionnement des dirigeants principaux de la v�rification (DPV); en d’autres termes, formation r�guli�re, perfectionnement et s�ances de r�seautage. Mais un r�pondant a �galement affirm� que la collectivit� f�d�rale de l’�valuation peut faire du recrutement dans diverses disciplines, ce qui est un avantage. � ce titre, le SCT ne devrait pas imposer trop de restrictions, c’est‑�‑dire d’exigences formelles, qui limiteraient cette possibilit�. Par ailleurs, les �valuateurs principaux devraient poss�der les qualifications n�cessaires.

4.4 Outils de mesure du rendement de l’organisation

Pour la majorit�, mais non pas la totalit�, des administrateurs g�n�raux interview�s, � le suivi du rendement en continu � et � l’�valuation � sont deux outils de mesure du rendement des programmes d’une organisation.

Dans l’ensemble, l’information g�n�r�e par le suivi du rendement en continu ne semble pas exhaustive, et m�me si on consid�re l’information g�n�r�e par les �valuations, les deux outils ne donnent pas actuellement aux administrateurs g�n�raux une image compl�te du rendement � l’�chelle de l’organisation. La cons�quence, selon un r�pondant, est que l’�valuation et le suivi du rendement sont des outils plus solides pour aider le SM � g�rer les programmes individuellement, plut�t que pour donner une image exhaustive compl�te du rendement de l’organisation dans son ensemble.

Comme on l’a d�j� vu, il semble que la premi�re ronde de l’exercice d’examen strat�gique ait aid� les administrateurs g�n�raux � cerner les lacunes en mati�re d’information lorsqu’il s’agit de d�finir le � rendement � des programmes de leur organisation. Certains r�pondants ont dit que cela avait servi au moment de la d�termination des priorit�s pour les �valuations futures.

En ce qui concerne les activit�s actuelles de mesure du rendement, de l’avis d’un certain nombre de r�pondants, le � suivi � du rendement en continu est entrav� par les difficult�s de mesurer les � retomb�es �, d’obtenir les bonnes donn�es rapidement et �conomiquement. Cela semble repr�senter un d�fi particulier pour les organisations qui ont un vaste volet de programmes de S et C, pour lesquels il peut souvent se passer � peine cinq ans entre la conception du programme et son �valuation. Ce n’est pas assez pour recueillir des donn�es appropri�es sur le rendement de certains programmes, car il faut parfois plusieurs ann�es avant que les retomb�es d’un programme se mat�rialisent.

Les r�troactions des administrateurs g�n�raux donnent � penser que pour un grand nombre d’organisations, le vrai d�fi n’est pas d’�tablir un cadre de mesure du rendement � proprement parler, mais plut�t de l’op�rationnaliser. Certaines organisations n’ont pas tous les syst�mes de mesure n�cessaires pour recueillir des donn�es et les r�pondants pensent �galement que les attentes actuelles en mati�re de mesure des retomb�es sont peu r�alistes, ou, de l’avis d’un r�pondant, � il y encore beaucoup de phrases creuses au sujet de ce qui constitue les � retomb�es �, de sorte que l’accent est souvent plac� sur des �l�ments qui sont difficiles � mesurer �.

Un administrateur g�n�ral dont l’organisation en est � � sa deuxi�me ou � sa troisi�me g�n�ration de rapports sur le rendement � a indiqu� �tre encore loin d’un syst�me de suivi du rendement pleinement fonctionnel.

M�me dans les minist�res dont les syst�mes de collecte de donn�es sont arriv�s � maturit�, la question de savoir si les gestionnaires de programmes individuels disposent ou non d’une information compl�te pour le suivi du rendement semble avoir des r�ponses variables. Certaines donn�es sur le suivi du rendement sont peut-�tre facilement accessibles, mais s’il faut constituer de nouvelles bases de donn�es (ou s’il faut faire une �tude ou une enqu�te sp�ciale pour recueillir des donn�es), les enjeux des co�ts et des ressources entrent en ligne de compte; le gel des budgets constitue un d�fi de taille dans le contexte actuel.

Les administrateurs g�n�raux ont affirm� que les unit�s d’�valuation jouent un r�le consultatif pour aider les gestionnaires de programmes � mettre sur pied des syst�mes de mesure du rendement. Toutefois, compte tenu des probl�mes de ressources soulev�s par les r�pondants, les organisations auront peut-�tre un autre d�fi � relever � l’avenir : le groupe de l’�valuation aura‑t‑il les ressources n�cessaires pour continuer de jouer ce r�le consultatif?

En mati�re d’�valuation, les r�troactions des administrateurs g�n�raux donnent � penser qu’� cause des d�fis de la mesure des retomb�es par le biais du suivi du rendement en continu, il y aura peut-�tre encore des cas o� ce genre d’information sur le rendement n’est pas facilement accessible � titre d’intrant du travail d’�valuation, de sorte que les �valuateurs seront oblig�s de recueillir les donn�es n�cessaires pour d�terminer si oui ou non les retomb�es se mat�rialisent.

5. Conclusions

Ce rapport r�sume les opinions de neuf administrateurs g�n�raux qui ont �t� consult�s en septembre 2010 sur quatre grands th�mes concernant l’utilisation de l’�valuation et la Politique sur l’�valuation de 2009. Un tel �chantillon est certainement trop petit pour qu’on puisse tirer des conclusions g�n�rales s’appliquant � tout l’univers des administrateurs g�n�raux des organisations f�d�rales, mais il donne n�anmoins un aper�u des opinions de r�pondants provenant de diverses organisations.

D’apr�s les r�troactions des neuf r�pondants, il semble que les administrateurs g�n�raux accordent plus d’attention � l’�valuation que par le pass�. Pour certains, le fait de reconna�tre que l’�valuation peut jouer un r�le utile dans la surveillance et la gestion de l’organisation n’est certainement pas un ph�nom�ne nouveau. Dans le pass�, ils ont utilis� l’�valuation de diverses fa�ons au sein de leur organisation. Mais en g�n�ral, alors que dans le pass�, la perception et l’utilisation de l’�valuation �taient probablement � in�gales � d’une organisation f�d�rale � l’autre, son profil et sa stature se sont probablement un peu relev�s � l’�chelle du syst�me aujourd’hui.

La Politique sur l’�valuation de 2009, qui exige une couverture int�grale sur un cycle de cinq ans et qui �tablit un ensemble pr�d�termin� d’enjeux fondamentaux, a suscit� des r�actions mixtes. Beaucoup reconnaissent maintenant que la fonction d’�valuation dans un minist�re peut jouer un r�le utile dans le cadre de l’exercice d’examen strat�gique, qui est encore plus significatif dans le contexte des gels budg�taires actuels. Mais la plupart estiment que les d�fis qui se posent � l’�chelle du syst�me (et particuli�rement l’insuffisance du bassin d’�valuateurs qualifi�s) emp�cheront la plupart des organisations de se plier aux exigences de la Politique. Et les rigidit�s per�ues de la Politique et de son application vont probablement accro�tre le co�t global de l’ex�cution des �valuations. Aux yeux des administrateurs g�n�raux, le manque de flexibilit� per�u peut �galement provoquer des tensions au moment de d�terminer si l’�valuation peut �tre men�e de fa�on � r�pondre � tous les besoins du minist�re/de l’organisme.

� de nombreux �gards, compte tenu des exigences de la Politique sur l’�valuation de 2009 en mati�re de couverture int�grale jumel�es � l’�valuation annuelle de la composante de gestion � Qualit� et utilisation de l’�valuation � dans le contexte du CRG[⁷], les administrateurs g�n�raux semblent amen�s � examiner de plus pr�s la possibilit� d’�valuer tous leurs programmes de fa�on plus syst�matique.

Cependant, les administrateurs g�n�raux avaient un certain nombre de pr�occupations au sujet de la fa�on dont la Politique sur l’�valuation est graduellement mise en œuvre et avaient des suggestions � faire au SCT. Comme on n’a pas encore atteint la moiti� de la p�riode de transition, il est encore temps de tirer des le�ons et d’apporter des rajustements au besoin. Ceci �tant dit, et comme certains administrateurs g�n�raux l’ont indiqu�, il est probablement encore trop t�t pour comprendre toutes les r�percussions de la Politique et son incidence sur les minist�res et organismes avant un cycle complet.

Selon plusieurs r�pondants, � l’avenir, il sera important que le SCT joue un r�le plus visible de leadership pour la fonction d’�valuation. Des comparaisons ont �t� faites avec le Bureau du contr�leur g�n�ral (BCG) lorsque, en 2006, les minist�res et organismes ont d� se plier � de nouvelles exigences en mati�re de reddition de comptes lors de l’introduction de la nouvelle Politique sur la v�rification interne, au moment m�me o� la collectivit� des professionnels de la v�rification avait aussi besoin de beaucoup de soutien. Les administrateurs g�n�raux ont fait remarquer que le BCG avait contribu� � voir � ce que les organismes f�d�raux adoptent la nouvelle Politique sur la v�rification interne tout en assurant du soutien pour les besoins de la collectivit� en mati�re de renforcement de la capacit�. L’opinion est que le SCT n’a pas offert le m�me soutien de niveau �lev� pour la fonction d’�valuation. Une plus grande visibilit� pour l’�valuation et un champion occupant un rang �lev� au SCT ont �t� cit�s comme des facteurs importants sur lesquels il faudrait se pencher.

En outre, en se concentrant sur la surveillance, le SCT donne l’impression de faire trop peu d’efforts pour soutenir le d�veloppement de la collectivit� en ce qui concerne la fonction d’�valuation. Tous les administrateurs g�n�raux ont parl� des enjeux des ressources humaines (RH) auxquels fait face la fonction d’�valuation. L’opinion g�n�rale est que la capacit� d’�valuation � l’�chelle du syst�me est compromise du fait qu’il y a trop peu d’�valuateurs qualifi�s, et le SCT doit jouer un r�le pour r�gler ce probl�me. Diverses suggestions ont �t� faites.

Les administrateurs g�n�raux sont �galement d’avis que la fonction d’�valuation a des d�fis � relever dans le contexte actuel qui n’existaient pas lors de l’entr�e en vigueur de la Politique sur la v�rification interne. En 2006, la question du financement ne posait pas autant de probl�mes et on souhaitait ardemment plus de reddition de comptes dans le syst�me, mais aujourd’hui, la fonction d’�valuation a des d�fis � relever sur ces deux plans. Certains r�pondants semblent penser qu’il y a trop de m�canismes de � surveillance � et de reddition de comptes � l’heure actuelle; plusieurs se demandent dans quelle mesure sont harmonis�es les exigences des diverses politiques et initiatives du SCT, ce qui laisse penser que le SCT doit am�liorer la communication � ce sujet. En cette p�riode de gels des budgets, la Politique sur l’�valuation de 2009 soul�ve une autre question pour les administrateurs g�n�raux, � savoir quelle est la fa�on la plus judicieuse d’utiliser l’argent marginal : le consacrer � des activit�s d’�valuation/de surveillance plus nombreuses ou � la mise en œuvre de programmes et de services?

Finalement, d’apr�s les r�troactions de la plupart des administrateurs g�n�raux, il y a des lacunes au chapitre de la communication/de l’information au sujet des exigences de la Politique sur l’�valuation de 2009. Plusieurs administrateurs g�n�raux se sont dits pr�occup�s par le manque de flexibilit� concernant la fa�on dont ils pourraient appliquer la Politique sur l’�valuation de 2009 dans leur organisation. Cela va � l’encontre des affirmations du SCT/du CEE, selon lesquelles il y a une certaine flexibilit� en mati�re d’application de la Politique. Les suggestions faites par les administrateurs g�n�raux pourront peut-�tre se r�v�ler utiles au SCT pour r�gler cette question et corriger les erreurs de perception, tout en clarifiant au besoin les probl�mes concrets de mise en œuvre de la Politique sur l’�valuation.

Ce qui nous am�ne � l’opinion plus g�n�rale d’un grand nombre des administrateurs g�n�raux, qui pensent que le SCT doit faire preuve d’une plus grande visibilit� en ce qui concerne la fonction d’�valuation, non seulement en donnant les consignes n�cessaires, mais aussi en relevant le profil de la fonction � proprement parler.

Annexes

Annexe 1

**Liste des administrateurs g�n�raux interview�s**
Minist�re ou organisme	Nom
D�veloppement �conomique Canada pour les r�gions du Qu�bec	Suzanne Vinet
Patrimoine canadien	Judith Anne LaRocque
Agence canadienne de d�veloppement international	Margaret Biggs
Citoyennet� et Immigration	Neil Yeates
Ressources humaines et D�veloppement des comp�tences Canada	Ian Shugart
Industrie Canada	Richard Dicerni
Affaires indiennes et du Nord Canada	Michael Wernick
S�curit� publique	William V. Baker
Travaux publics et Services gouvernementaux Canada	Fran�ois Guimont

Annexe 2

Information pr�alable transmise aux administrateurs g�n�raux

Objectif

On proc�de actuellement � une consultation aupr�s des administrateurs g�n�raux de dix minist�res ou organismes f�d�raux afin de mieux comprendre comment ils per�oivent la fonction d’�valuation.

Cette initiative est men�e par le Centre d’excellence en �valuation du SCT. Son objet est de mieux comprendre les progr�s de la fonction d’�valuation dans diff�rents minist�res et organismes et de d�terminer dans quelle mesure cette fonction appuie la prise de d�cisions de la part des sous‑ministres et de la haute direction. Les constatations qui se d�gageront de la consultation serviront d’intrant pour la r�daction du premier rapport annuel au Conseil du Tr�sor sur l’�tat de la fonction d’�valuation.

Forme que rev�tira la consultation

Des entrevues en personne de 30 � 60 minutes se d�rouleront d’ici le milieu de septembre 2010.

Le Secr�tariat du Conseil du Tr�sor a retenu les services d’un consultant, M. Robert Lahey, pour diriger les entrevues avec les administrateurs g�n�raux. Ancien cadre de la fonction publique f�d�rale maintenant � la retraite, M. Lahey poss�de une connaissance approfondie de la fonction d’�valuation et de la gestion ax�e sur les r�sultats.

Th�mes de la consultation

La consultation aupr�s des administrateurs g�n�raux portera sur quatre grands th�mes :

Comment le minist�re/l’organisation utilise l’�valuation.
Quelle incidence le renouvellement du Syst�me de gestion des d�penses (y compris les examens strat�giques) et la Politique sur l’�valuation de 2009 ont eue sur l’ex�cution des �valuations, les ressources qui leur sont consacr�es et leur planification.
Quelle serait la meilleure fa�on dont le SCT pourrait appuyer l’organisation en ce qui concerne l’�valuation et les exigences de la nouvelle Politique.
Dans quelle mesure l’�valuation et la surveillance du rendement en continu donnent une image compl�te du � rendement � d’une organisation.

Le SCT souhaite recueillir des r�actions � froid � ces questions sur la fonction d’�valuation. Il n’est donc pas n�cessaire de se pr�parer aux entrevues. Les noms des participants et des participantes figureront dans le rapport sur la consultation, et tous en recevront une copie.

R�dig� par :
Le Centre d’excellence en �valuation (CEE), Secteur de la gestion des d�penses. Si vous avez des questions, n’h�sitez pas � vous adresser � Anne Routhier, directrice principale (613‑952‑7447), ou � Rob Chambers, directeur, (613‑952‑3112), au CEE.

[1]. En pr�vision des entrevues, le consultant a examin� l’�valuation du CRG et l’analyse de la capacit� d’�valuation les plus r�centes men�es par le SCT, pour se faire une id�e de la capacit� d’�valuation et de l’utilisation de la fonction d’�valuation au sein de chaque organisation.

[2] Certains administrateurs g�n�raux ont aussi mentionn� d’autres enjeux li�s � la passation des march�s, y compris des probl�mes cr��s par les � offres � commandes �.

[3] Aux termes de la Politique sur l’�valuation, la neutralit� est un � attribut que doivent poss�der la fonction d’�valuation et les �valuateurs, qui se caract�rise par des comportements et des processus impartiaux �.

[4] Cependant, comme on l’a vu ci‑dessus, les discussions de la contribution plus significative de l’�valuation � l’examen strat�gique auront vraisemblablement lieu au moment de la prochaine ronde d’examen.

[5] Des probl�mes possibles au sujet du recours � des � offres � commandes � pour le recrutement ont �t� signal�s.

[6] Rapport de la v�rificatrice g�n�rale du Canada, Automne 2009, Chapitre 1, L’�valuation de l’efficacit� des programmes, Ottawa, 2009.

[7]. La composante � qualit� et utilisation de l’�valuation � est l’une des composantes de gestion (CG6) parmi les crit�res de l’�valuation annuelle du Cadre de responsabilisation de gestion.