La santé de la fonction d'évaluation au gouvernement du Canada rapport pour l'exercise 2004-2005

Points saillants

Introduction

1. La fonction d'évaluation au gouvernement fédéral
2. Infrastructure d'évaluation
3. Ressources humaines et financières
4. Portée de l'évaluation
5. Qualité de l'évaluation
6. Examen du Cadre de responsabilisation de gestion
7. Détermination des besoins de la collectivité de l'évaluation
8. Leadership offert par le Centre d'excellence en évaluation

Conclusions

Annexe A : Financement de l'évaluation

Annexe B : Méthodologie et sources de données

---

Points saillants

Le présent rapport examine la santé de la fonction d'évaluation au gouvernement du Canada en pour l'exercice 2004-2005. Il fournit aux chefs de l'évaluation et aux hauts fonctionnaires les conclusions du Centre d'excellence en évaluation (CEÉ), Secrétariat du Conseil du Trésor du Canada (SCT), découlant de ses activités en matière de surveillance de la qualité des r apports d'évaluation et d'infrastructure à l'appui des ministères et organismes. Les efforts de surveillance du CEÉ visent à renforcer la fonction d'évaluation au sein du gouvernement du Canada afin d ' assurer la prise de décisions fondées sur des données probantes. es renseignements sur la qualité des rapports d'évaluation et l'infrastructure à l'appui des ministères et organismes. Une fonction essentielle du Centre d'excellence en évaluation (CEÉ), qui relève du Secrétariat du Conseil du Trésor, est d'assurer une surveillance afin de promouvoir une fonction d'évaluation renforcée à l'appui de la prise de décisions fondées sur des données probantes au gouvernement du Canada.

1)    La fonction d'évaluation au gouvernement fédéral

Les services d'évaluation offrent une vaste gamme de services à l'appui de rapports de qualité sur le rendement de qualité et d'une culture favorisant la prise de décisions fondées sur des données probantes. Cependant, l'évaluation doit être mieux alignée sur les besoins en information des sous-ministres et des ministres .

Trente-neuf des 41 ministères et grands organismes qui produisent des rapports consacrent des ressources à l'évaluation. Toutefois, étant donné la capacité limitée de ces ressources, les évaluations sont de plus en plus souvent pilotées par des programmes, ce qui exclut la possibilité d'un examen indépendant.

• Les Produits et services d'évaluation
  Les services d'évaluation exercent un certain nombre d'activités allant au-delà de la production d'études d'évaluation traditionnelles à l'appui de rapports de qualité sur le rendement de qualité et d'une culture favorisant la prise de décisions fondées sur des données probantes. Presque tous les services d'évaluation produisent des plans d'évaluation et entreprennent des études d'évaluation. Or, un nombre croissant de gestionnaires de programme font leurs propres évaluations sans consulter les services d'évaluation des ministères. Par exemple, seulement 25  % p. 100 des chefs de l'évaluation signent les évaluations ou documents de responsabilisation pilotés par des programmes. En conséquence, dans bien des cas, les ministères ne soumettent pas leurs rapports sur les résultats à un examen indépendant et objectif afin d'en assurer la crédibilité.
• L'Orientation administrative
  Le pourcentage de ministères ayant un comité d'évaluation est passé de 90  % p. 100 en 2003-2004 à 97  % p. 100 en 2004-2005. Seulement 73  % p. 100 de ces comités sont présidés par un sous-ministre. Quant aux petits organismes qui produisent des rapports, seulement 37  % p. 100 d'entre eux (13 sur 35) se sont dotés d'un comité d'évaluation ou soumettent les questions d'évaluation à leur comité de la haute direction.
• Surveillance de la haute direction
  La plupart des Q uatre-vingt-quinze pour cent (95  % ) des comités d'évaluation (95 p. 100) approuvent les plans d'évaluation ainsi que les rapports d'évaluation et les recommandations connexes des ministères. Cependant, dans la plupart de s cas,   ces comités n'examinent pas le travail d'évaluation piloté par les programmes.

2)    L'Infrastructure d'évaluation

Les plans d'évaluation des ministères sont de plus en plus stratégiques et axés sur le risque; cependant, ils sont souvent soumis au SCT vers la fin de l'exercice. La plupart des petits organismes n'affectent que peu ou pas du tout de ressources financières à l'évaluation.

• Plans d'évaluation des ministères
  La plupart des ministères produisent leurs rapports d'évaluation vers la fin de l'exercice et les soumettent au SCT en octobre ou novembre. Lorsqu'ils choisissent les programmes à évaluer, 72  % p. 100 des ministères tiennent compte du risque.
• Ressources d'évaluation
  En 2004-2005, un total de 54,8 millions de dollars a été affecté à l'évaluation. Les coûts d'évaluation représentent en moyenne 0,16  % p. 100 des dépenses des ministères. Seulement 11 petits organismes sur 47 ont alloué des fonds à l'évaluation, et deux d'entre eux ont engagé 60  % p. 100 des dépenses totales dans ce domaine, qui s'élevaient à 1 million de dollars.

3)    Ressources humaines et financières

Une dépendance excessive à l'égard de l'impartition et du financement dicté par les programmes — deux pratiques communes — risque de compromettre la qualité de l'évaluation.

On compte actuellement 293 ETP en évaluation, dont seulement 9 ne sont pas employés par les 41 grands ministères et organismes. Le roulement des effectifs nécessitera l'embauche de 54 ETP dans un proche avenir.

Les ressources contractuelles sont cinq fois plus nombreuses que les ressources internes, ce qui se répercute sur la qualité et le coût des rapports. La qualité est aussi affectée par le mode de financement : les évaluations financées par des programmes sont moins indépendantes et objectives.

4)    Portée de l'évaluation

Il est nécessaire L de compter sur un plus large éventail d'outils d'évaluation pour répondre aux besoins d'information de la haute direction et des min i stres de façon opportune et ciblée. À l'heure actuelle, les services d'évaluation produisent autant d'« examens » que d'évaluations. Ces examens ne sont pas assujettis aux directi v es du SCT en matière d 'assurance de la qualité. es évaluateurs disposent d'un nombre limité d'outils d'évaluation pour répondre aux besoins en information spécifiques de la haute direction, dont les évaluations de l'optimisation des ressources. En conséquence, une grande partie du travail des services d'évaluation n'est pas assujettie à l'actuelle Politique d'évaluation du CT.

En 2004-2005, les évaluations et examens comptaient pour environ 40  % des dépenses d'évaluation des ministères, comparativement à 20  % en 2003-2004. Les examens – qui constituent une grande partie du travail des services d'évaluation . Actuellement, ce travail – dépasse nt le cadre de l'actuelle Politique d'évaluation du CT. Par conséquent, il n'y a pas de normes ni de protocoles pour assurer la qualité de ces rapport s , lesquels sont néanmoins accessibles au public.

5)    Qualité de l'évaluation

Bien que la qualité des rapports d'évaluation se soit améliorée depuis avril 2002, il reste encore du chemin à faire.

Un examen détaillé de 115 rapports d'évaluation fédéraux a permis de déterminer que la plupart d'entre eux (77  % p. 100 ) étaient de qualité acceptable, mais que près du quart (23  % p. 100 ) étaient insatisfaisants. Une comparaison des rapports produits avant et après avril 2002 révèle que, depuis la création du CEÉ, la qualité s'est améliorée sur certains points, dont la rentabilité et la rigueur méthodologique. Néanmoins, il y a un besoin pressant d'apporter d'autres améliorations reste encore du chemin à faire et le temps presse .

6)    Examen du Cadre de responsabilisation de gestion

Lors de son examen du Cadre de responsabilisation de gestion, le CEÉ a passé en revue les fonctions d'évaluation de 38 ministères.

Lors de l'examen du Cadre de responsabilisation de gestion (CRG) par le SCT, le CEÉ a passé en revue les fonctions d'évaluation de 38 ministères. Il a exprimé des préoccupations , majeures dans 15 cas (39  % p. 100 ) et mineures dans 12 cas (32  % p. 100 ), mais il n'avait rien à redire dans 11 cas (29  % p. 100 ).

7)    Détermination des besoins de la communauté collectivité de l'évaluation

Les s capacités et l'activité ervices d'évaluation doivent être renforcées afin de répondre aux besoins de s ministères et organismes en vue d'obtenir de s renseignements objectifs et indépendants sur l'efficacité des programmes et l'optimisation des ressources ministériels ont besoin d'un personnel plus nombreux et de fonds additionnels pour répondre à la demande d'évaluations .

Seulement 80  % p. 100 des services d'évaluation ministériels sont en mesure de répondre à la demande d'évaluations, et seulement 53  % p. 100 sont capables de produire ou d'aider à produire les Cadres cadres de gestion et de responsabilisation axés sur les résultats (CGRR) demandés. Les chefs de l'évaluation affirment qu'il leur manque 4,5 millions de dollars et qu'ils auraient immédiatement besoin de 66 ETP additionnels.

8)    Leadership offert par le Centre d'excellence en évaluation

En 2004-2005, le CEÉ a été réorganisé; il a engagé de nouveaux employés et adopté un nouveau plan de travail. Les efforts mettaient l'accent sur la surveillance, le renforcement des capacités de la co llectivité mmunauté et la prestation , aux analystes du secteur des programmes du SCT, de conseils aux ministres du CT sur la gestion des dépenses et la responsabilisation .

Pour mieux remplir son mandat, le CEÉ a été réorganisé; un nouveau directeur principal a été engagé et huit postes ont été dotés. Les priorités du nouveau plan de travail sont la surveillance, le renforcement des capacités et la prestation de conseils sur les évaluations et les CGRR. Des procédures internes et des normes de service ont été élaborées. Le Centre, dont l'expertise est reconnue, est un conférencier très en demande au Canada et à l'étranger.

 

 

Introduction

Le présent rapport - qui est le premier du genre - examine la santé de la fonction d'évaluation au gouvernement du Canada pour l'exercice 2004-2005.

L'évaluation est la collecte systématique de renseignements relatifs au rendement des programmes afin d'en déterminer la pertinence, le succès et la rentabilité. L'évaluation met l'accent sur les résultats des programmes et l'optimisation des ressources. Elle détermine dans quelle mesure les programmes atteignent leurs objectifs et produisent des résultats pour les Canadiens de façon rentable. Les décideurs utilisent les renseignements ainsi obtenus pour améliorer les programmes, orienter les nouvelles politiques et les nouveaux programmes ou réaffecter les ressources.

L'évaluation joue un rôle officiel au gouvernement du Canada depuis la fin des années 1970. Plus récemment, en 2001, le Conseil du Trésor (CT) a créé le Centre d'excellence en évaluation (CEÉ) au sein du Secrétariat du Conseil du Trésor (SCT) du Canada. Le Centre a pour mandat de renforcer les capacités d'évaluation du gouvernement fédéral. Il assure la conformité à la Politique d'évaluation du Conseil du Trésor et cherche à promouvoir des rapports de qualité sur les résultats dans toute la fonction publique.

Depuis 2001, les mesures additionnelles suivantes ont été prises :

• Le 12 décembre 2003, le Premier ministre a annoncé le Plan d'action pour la réforme démocratique. Le Plan souligne l'importance de la gestion axée sur les résultats et engage les sous-ministres à utiliser le Cadre de responsabilisation de gestion (CRG) du SCT pour rendre compte publiquement de la gérance des ressources. On attend surtout du CRG une fonction d'évaluation solide dans les ministères, des plans de vérification et d'évaluation axés sur le risque, ainsi que la collecte et l'utilisation d'informations pertinentes sur les résultats.
• Le plan énoncé dans le budget de 2004 pour renforcer la gestion du secteur public engageait le gouvernement à « rétablir le Bureau du contrôleur général du Canada, avec le mandat de surveiller rigoureusement toutes les dépenses publiques ». Un important volet de cette initiative consiste à surveiller l'optimisation des ressources par l'évaluation. Le plan d'action engage également le gouvernement à renforcer les capacités et l'activité d'évaluation, en plus de mettre en valeur « un programme d'apprentissage et de normes de certification de base ». Le but visé est d'assurer la crédibilité des rapports sur les résultats présentés au Parlement et aux Canadiens.
• Le gouvernement a également lancé un exercice continu d'examen des dépenses, auquel l'évaluation apporte une importante contribution. En effet, elle fournit les renseignements nécessaires à la prise de décisions fondées sur des données probantes pour que les ressources puissent être réaffectées aux programmes prioritaires.
• L'adoption, par le Conseil du Trésor à compter de 2005-2006, de la Structure de gestion des ressources et des résultats (SGRR), exige des ministères qu'ils élaborent une architecture d'activités de programme (AAP). Cette architecture illustre la façon dont un ministère affecte et gère les ressources qui lui sont confiées pour obtenir les résultats voulus, ainsi que les liens entre les programmes et les résultats stratégiques. La SGRR oblige aussi les ministères à fournir des renseignements sur les résultats prévus et les mesures de rendement pour chaque élément et niveau de l'AAP. Cela aidera à améliorer la qualité des rapports d'évaluation en augmentant la quantité de données sur le rendement des programmes et en renforçant leur crédibilité. Les évaluations, quant à elles, constituent une importante source d'information pour l'AAP d'un ministère.
• La Politique d'évaluation du gouvernement du Canada (avril 2001) encourage l'élaboration d'un cadre de gestion et de responsabilisation axé sur les résultats (CGRR). Le SCT vient de diffuser des directives révisées sur les CGRR (janvier 2005), dont le niveau de complexité est proportionnel aux risques associés au programme. Ils constituent des cadres facilitant le suivi du rendement, la gestion des risques et la présentation des résultats au niveau des programmes et ils sont inextricablement liés à la SGRR du ministère. Les résultats des activités de surveillance et d'évaluation contribueront à la production de rapports liés à la SGRR. Il devient donc essentiel que tous les gestionnaires de programme élaborent et mettent en Guvre un CGRR, indépendamment des exigences de la Politique sur les paiements de transfert.

En 2004-2005, le Centre d'excellence en évaluation a surveillé la santé de la fonction d'évaluation par les moyens suivants :

• Il a institué un sondage électronique annuel des ministères et organismes afin d'évaluer leur infrastructure d'évaluation, ainsi que la quantité et la portée des services et produits d'évaluation.
• Il a entrepris un examen approfondi de la qualité des rapports d'évaluation (voir l' Examen de la qualité des évaluations dans les ministères et les organismes , http://www.tbs-sct.gc.ca/cee/pubs/review-examen2004-fra.asp ).
• Il a créé la base de données CIEE (Composante d'information sur les examens d'évaluation), qui capture les résultats d'évaluation en temps opportun pour qu'ils puissent éclairer les décisions prises par les organismes centraux.
• Pour aider les ministères à apprendre les uns des autres, le CEÉ a mené une étude sur les pratiques efficaces dans l'administration des fonctions d'évaluation (voir le Rapport sur les pratiques d'évaluation efficaces , http://www.tbs-sct.gc.ca/cee/tools-outils/eep-pee-fra.asp ).

Afin de soutenir la prise de décisions par le Conseil du Trésor, le CEÉ examine également toutes les évaluations soumises à l'appui des demandes de financement, ainsi que les documents de responsabilisation des programmes (cadres de gestion et de responsabilisation axés sur les résultats). En outre, le CEÉ surveille les ministères et organismes en rencontrant personnellement les chefs de l'évaluation. Il rend compte des résultats de ces activités de surveillance dans le Cadre de responsabilisation de gestion (CRG) du SCT.

Enfin, cette année, le CEÉ a institué une nouvelle exigence selon laquelle tous les ministères et organismes doivent rendre compte de leurs plans d'évaluation au Parlement dans leurs rapports sur les plans et les priorités (RPP) et signaler les évaluations terminées dans leurs rapports ministériels sur le rendement (RMR). Cette nouvelle exigence rendra l'efficacité des programmes gouvernementaux plus transparente pour les parlementaires et pour les Canadiens.

1)  La fonction d'évaluation au gouvernement fédéral

La présente section examine les types de produits et de services d'évaluation fournis par les services d'évaluation des ministères, ainsi que l'orientation administrative et la surveillance de la fonction d'évaluation dans la fonction publique fédérale.

En 2004-2005, 39 des 41 ministères et grands organismes ayant produit des rapports ont consacré des ressources à l'évaluation. Ce chiffre représente une hausse de 10 p. 100 par rapport aux 35 entités seulement qui ont affirmé avoir affecté des ressources à l'évaluation en 2003-2004.

Produits et services d'évaluation

Le tableau 1 présente les types de services d'évaluation fournis par les ministères et les grands organismes. Presque tous les services d'évaluation doivent élaborer des plans d'évaluation et entreprendre des études d'évaluation. Environ 38 p. 100 d'entre eux font des examens, lesquels portent habituellement sur une question de gestion spécifique sans tenir compte des protocoles ou normes d'évaluation formels. La majorité des services d'évaluation appuient l'élaboration de CGRR par les programmes, mais seulement 28 p. 100 des chefs de l'évaluation approuvent ces documents. En outre, étant donné que seulement 25 p. 100 des chefs de l'évaluation approuvent les évaluations pilotées par des programmes, il n'y a à peu près rien de prévu pour surveiller ou contester la qualité de ces rapports. Seul un petit nombre de services d'évaluation donnent des conseils sur la conception des programmes ou sur les cadres de mesure du rendement des ministères et des programmes ou encore offrent une formation sur la mesure du rendement. Cela donne à penser que les ministères ne tirent pas pleinement parti des compétences de leurs services d'évaluation. Chose étonnante, seulement 10 p. 100 des services d'évaluation participent à la mise en Guvre et à la surveillance des cadres de responsabilisation de gestion (CRG) des ministères, ce qui soulève des préoccupations concernant la qualité de ces rapports au Parlement et au public.

Tableau 1
Types de produits et services d'évaluation fournis par les services d'évaluation des ministères

Services fournis	Niveau de participation
	Responsable du service	Appuie la prestation du service	N'intervient pas	Aucune réponse
Études préparatoires / rapports de planification	85 %	10 %	3 %	3 %
Études / rapports d'évaluation	70 %	20 %	3 %	8 %
Examens	38 %	23 %	28 %	13 %
Études spéciales	23 %	40 %	25 %	15 %
Cadres de gestion et de responsabilisation axés sur les résultats (CGRR)	23 %	40 %	25 %	15 %
Conseils aux gestionnaires de programme - produits d'évaluation	45 %	38 %	8 %	10 %
Formation offerte aux gestionnaires des programmes sur les produits d'évaluation	30 %	23 %	38 %	10 %
Conseils relatifs à la conception des programmes	30 %	45 %	15 %	10 %
Cadres ministériels de mesure du rendement	30 %	45 %	15 %	10 %
Cadres de mesure du rendement liés à un programme donné	13 %	63 %	13 %	13 %
Formation en gestion axée sur les résultats offerte au personnel ministériel	23 %	28 %	40 %	10 %
Cadre de responsabilisation de gestion (mise en Guvre et surveillance)	10 %	58 %	23 %	10 %
Examen et/ou approbation des évaluations produites par les gestionnaires de programme	25 %	15 %	48 %	13 %
Examen et/ou approbation des CGRR produits par les gestionnaires de programme	28 %	35 %	25 %	13 %
N = 40 ministères et grands organismes

Orientation administrative

En 2002-2003, 90 p. 100 des ministères et grands organismes déclaraient avoir mis en place un comité d'évaluation. En 2004-2005, ce chiffre est passé à 97 p. 100 (40 sur 41). En revanche, seulement 37 p. 100 des petits organismes (13 sur 35 ayant produit des rapports) se sont dotés d'un comité d'évaluation ou discutent des questions d'évaluation aux réunions du comité de la haute direction.

Dans la plupart des cas (73 p. 100), les comités d'évaluation ministériels sont présidés par un sous-ministre. En ce qui concerne les représentants du Bureau du vérificateur général, 22 p. 100 des comités les invitent toujours à participer à leurs réunions à titre d'observateurs et 17 p. 100 les invitent parfois à jouer ce rôle. Dans le cas des représentants du Secrétariat du Conseil du Trésor, les chiffres correspondants s'élèvent à 20 p. 100 et 7 p. 100. Environ 7 p. 100 des ministères affirment que des fonctionnaires autres que les représentants du SCT et du Bureau du contrôleur général assistent aux réunions de leur comité d'évaluation.

La plupart des ministères (85 p. 100) ont des comités conjoints de vérification et d'évaluation (voir le graphique 1). Seulement 12 p. 100 ont des comités distincts pour les deux fonctions. Les comités conjoints permettent de coordonner les activités de vérification et d'évaluation, et de les assujettir aux contrôles nécessaires.

La présentation en temps opportun de rapports sur les résultats de l'évaluation dépend entre autres de la fréquence des réunions du comité d'évaluation. Environ 55 p. 100 des comités ministériels tiennent des réunions mensuelles ou trimestrielles, 12 p. 100 se réunissent deux fois l'an, et 32 p. 100 sur une base ponctuelle.

Surveillance de la haute direction

Le tableau 2 présente les types d'activités entreprises par les comités d'évaluation. La plupart d'entre eux (95 p. 100) approuvent le plan d'évaluation ministériel. Bien que la vaste majorité des comités approuvent les rapports d'évaluation et les recommandations connexes, seulement 76 p. 100 approuvent les plans d'action de la direction associés aux recommandations faisant suite à l'évaluation, et encore moins (66 p. 100) surveillent le suivi donné à ces plans d'action.

Tableau 2
Surveillance, par les comités d'évaluation ministériels, des rapports d'évaluation produits par les services d'évaluation et des produits connexes

	Tous	Certains	Aucun	Pas de réponse
Examine ou approuve les évaluations	85 %	0 %	5 %	10 %
Examine ou approuve les recommandations	83 %	2 %	2 %	12 %
Examine ou approuve les réponses / plans d'action de la direction	76 %	7 %	7 %	10 %
Surveille le suivi donné aux réponses / plans d'action de la direction	66 %	12 %	10 %	12 %

Une source de préoccupation est la quantité de travaux d'évaluation pilotés par des programmes qui échappent à la compétence des comités d'évaluation. Le niveau de ces activités est décrit au tableau 3. Seulement 15 p. 100 des comités d'évaluation examinent les rapports d'évaluation produits par des programmes. D'après les ministères, seulement 20 p. 100 des plans d'action de la direction associés aux évaluations pilotées par des programmes sont examinés, et seulement 15 p. 100 des comités surveillent le suivi donné à ces plans d'action.

Tableau 3
Surveillance, par les comités d'évaluation ministériels, des rapports d'évaluation pilotés par les programmes et des produits connexes

	Tous	Certains	Aucun	Pas de réponse
Examine ou approuve les évaluations menées par les secteurs de programmes	15 %	10 %	46 %	29 %
Examine ou approuve les recommandations figurant dans les rapports des secteurs de programmes	17 %	10 %	41 %	32 %
Examine ou approuve les réponses / plans d'action de la direction	20 %	10 %	37 %	34 %
Surveille le suivi donné aux réponses / plans d'action de la direction	15 %	15 %	41 %	29 %

Ce faible niveau de surveillance suscite des préoccupations pour plusieurs raisons. Premièrement, la politique du CT oblige les ministères à soumettre tous les rapports d'évaluation au SCT. Comme ces rapports ne sont pas soumis aux comités d'évaluation, la capacité d'assurer le suivi de ces travaux et d'en rendre compte au Parlement est réduite. Deuxièmement, il n'existe aucun moyen de vérifier la qualité des rapports qui ne sont pas examinés, malgré le fait qu'ils seront accessibles au public. En outre, l'utilité des rapports d'évaluation est réduite si les renseignements qu'ils contiennent ne sont pas communiqués à ceux qui en ont le plus besoin, soit le sous-ministre et les membres de la haute direction. Enfin, il est impossible de démontrer la rentabilité de ces travaux, étant donné le peu de surveillance prévu pour déterminer s'il est donné suite aux conclusions de l'évaluation et aux recommandations connexes.

2)  Infrastructure d'évaluation

L'infrastructure d'évaluation fait l'objet d'une surveillance pour ce qui est des plans d'évaluation ministériels, de la répartition des ressources et des capacités des ressources humaines.

Plans d'évaluation ministériels

Les ministères et petits organismes doivent élaborer des plans d'évaluation et les soumettre à l'examen du SCT. Le tableau 4 indique le nombre de ministères et de petits organismes qui ont élaboré des plans d'évaluation et les ont soumis au SCT avant septembre 2004. La plupart des ministères finalisent leurs rapports d'évaluation vers la fin de l'exercice. Les rapports sont généralement présentés au SCT en octobre ou novembre.

Tableau 4
Nombre de plans d'évaluation élaborés puis soumis au SCT par des ministères et de petits organismes

Activités de planification	2003-2004 (mars 2004)	2004-2005 (septembre 2004)
Plans d'évaluation élaborés par des ministères (N = 41)	34 (83 %)	25 (61 %)
Plans soumis au SCT (N = 41)	28 (68 %)	18 (44 %)
Plans d'évaluation élaborés par de petits organismes (N = 30)	3 (6 %)	5 (14 %)
Plans soumis au SCT (N = 30)	2 (6 %)	2 (6 %)

Les ministères sont encouragés à concentrer leurs efforts d'évaluation dans les domaines présentant le plus grand risque (voir le graphique 2). En 2004-2005, 72 p. 100 des ministères ayant préparé un plan d'évaluation ont tenu compte du risque dans la sélection des programmes à évaluer. Le peu de décisions basées sur le risque peut être attribué en partie à l'exigence du SCT selon laquelle tous les programmes de subventions et de contributions doivent être évalués; cette exigence réduit la marge de manGuvre des ministères qui cherchent à cibler les efforts d'évaluation en fonction du risque. Il convient toutefois de noter que les programmes de subventions et de contributions (c.-à-d. les programmes offerts par l'entremise de tierces parties) ont été identifiés par le SCT comme présentant un risque plus élevé.

Ressources d'évaluation

Le tableau 5 présente le total des fonds affectés à l'évaluation par 41 ministères et grands organismes. Ce total, qui s'élevait à 54,8 millions de dollars en 2004-2005, est censé atteindre 55,4 millions en 2005-2006 puis redescendre à 54,5 millions en 2006-2007.

Tableau 5
Dépenses actuelles et projetées en matière d'évaluation au gouvernement du Canada

	2004-2005	2005-2006	2006-2007
Salaires	21 010 766 $	23 507 608 $	23 914 547 $
Services professionnels	16 805 738 $	18 528 143 $	17 376 279 $
Fonctionnement et entretien	5 481 157 $	5 700 508 $	5 585 469 $
Total des services votés	43 297 661 $	47 736 259 $	46 876 295 $
Autres fonds ministériels	8 553 569 $	7 634 429 $	7 574 929 $
Total des services votés et des autres fonds ministériels	51 851 230 $	55 370 688 $	54 451 224 $
Financement du SCT	2 935 862 $*
Total des fonds	54 787 092 $	55 370 688 $	54 451 224 $
*   Déclaration incomplète du financement du SCT. Le financement ponctuel du SCT transféré aux ministères pour 2004-2005 totalisait 3 945 526 $.

Le tableau 6 présente les fonds affectés à l'évaluation en pourcentage du total des dépenses ministérielles par portefeuille. Les ministères qui offrent des programmes sociaux allouent de 0,07 p. 100 à 1,05 p. 100 des dépenses totales à l'évaluation, la moyenne se situant à 0,29 p. 100. Ceux qui participent à la prestation des programmes économiques allouent en moyenne 0,1 p. 100 des dépenses totales à l'évaluation, tandis que ceux qui relèvent du portefeuille des opérations gouvernementales y affectent une proportion semblable. L'annexe A présente les fonds consacrés à l'évaluation par ministère.

Tableau 6
Financement de l'évaluation par rapport aux dépenses totales des ministères

Type de ministère	Moyenne des fonds consacrés à l'évaluation en pourcentage des dépenses des ministères	Minimum	Maximum
À vocation sociale	0,29 %	0,07 %	1,05 %
À vocation économique	0,1 %	0,03 %	0,32 %
Opérations gouvernementales	0,1 %	0 %	0,83 %

En 2004-2005, les petits organismes ont affecté un total de 1 million de dollars à l'évaluation (voir le graphique 3). Ce montant, envisagé par rapport au financement total (environ 3 milliards de dollars et 3 000 ETP), est extrêmement faible. Qui plus est, deux organisations comptent pour 60 p. 100 du total des dépenses en matière d'évaluation. Seulement 11 des 47 petits organismes déclarants allouaient des fonds à l'évaluation.

3)  Ressources humaines et financières

On compte actuellement 293 ETP en évaluation. Les 41 grands ministères et organismes emploient 284 ETP, tandis que les 37 petits organismes déclarants en emploient 9. Le graphique 4 présente la répartition des actuels et futurs ETP en évaluation. Les évaluateurs de niveau intermédiaire (ES-04 et ES-05) forment le groupe le plus nombreux; viennent ensuite les évaluateurs de niveau supérieur (p. ex. ES-06).

Le graphique 5 présente la distribution des ETP par catégorie. Le groupe Économique et Statistique (ES) emploie la plus forte proportion d'ETP (44 p. 100), suivi du groupe Soutien administratif (AS) avec 24 p. 100. Les autres catégories utilisées comprennent AV, CO, CP/UNI, FI, IS, RCO et SI. Le groupe de la direction compte pour 12 p. 100 des ETP.

Le graphique 6 présente la distribution, actuelle et projetée, des ETP en évaluation par catégorie. Toutes les catégories sont censées croître au cours des trois prochaines années, le groupe ES devant accuser la plus forte hausse.

 

Un taux élevé de roulement du personnel est prévu pour les trois prochaines années. Comme le montre le tableau 7, le taux de départ projeté est de 11 p. 100 en 2004-2005, de 7 p. 100 en 2005-2006 et de 4 p. 100 en 2006-2007. Le nombre total de départs s'élève à 31 ETP, dont la plupart sont des évaluateurs de niveau intermédiaire et de niveau supérieur (12,5 et 9,6 ETP respectivement).

Tableau 7
Départs projetés

	2004-2005	2005-2006	2006-2007
Haute direction	2,6	5,1	2,0
Niveau supérieur	9,6	3,5	4,0
Niveau intermédiaire	12,5	7,5	2,5
Niveau subalterne	6,0	4,0	2,0
Personnel de soutien	0,5	0	2,0
Nombre total d'ETP à remplacer	31,2	20,1	12,5
Nombre total d'ETP	272,0	281,0	283,0
ETP à remplacer en pourcentage du nombre total d'ETP	11 %	7 %	4 %

Cependant, comme le tableau 8 le montre, le nombre projeté réel d'ETP à doter dans le domaine de l'évaluation s'élève à 54, ce qui représente un taux de remplacement réel de 20 p. 100. Le nombre réel de postes de niveau intermédiaire et supérieur à doter est de 36 ETP. C'est là tout un défi, vu les compétences spécifiques requises.

Tableau 8
Nombre total d'ETP à remplacer

	2004-2005	2005-2006	2006-2007
Haute direction	3,9	5,1	2,0
Niveau supérieur	11,5	9,0	4,0
Niveau intermédiaire	24,5	10,5	4,5
Niveau subalterne	11,0	4,0	2,0
Personnel de soutien	3,5	0,5	0
Nombre total d'ETP à remplacer	54,4	29,1	12,5
Nombre total d'ETP	272,0	281,0	283,0
ETP à remplacer en pourcentage du nombre total d'ETP	20 %	10 %	4 %

Ressources internes par opposition à ressources contractuelles

Graphique 7 :
Ressources internes par opposition à ressources contractuelles en évaluation

 Le graphique 7 présente l'utilisation actuelle et projetée des ressources internes en évaluation par rapport aux ressources contractuelles. Comme il le révèle, les entités utilisent cinq fois plus de ressources contractuelles que de ressources internes.

Financement des évaluations par le programme ou le service d'évaluation

Le graphique 8 présente les principales sources de financement pour les projets d'évaluation. Quelque 37 p. 100 des ministères financent les évaluations principalement grâce aux ressources affectées au service d'évaluation, tandis que 25 p. 100 comptent surtout sur les programmes. Seulement 13 p. 100 favorisent la formule de partage des coûts entre le service d'évaluation et les programmes, tandis que 25 p. 100 font surtout appel aux ressources du service d'évaluation interne. Les projets d'évaluation principalement financés par les gestionnaires de programme sont moins perçus comme indépendants et objectifs.

4)    Portée de l'évaluation

Le tableau 9 présente le nombre d'évaluations, de CGRR et d'examens produits par les services d'évaluation ministériels entre 2001 et 2003.

Les examens représentent une grande partie des travaux entrepris par les services d'évaluation. À l'heure actuelle, ces travaux échappent à la portée de l'actuelle Politique d'évaluation du CT. Bien que ces rapports soient accessibles au public, il n'existe pas de normes ou de protocoles permettant d'en assurer la qualité.

Tableau 9
Production annuelle d'évaluations, de CGRR et d'examens

	2001-2002	2002-2003	2003-2004	2004-2005 (estimations initiales seulement)
Évaluations	138	116	139	61
Examens	98	153	121	138
CGRR	192	181	122	125

5)    Qualité de l'évaluation

Cette section présente les résultats de la surveillance, par le CEÉ, de la qualité des évaluations. La qualité des rapports d'évaluation est fonction des critères suivants : couverture des enjeux, validité et fiabilité des méthodes, indépendance et objectivité des rapports.

Vue d'ensemble

Un examen détaillé des 115 rapports d'évaluation fédéraux a permis de constater que la plupart d'entre eux (77 p. 100) étaient de qualité acceptable, mais que près du quart (23 p. 100) étaient inadéquats. Aucun lien clair et cohérent n'a pu être établi entre la qualité des évaluations et la taille des organismes fédéraux, ni entre la qualité des évaluations faites par des ministères par rapport à celles réalisées par des organismes.

Une comparaison des rapports produits avant et après avril 2002 révèle que la qualité s'est améliorée sur certains points. Des améliorations ont été constatées dans la mesure où les rapports se penchent sur les questions de rentabilité, assurent la rigueur méthodologique, identifient les solutions de rechange, tirent des conclusions fondées sur des données probantes et présentent des recommandations formelles. Les changements survenus depuis la création du CEÉ donnent à penser que les efforts déployés par le SCT pour améliorer la qualité et renforcer les capacités d'évaluation portent fruit.

Quoi qu'il en soit, il y a un besoin pressant d'apporter d'autres modifications. Le tableau 10 énumère les points forts et les points faibles des rapports d'évaluation.

Tableau 10
Qualité des rapports d'évaluation

Points forts	Points faibles
Description exhaustive du programme ou de l'initiative visé par l'examen, dont ses ressources, ses bénéficiaires et les intervenants   Énoncé clair des objectifs de l'évaluation   Utilisation de multiples sources de données   Solide exposé des constatations, notamment de la pertinence et des aspects relatifs à la prestation et à la mise en Guvre   Recommandations officielles ou améliorations proposées qui découlent logiquement des constatations et des conclusions Rapports bien rédigés et bien structurés	Description inadéquate de la méthodologie   Utilisation inadéquate des données de surveillance du rendement et des points de vue des répondants clés indépendants sans intérêt dans le programme   Évaluation inadéquate de l'impact net des programmes et utilisation insuffisante de groupes de comparaison et de mesures de référence dans la conception des évaluations   Couverture superficielle des questions de rentabilité
Source : Examen des évaluations de la fonction publique fédérale (N = 115)

Couverture des enjeux

Conformément à la Politique d'évaluation du CT, les évaluations doivent porter sur la pertinence, le succès et la rentabilité des programmes, politiques ou initiatives. Comme le tableau 11 l'indique, 94 p. 100 des rapports d'évaluation se penchent sur le succès des programmes, 74 p. 100 sur leur pertinence, et seulement 44 p. 100 sur leur rentabilité. De nombreux rapports examinent les questions de mise en Guvre et d'exécution ainsi que les pratiques de gestion. Ces résultats donnent à penser que l'évaluation a tendance à être formative (pratiques de gestion) plutôt que sommative (quelle différence le programme fait-il?).

Tableau 11
Couverture des enjeux d'évaluation

Enjeu	Couverture (%)
Pertinence	74
Succès	94
Rentabilité	44
Mise en Guvre / prestation	72
Pratiques de gestion	47
Source : Examen des évaluations des programmes fédéraux (N = 115)

Pertinence : Plus de la moitié des évaluations (un peu moins de 60 p. 100) fournissaient un exposé des constatations sur la nécessité et la pertinence continues du programme. La plupart d'entre elles (85 p. 100) ont été jugées satisfaisantes ou plus que satisfaisantes selon ces critères. Seulement le tiers (34 p. 100) cherchait à déterminer si le programme faisait double emploi avec d'autres initiatives ou allait à leur encontre. Sur ce tiers, la présentation de l'information a été jugée insatisfaisante dans 18 p. 100 des rapports évalués.

Succès : La plupart des évaluations (87 p. 100) traitaient de la question de savoir si le programme ou l'initiative en question avait produit des résultats soutenant sa continuation. Le quart (26 p. 100) de ces rapports ont été jugés insatisfaisants à cet égard; ce pourcentage est toutefois passé de 39 p. 100 avant avril 2002 à 19 p. 100 après cette date. Seulement le quart des évaluations examinaient les résultats fortuits (25 p. 100) ou les impacts nets (26 p. 100).

Optimisation des ressources : Environ le quart des évaluations examinées (26 p. 100) traitaient d'autres approches susceptibles d'aboutir à des façons plus rentables d'obtenir les résultats désirés. La proportion est beaucoup plus élevée pour les évaluations postérieures à avril 2002 (31 p. 100) que pour celles antérieures à cette date (16 p. 100); elle est également plus élevée dans les organismes (38 p. 100) que dans les ministères (23 p. 100).

Mise en Guvre / prestation : La plupart des évaluations présentaient des constatations sur la pertinence du modèle de prestation et/ou des pratiques de gestion du programme (81 p. 100), et sur la nécessité d'en améliorer la structure ou les mécanismes de prestation (76 p. 100). Les évaluations ont été très bien cotées selon le premier critère (89 p. 100 ont été jugées satisfaisantes ou plus que satisfaisantes).

Validité et fiabilité

La plupart des évaluations (72 p. 100) se fondaient sur un concept de recherche jugé approprié aux objectifs de l'étude. Seulement 5 p. 100 étaient mal conçues (p. ex. en raison du peu de répondants consultés ou du nombre limité de points de vue). Plus important encore, le manque de détails rendait impossible une évaluation en fonction de ce critère pour près du quart (23 p. 100) des rapports. Dans 87 p. 100 des cas, la qualité de la conception méthodologique des rapports examinés a été jugée satisfaisante ou plus que satisfaisante.

Presque toutes les évaluations (97 p. 100) incluaient de multiples sources de données. Le graphique 9 présente les types de méthodes employées. Comme les données l'indiquent, les évaluations se fondent principalement sur l'information obtenue lors des entrevues, l'examen des dossiers et des documents, les études de cas et les sondages, et moins sur les analyses statistiques, les opinions des experts et les analyses de la rentabilité. Plus inquiétant, seule une minorité des concepts d'évaluation incluaient un groupe de comparaison (13 p. 100), des mesures de référence (14 p. 100) ou une comparaison avec des normes, de la documentation ou un autre point de référence (22 p. 100) - caractéristiques qui peuvent accroître la rigueur de la méthodologie.

 

Graphique 9 : Méthodes employées dans les rapports d'évaluation  Méthodes de collecte de données

 

Les données du programme peuvent accroître la validité et la fiabilité des rapports d'évaluation. Ces données doivent être disponibles pour que les gestionnaires du programme puissent gérer en fonction des résultats (c.-à-d. affecter les ressources et orienter les activités de manière à atteindre les objectifs du programme).

Le graphique 10 présente les résultats des efforts de surveillance continus du CEÉ, sur la base d'un échantillon de 96 évaluations. Peu de programmes s'étaient dotés de systèmes fiables de surveillance du rendement. Dans la plupart des cas, aucun système n'avait été mis en place pour recueillir et communiquer les données sur le rendement ou le système n'avait qu'une valeur symbolique. L'absence de données sur les programmes mine la qualité globale des rapports d'évaluation, car il faut recréer les données pour évaluer les répercussions des programmes.

 

Indépendance et objectivité

L'indépendance et l'objectivité des évaluations sont d'une importance cruciale, car elles garantissent au Parlement, aux ministres, aux sous-ministres et aux organismes centraux que les rapports peuvent servir à la prise des décisions. L'évaluation de l'indépendance et de l'objectivité permettent de savoir si les conclusions sont basées sur les résultats du rapport et de la mesure dans laquelle les recommandations sont elles-mêmes basées sur ces conclusions. Un autre facteur à prendre en considération est l'utilisation des plans d'action de la direction qui aident à assurer l'indépendance et l'objectivité des recommandations du rapport.

Les trois quarts des évaluations ont été jugées à tout le moins satisfaisantes, et 24 p. 100 ont été jugées inadéquates, celles-ci ne contenant pas de conclusions objectives fondées sur des données probantes concernant la pertinence, la réussite ou la rentabilité des programmes. Leur qualité sur ce plan est en voie d'amélioration : 40 p. 100 des évaluations postérieures à avril 2002 ont été jugées plus que satisfaisantes à cet égard, comparativement à seulement 20 p. 100 des rapports antérieurs à cette date.

Le graphique 11 présente les résultats de la surveillance continue exercée par le CEÉ afin de déterminer si les recommandations de l'évaluation découlent des conclusions des rapports. Comme le montre le graphique, bien que les recommandations soient généralement alignées sur les conclusions, ce n'est pas toujours le cas. Les données reflètent les conclusions de l' Examen de la qualité des évaluations , un examen approfondi réalisé par le CEÉ, selon lesquelles la plupart des évaluations contenaient des recommandations formelles (77 p. 100) ou proposaient des mesures additionnelles (13 p. 100). Dans presque tous les cas, les recommandations découlaient logiquement des résultats et conclusions de l'évaluation (94 p. 100). Par ailleurs, seulement 26 p. 100 des rapports contenant des recommandations signalaient des scénarios de remplacement, et 35 p. 100 tenaient compte des contraintes pratiques (règlements, budgets, etc.). 

Réponse de la direction et plan d'action

Moins de la moitié des rapports d'évaluation examinés contenaient une réponse de la direction (48 p. 100) ou un plan d'action (33 p. 100) auxquels le public avait accès. Le faible taux de réponse suscite des préoccupations pour diverses raisons. Premièrement, ces plans offrent une garantie de transparence et de responsabilisation aux Canadiens et au Parlement en montrant comment le gouvernement du Canada compte donner suite aux conclusions et recommandations de l'évaluation. En outre, les plans de la direction démontrent l'optimisation des ressources rendue possible par la fonction d'évaluation en documentant les mesures prises par suite de l'évaluation. Ils constituent également d'importants outils de responsabilisation de la gestion qui permettent aux comités de vérification et d'évaluation de surveiller les décisions prises. Enfin, ils encouragent l'indépendance de la fonction d'évaluation, qui jouit d'une plus grande liberté dans la présentation de recommandations ciblées et subit moins l'influence des gestionnaires de programme. Les gestionnaires de programme ou membres de la haute direction qui ne sont pas d'accord avec les conclusions ou recommandations de l'évaluation peuvent exprimer leurs vues dans la réponse de la direction. Cela permet aux auteurs des rapports d'évaluation de demeurer indépendants.

6)    Examen du Cadre de responsabilisation de gestion

Lors de l'examen du Cadre de responsabilisation de gestion (CRG) du SCT, le CEÉ a évalué l'état des fonctions d'évaluation de 38 ministères. L'examen, qui a servi à évaluer la fonction d'évaluation de chaque ministère, a notamment cherché à déterminer :

• s'il existait un engagement à renforcer les capacités;
• si l'administrateur général présidait un comité d'évaluation actif;
• s'il existait un plan d'évaluation axé sur le risque;
• si les plans d'action de la direction tenaient compte des conclusions ou recommandations de l'évaluation;
• si les rapports d'évaluation étaient soumis au SCT et affichés en temps opportun (trois mois après l'approbation du rapport).

Sur les 38 ministères examinés par le CEÉ, 15 (39 p. 100) donnaient lieu à des préoccupations majeures, 12 (32 p. 100) à des préoccupations mineures, et 11 (29 p. 100) n'occasionnaient aucune préoccupation. Dans le premier groupe, 9 ministères ne respecteront pas leur engagement à maintenir les niveaux de ressources de 2005-2006 convenus dans un protocole d'entente signé pour obtenir des fonds additionnels du Conseil du Trésor afin de renforcer les fonctions d'évaluation. Les autres préoccupations majeures incluaient le peu d'efforts déployés pour renforcer les capacités, l'infrastructure limitée, le nombre insuffisant de produits d'évaluation et le peu de ressources consacrées à l'évaluation. Les préoccupations mineures comprenaient les niveaux de ressources et le nombre de rapports d'évaluation produits.

7)    Détermination des besoins de la collectivité de l'évaluation

Le tableau 12 présente les lacunes cernées par les services d'évaluation ministériels entre les types de produits et services qu'ils sont capables de fournir et ceux qu'on exige d'eux. Seulement 80 p. 100 des services d'évaluation ministériels sont capables de répondre à la demande d'évaluations. En outre, seulement 53 p. 100 d'entre eux se disaient capables de produire ou d'aider à produire la totalité ou la plupart des CGRR demandés.

Les services d'évaluation constituent une précieuse source d'expertise en ce qui concerne la gestion axée sur les résultats et la mesure du rendement. Malheureusement, ils n'arrivent pas à fournir tous les conseils demandés par la haute direction et les gestionnaires de programme. Dans les domaines où les évaluateurs peuvent avoir un véritable impact, par exemple en donnant des conseils sur la conception des programmes, ils répondent à la demande dans seulement 26 p. 100 des cas. Ils ont leur mot à dire sur les cadres de mesure du rendement des ministères (ou d'un programme donné) dans seulement 40 p. 100 du temps. Ce manque d'expertise contribue à réduire la qualité des programmes. Il en va de même pour la qualité des rapports aux Canadiens et aux parlementaires, comme en témoignent les résultats de l'examen du Cadre de responsabilisation de gestion (CRG) du SCT. La qualité des rapports est une préoccupation continue du Bureau du vérificateur général. [1]

Un élément de solution consiste à offrir une formation aux gestionnaires de programme et aux cadres supérieurs en ce qui concerne la gestion axée sur les résultats et la mesure du rendement. Malheureusement, seulement 20 p. 100 des services d'évaluation offrent une telle formation. Il existe peu d'autres options, car cette formation n'est pas offerte par l'École de la fonction publique du Canada à l'heure actuelle.

Tableau 12
Capacité du service d'évaluation à offrir les types de services exigés par les ministères et grands organismes fédéraux

Services d'évaluation demandés	Capacité de répondre à la demande
	Satisfaite en tout ou en majeure partie	Satisfaite de façon minimale	Pas satisfaite du tout	Aucune demande	s. o.
Études préparatoires / rapports de planification	73 %	13 %	0 %	3 %	13 %
Études / rapports d'évaluation	80 %	15 %	0 %	3 %	3 %
Examens	40 %	10 %	8 %	23 %	20 %
Études spéciales	36 %	20 %	5 %	18 %	23 %
Cadres de gestion et de responsabilisation axés sur les résultats (CGRR)	53 %	20 %	5 %	10 %	13 %
Conseils aux gestionnaires de programme - produits d'évaluation	60 %	10 %	0 %	8 %	23 %
Formation offerte aux gestionnaires des programmes sur les produits d'évaluation	23 %	28 %	8 %	25 %	18 %
Conseils sur la conception des programmes	26 %	23 %	0 %	33 %	20 %
Cadres de mesure du rendement des ministères	41 %	30 %	5 %	8 %	18 %
Cadres de mesure du rendement d'un programme donné	38 %	28 %	3 %	13 %	20 %
Formation du personnel ministériel en gestion axée sur les résultats	21 %	25 %	8 %	30 %	18 %
Cadre de responsabilisation de gestion (mise en Guvre et surveillance)	30 %	25 %	10 %	18 %	18 %
Examen et/ou approbation des évaluations produites par des gestionnaires de programme	23 %	13 %	8 %	35 %	23 %
Examen et/ou approbation des CGRR produits par des gestionnaires de programme	28 %	18 %	5 %	28 %	23 %
N = 40 ministères et grands organismes

Le graphique 12 présente les fonds additionnels requis pour renforcer la fonction d'évaluation. Les chefs de l'évaluation déclarent un manque à gagner de 4,5 millions de dollars. Les domaines où les besoins sont les plus grands sont les produits d'évaluation, viennent ensuite la capacité des petits organismes, la prestation de conseils, la formation et les engagements en matière de surveillance.

 

<>Le graphique 13 présente le nombre d'ETP additionnels requis pour renforcer la fonction d'évaluation. Les chefs de l'évaluation ont repéré un besoin immédiat de 66 ETP additionnels.

 

8)    Leadership offert par le Centre d'excellence en évaluation

La présente section décrit le rôle du Centre d'excellence en évaluation du SCT, ainsi que ses principales réalisations de l'année écoulée.

Les objectifs du CEÉ sont les suivants :

• renouveler et renforcer la fonction d'évaluation du gouvernement du Canada;
• entreprendre des recherches et élaborer des politiques de façon à accroître l'efficacité de l'évaluation;
• s'employer avec les ministères, les organismes et le SCT à mieux intégrer les résultats de l'évaluation à la prise des décisions de gestion.

Le tableau 13 présente les types d'activités que le CEÉ entreprend pour atteindre ses objectifs.

Tableau 13 
Activités du Centre d'excellence en évaluation

Secteurs d'activité	Activités
Surveillance	Surveiller l'état de la fonction d'évaluation (ressources humaines et financières, compétences de base, infrastructure), les plans d'évaluation ministériels, ainsi que la qualité et la quantité des études d'évaluation
Services consultatifs au secteur des programmes	Examiner les présentations au CT, ainsi que les évaluations et CGRR connexes Aider à déterminer si les recommandations au CT sont justifiées par les résultats de l'évaluation Donner des conseils sur les politiques en matière de responsabilisation et de gestion axée sur les résultats
Renforcement des capacités	Offrir des possibilités de formation et de perfectionnement professionnel Élaborer une stratégie d'apprentissage détaillée Offrir des services consultatifs
Analyse des politiques	Faire des recherches et des analyses sur les politiques Contribuer aux politiques pangouvernementales Élaborer des normes et des pratiques Tenir à jour la politique d'évaluation
Services d'évaluation directs	Contribuer aux évaluations horizontales Évaluer les enjeux pangouvernementaux Dans la mesure du possible, offrir des services d'évaluation aux petits organismes
Rapports sur la gestion et la responsabilisation	Communiquer les résultats de l'évaluation afin d'éclairer la prise des décisions Présenter aux ministres du CT un rapport annuel sur l'évaluation et sa contribution au renforcement de la responsabilisation

Les activités du CEÉ visent les résultats suivants :

• Les activités d'évaluation des ministères et organismes mènent à des politiques, des initiatives et des programmes plus pertinents et plus rentables qui produisent des résultats continus.
• Les ministères et organismes s'inspirent des résultats de l'évaluation pour prendre des décisions, notamment en ce qui concerne la réaffectation des ressources, l'établissement des priorités et l'examen continu de la gestion des dépenses.
• Les ministres du CT et les parlementaires disposent des données probantes requises pour éclairer les décisions de gestion et accroître la transparence et la responsabilisation envers les Canadiens.

Principales réalisations du CEÉ en 2004-2005

Un nouveau directeur principal a été engagé juste avant le début de l'exercice. Dans le cadre de la réorganisation subséquente, le CEÉ a adopté une approche par portefeuille afin de mieux servir les clients du Ministère et du SCT. Il a notamment doté huit postes et élaboré un plan de travail détaillé axé sur la surveillance, le renforcement des capacités et la prestation de conseils au secteur des programmes et aux ministères sur les évaluations et les CGRR associés aux présentations au CT. À l'appui de ces priorités, il a mis en place des procédures administratives et de contrôle de la qualité à l'interne et élaboré des normes de service pour le secteur des programmes.

Graphique 14 :
Nombre d'activités / de réunions du CEÉ en 2004-2005

Le graphique 14 donne une vue d'ensemble des activités du CEÉ telles que les réunions et les présentations. Une grande partie des efforts étaient axés sur la surveillance et le renforcement des capacités (51 réunions avec les chefs de l'évaluation et les représentants des ministères). La prestation de conseils au secteur des programmes du SCT et aux représentants des ministères représente également un investissement de temps important (63 réunions au cours de l'exercice). En tout, 17 présentations ont été données à des publics tels que la Société canadienne d'évaluation (SCE), l'Institut de la gestion financière (IGF), et des cadres supérieurs des gouvernements fédéral et provinciaux à Ottawa, Toronto, St. John's, Fredericton, Halifax et Montréal. Quelque 19 présentations ont été données à des délégations internationales désireuses de bénéficier de l'expérience du Canada dans ce domaine. Le CEÉ a notamment représenté le Canada à Séoul, en République de Corée, à une réunion internationale de six pays convoquée à la demande du gouvernement coréen, et lors d'une visite à Moscou pour aider le gouvernement russe dans le cadre des activités de développement international du Canada. Il a également été visité par des délégations de l'Australie, de la France, du Royaume-Uni, de la Chine, de la République de Corée (à trois reprises), de la Nouvelle-Zélande et de plusieurs nations africaines.

Voici les principales réalisations du CEÉ pour l'exercice par secteur d'activités.

Surveillance

• Premier sondage annuel sur la capacité d'évaluation : A envoyé un sondage électronique à 90 ministères et organismes afin d'évaluer la santé de la fonction d'évaluation.
• Réunions avec des dirigeants ministériels : A tenu plus de 51 réunions avec des ministères à des fins de surveillance et de renforcement des capacités.
• Examen des plans d'évaluation des ministères : A reçu et examiné 21 plans.
• Évaluations des cadres de responsabilisation de gestion : A examiné la capacité d'évaluation de 38 ministères et organismes en vue de réunions bilatérales avec les sous-ministres. Cette information aide également à évaluer les objectifs de rendement des sous-ministres.
• Rapport sur la qualité des évaluations : A élaboré un modèle de rapport et entrepris un examen approfondi de 115 rapports d'évaluation.
• Composante d'information sur les examens d'évaluation (CIEE) : A mis sur pied une base de données électronique pour la surveillance continue des indicateurs de haut niveau de la qualité des évaluations. A examiné 97 rapports d'évaluation.

Services consultatifs au secteur des programmes

Une grande partie du travail du CEÉ consiste à formuler des recommandations et à donner des conseils au secteur des programmes sur les propositions de financement, sur la base d'un examen des évaluations, des cadres de responsabilisation des programmes et des présentations au CT. Tous les programmes de paiements de transfert nécessitent un Cadre de responsabilisation de gestion axé sur les résultats, et tous les renouvellements du financement exigent une évaluation. Le CEÉ est le bureau de première responsabilité pour l'examen de ces documents. En outre, étant donné son expertise dans l'évaluation des cadres de responsabilisation, le secteur des programmes lui envoie souvent des présentations générales au CT pour qu'il les examine. Comme le montre le tableau 14, au cours de l'année civile écoulée, le CEÉ a examiné 309 CGRR, évaluations et présentations au CT.

Tableau 14
Direction de la gestion axée sur les résultats, décembre 2003 à décembre 2004

Documents examinés	Portefeuilles					TOTAL
	Secteur des opérations gouvernementales	Secteur économique	Secteur social	Petits organismes	Horizontal
CGRR	39	44	42	3	22	150
Évaluation	8	19	52	0	12	91
Présentations au CT	22	18	14	0	5	59
Autre		4	2		3	9
Total partiel	69	85	110	3	42	309

Au cours de l'année écoulée, le CEÉ a établi des normes de service liées à la satisfaction des besoins du secteur des programmes en ce qui concerne l'examen de ces documents. Ces normes sont présentées au tableau 15.

Tableau 15
Normes de service de la Direction de la gestion axée sur les résultats

Vers le milieu de l'année, la Direction de la gestion axée sur les résultats a établi des normes de service afin de mieux honorer son engagement à offrir des conseils en temps opportun au secteur des programmes.
Norme de service n o  1	Fixer une date de prestation cible dans les 2 jours suivant la réception de la demande   Satisfaite : 73 % du temps
Norme de service n o  2	Respecter la date de prestation cible   Satisfaite : 88 % du temps
Dans la majorité des cas, nous avons donné des conseils le jour même où la demande a été présentée.

Politique et directives

Voici quelques-unes des activités stratégiques entreprises :

• A publié le Guide pour l'examen des rapports d'évaluation
  ( www.tbs-sct.gc.ca/cee/tools-outils/grer-gere-fra.asp ) afin d'accroître la qualité de l'examen du CEÉ et de garantir une approche transparente et uniformisée.
• A publié des conseils révisés sur la préparation des CGRR ainsi que des critères révisés afin de simplifier les exigences liées aux CGRR et d'accroître la qualité de l'examen du CEÉ.
• A publié La fonction d'évaluation au gouvernement du Canada
  ( www.tbs-sct.gc.ca/cee/pubs/func-fonc-fra.asp ), qui décrit l'approche adoptée par le Canada face à l'évaluation et aux exigences connexes.
• A participé aux travaux du Comité directeur sur les paiements de transfert du SCT dans le cadre du renouvellement de la politique et donné des directives au secteur des programmes sur le traitement des paiements de transfert pour les présentations au CT.

Renforcement des capacités

Les efforts de renforcement des capacités mettaient l'accent sur le perfectionnement des compétences des ressources humaines et les communications afin d'accroître l'accès des ministères à un personnel qualifié.

Ressources humaines

• A créé « HR Genie », une application Web contenant des outils de gestion des ressources humaines. Ce travail a été entrepris en consultation avec un certain nombre de chefs de l'évaluation des ministères. Une composante clé de l'outil a été la création d'énoncés de qualités et de descriptions de fonctions génériques des niveaux ES-1 à ES-6.
• A continué d'aider les ministères à recruter des employés et à former des comités de recrutement.

Apprentissage

• A accru les possibilités de perfectionnement en révisant le programme de stages pour le perfectionnement des nouveaux évaluateurs. Une quinzaine de stagiaires sont actuellement inscrits au programme. Les cours ont été élargis et sont maintenant ouverts à tous les évaluateurs. Ils portent notamment sur les compétences essentielles, les méthodes d'évaluation, les techniques d'entrevue, les contrats d'évaluation et la gestion des projets.
• A conçu un cours sur l'évaluation afin d'améliorer la qualité des rapports et de communiquer les critères du CEÉ pour l'examen des rapports d'évaluation. Avec la création d'un manuel à l'intention des participants et d'un guide de formation, ce cours est maintenant offert dans les régions par la Société canadienne d'évaluation.
• A organisé un certain nombre de séances de formation sur les CGRR à l'intention des analystes du secteur des programmes et du personnel des ministères et organismes.
• A tenu une conférence sur la rentabilité qui a attiré plus de 100 participants.

Produits

• A élaboré un guide d'évaluation à l'intention des petits organismes, en consultation avec un groupe de représentants des petits organismes.
• A entrepris une étude sur les pratiques d'évaluation efficaces de 14 services d'évaluation ministériels, afin d'améliorer l'administration des services d'évaluation et d'accélérer la production des rapports.
• A préparé un document et un certain nombre de présentations sur la mesure du rendement à l'appui de la nouvelle Structure de gestion des ressources et des résultats afin de mieux informer les ministères des aspects de la nouvelle politique liés à la mesure du rendement.

Services consultatifs et de communications aux ministères

• A tenu 11 réunions d'orientation avec les nouveaux chefs de l'évaluation.
• A modifié complètement le site Web du CEÉ afin de le rendre plus accessible, en mettant l'accent sur le développement d'un nouveau contenu.
• A préparé une brochure sur l'engagement renouvelé du gouvernement à l'égard de l'évaluation et communiqué les engagements pris dans le budget de 2004 afin de renforcer la fonction d'évaluation.
• A aménagé des stands lors de conférences telles que celles de l'APEX, de la Société canadienne d'évaluation, de la SCÉ-SCN, du FRP et de l'IGF, afin de souligner l'importance de l'évaluation et de la gestion du rendement.
• A publié cinq éditions du bulletin du CEÉ distribué à quelque 300 membres de la collectivité de l'évaluation. L'accent est mis sur la mise en commun des leçons apprises et la communication des conseils du SCT.
• A institué la série de déjeuners mensuels sur le rendement à l'intention des chefs de l'évaluation. Les quatre séances organisées jusqu'ici ont attiré environ 160 participants.
• A convoqué un certain nombre de réunions de comités consultatifs supérieurs afin d'obtenir les conseils des ministères sur la gestion de la fonction d'évaluation, et tenu une réunion des chefs de l'évaluation en février 2004.
• S'est employé avec certains gouvernements provinciaux et avec la Société canadienne d'évaluation à renforcer cette fonction à l'échelle du Canada.

Services d'évaluation directs

• Représente le SCT au sein de trois comités de vérification et d'évaluation ministériels (Affaires étrangères, Patrimoine et Santé).
• Fait partie de comités d'évaluation interministériels (changement climatique, Initiative jeunesse de RHDCC).
• Fait partie de comités directeurs de l'évaluation pour des programmes ministériels donnés.
• Planifie actuellement l'évaluation d'un petit organisme afin de fournir un cadre pour un groupe de petits organismes de réglementation.
• A entrepris une évaluation des rapports parlementaires dans le cadre du Projet d'amélioration des rapports au Parlement.

Rapports sur la gestion et la responsabilisation

• Composante d'information sur les examens d'évaluation (CIEE) 
• Suivi électronique continu de la qualité des rapports d'évaluation (90 évaluations examinées jusqu'ici). À placer sur le bureau des analystes du secteur des programmes. Transmet également les résultats de l'évaluation aux décideurs, sur la base des questions du Comité d'examen des dépenses.
• Rapport annuel aux ministres du CT sur la fonction d'évaluation et sa contribution au renforcement de la responsabilisation au gouvernement du Canada
  En cours.

 

 

Conclusions

L'évaluation est le fondement du plan d'action du gouvernement pour la diffusion des résultats. Les ministres, les parlementaires et les décideurs de la fonction publique fédérale ont besoin de renseignements crédibles pour mieux rendre compte des résultats et éclairer la prise des décisions fondées sur des données probantes.

L'évaluation est la seule fonction qui jette un regard indépendant et objectif sur l'efficacité des programmes et l'optimisation des ressources. Pour s'acquitter de cette mission avec succès, la fonction d'évaluation doit être mieux alignée sur le processus de prise des décisions et de répartition des ressources et être en mesure de garantir des rapports crédibles, objectifs et indépendants.

 

 

Annexe A :

Financement de l'évaluation, par ministère / organisme – Portefeuille économique

Min. / organisme	ETP en éval.	ETP min.	ETP en éval. en % des ETP du min.	Budget salarial	Budget des services professionnels	Budget de F&E	Services votés (Total – salaires, services professionnels, F&E)	Autres fonds min.	Fonds du SCT	Total – ressources en évaluation	Total – dépenses min.	Services votés en  % du total des dépenses min.
APECA	10,5	624	1,68 %	754 000 $	518 000 $	235 000 $	1 507 000 $	678 400 $	115 742 $	2 301 142 $	476 552 000 $	0,32 %
DECRQ	5,85	413	1,42 %	385 278 $	510 833 $		896 111 $	0 $	66 762 $	962 873 $	428 091 000 $	0,21 %
APC	4	5 014	0,08 %	254 000 $	170 000 $	100 000 $	524 000 $	0 $	62 453 $	586 453 $	456 538 000 $	0,11 %
ACIA	4	5 621	0,07 %	350 000 $		120 000 $	470 000 $	90 000 $	40 594 $	600 594 $	476 880 000 $	0,10 %
DEO	1,5	381	0,39 %	140 000 $	190 955 $	40 000 $	370 955 $	0 $	259 045 $	630 000 $	390 806 000 $	0,09 %
CNRC	5,5	4 075	0,13 %	416 921 $		225 000 $	641 921 $	0 $	90 931 $	732 852 $	695 377 000 $	0,09 %
TC	16	4 707	0,34 %	873 240 $	352 260 $	177 881 $	1 403 381 $	150 000 $	242 317 $	1 795 698 $	1 647 213 000 $	0,09 %
RNCan	7,5	4 596	0,16 %	644 099 $	100 000 $	162 643 $	906 742 $	1 000 000 $	0 $	1 906 742 $	1 092 925 000 $	0,08 %
P&O	14	10 399	0,13 %	814 015 $	60 000 $	216 000 $	1 090 015 $	0 $	189 716 $	1 279 731 $	1 470 799 000 $	0,07 %
ASC	1,5	560	0,27 %	143 714 $	15 375 $	23 517 $	182 606 $	29 854 $	30 146 $	242 606 $	322 920 000 $	0,06 %
EC	3,4	5 845	0,06 %	291 981 $	16 632 $	90 400 $	399 013 $	160 000 $	69 733 $	628 746 $	805 234 000 $	0,05 %
AAC	8,5	5 823	0,15 %	575 000 $	565 095 $	80 000 $	937 349 $	0 $	282 746 $	1 220 095 $	2 110 846 000 $	0,04 %
SC	8,5	5 449	0,16 %	166 100 $	0 $	10 000 $	176 100 $	600 000 $	0 $	776 100 $	415 132 000 $	0,04 %
IC	4	5 720	0,07 %	326 000 $	0 $	54 000 $	380 000 $	500 000 $	75 099 $	955 099 $	1 477 756 000 $	0,03 %

Nota : Source des ETP min. : Rapport sur le rattachement des populations / Rapports sur les plans et les priorités.
Source du total des dépenses min. : Budget principal des dépenses, Partie II .
Les dépenses de certains ministères ont été rajustées à la baisse pour tenir compte des transferts en bloc aux provinces ou des paiements législatifs.
Toutes les autres données sont tirées des modèles d'évaluation de la capacité de 2004.

 

Financement de l'évaluation, par ministère / organisme – Portefeuille des opérations gouvernementales

Min. / organisme	ETP en éval.	ETP min.	ETP en éval. en % des ETP du min.	Budget salarial	Budget des services professionnels	Budget de F&E	Services votés (Total – salaires, services professionnels, F&E)	Autres fonds min.	Fonds du SCT	Total – ressources en évaluation	Total – dépenses min.	Services votés en  % du total des dépenses min.
CNLC	4	316	1,26 %	266 353 $	0 $	15 000 $	281 353 $			281 353 $	33 848 000 $	0,83 %
ACDI	12	1 559	0,77 %	703 622 $	2 100 000 $	250 000 $	3 053 622 $		120 866 $	3 174 488 $	2 654 981 000 $	0,12 %
SCC	17	1 440	1,18 %	994 537 $	20 000 $	230 000 $	1 244 537 $		142 858 $	1 387 395 $	1 571 272 000 $	0,08 %
Jus	6	4 575	0,13 %	409 019 $		365 000 $	774 019 $	1 586 179 $	173 348 $	2 533 546 $	1 004 788 000 $	0,08 %
TPSGC	9	12 818	0,07 %	596 000 $	305 000 $	92 500 $	993 500 $			993 500 $	2 410 952 000 $	0,04 %
BCP	0,5	850	0,06 %	30 000 $	25 000 $		55 000 $			55 000 $	141 861 000 $	0,04 %
AEC	8,5	8 787	0,10 %	354 000 $	200 000 $		554 000 $	1 180 000 $	170 217 $	1 904 217 $	1 728 234 000 $	0,03 %
SPPCC	1,5	772	0,19 %	130 000 $			130 000 $			130 000 $	414 016 000 $	0,03 %
CFP	0,6	997	0,06 %	40 000 $			40 000 $	147 886 $	23 670 $	211 556 $	147 409 000 $	0,03 %
MDN	15,9	20 544	0,08 %	1 411 640 $	141 200 $	150 400 $	1 703 240 $			1 703 240 $	13 287 516 000 $	0,01 %
GRC	2	5 285	0,04 %	130 000 $		30 000 $	160 000 $		20 403 $	180 403 $	1 841 100 000 $	0,01 %
Fin/SCT	0	1 810	0,00 %				0 $			0 $	1 874 623 000 $	0,00 %

 Nota :

Source des ETP min. : Rapport sur le rattachement des populations / Rapports sur les plans et les priorités.
Source du total des dépenses min. : Budget principal des dépenses, Partie II .
Les dépenses de certains ministères ont été rajustées à la baisse pour tenir compte des transferts en bloc aux provinces ou des paiements législatifs.
Toutes les autres données sont tirées des modèles d'évaluation de la capacité de 2004.

 

Financement de l'évaluation, par ministère / organisme – Portefeuille social

Min. / organisme	ETP en éval.	ETP min.	ETP en éval. en % des ETP du min.	Budget salarial	Budget des services professionnels	Budget de F&E	Services votés (Total - salaires, services professionnels, F&E)	Autres fonds min.	Fonds du SCT	Total – ressources en évaluation	Total des dépenses min.	Services votés en  % du total des dépenses min.
DSC	12	3 055	0,39 %	1 893 000 $	1 751 108 $	250 000 $	3 894 108 $	548 250 $		4 442 358 $	372 505 000 $	1,05 %
RHDCC	28,75	12 102	0,24 %	2 100 000 $	5 500 000 $	200 000 $	7 800 000 $			7 800 000 $	1 993 422 000 $	0,39 %
PC	9	2 061	0,44 %	773 469 $	500 800 $	1 700 000 $	2 974 269 $		107 882 $	3 082 151 $	1 127 097 000 $	0,26 %
BAC	1,5	1 143	0,13 %	120 000 $	100 000 $	10 000 $	230 000 $			230 000 $	96 461 000 $	0,24 %
ACC	8,5	3 540	0,24 %	729 500 $	151 000 $	115 000 $	995 500 $		97 482 $	1 092 982 $	852 743 000 $	0,12 %
IRSC	10	347	2,88 %	716 638 $	0 $	66 195 $	782 833 $		241 400 $	1 024 233 $	751 602 000 $	0,10 %
SC	19	9 558	0,20 %	1 224 709 $	151 000 $	222 750 $	1 598 459 $		115 689 $	1 714 148 $	1 822 522 000 $	0,09 %
AINC	13	3 797	0,34 %	1 294 090 $	2 690 000 $	178 000 $	4 162 090 $	1 883 000 $	341 667 $	6 386 757 $	5 760 763 000 $	0,07 %

Nota : Source des ETP min. : Rapport sur le rattachement des populations / Rapports sur les plans et les priorités.
Source du total des dépenses min. : Budget principal des dépenses, Partie II .
Les dépenses de certains ministères ont été rajustées à la baisse pour tenir compte des transferts en bloc aux provinces ou des paiements législatifs.
Toutes les autres données sont tirées des modèles d'évaluation de la capacité de 2004.

 

 

Annexe B : Méthodologie et sources de données

La plupart des données utilisées à l'appui des conclusions du présent rapport étaient tirées des résultats d'un sondage mené par le CEÉ entre juin et décembre 2004. L'outil de sondage, un modèle de collecte électronique de données, a été envoyé à 90 ministères et organismes le 18 juin 2004. Ce modèle s'inspirait en grande partie d'un instrument semblable utilisé pour recueillir des données à l'appui de l'évaluation formative de la politique d'évaluation, qui a été menée à bien en décembre 2002. Comme dans le cas de l'exercice effectué en 2002, deux versions du modèle de collecte de données ont été utilisées, comme il est expliqué ci-après.

1.      Le premier questionnaire, envoyé à 46 petits organismes (ayant moins de 500 ETP), visait à recueillir des renseignements de base concernant l'infrastructure existante et les travaux d'évaluation en cours. L'instrument de collecte de données des petits organismes contenait 12 questions regroupées autour de deux thèmes ou catégories :

• L'infrastructure et les ressources d'évaluation
• Les produits et résultats de l'évaluation

2.      Le deuxième instrument de collecte, envoyé à 44 ministères et organismes reconnus comme ayant une certaine capacité d'évaluation, contenait 18 questions au total regroupées autour de trois thèmes :

• L'infrastructure d'évaluation et l'utilisation des résultats
• Les plans et produits d'évaluation
• L'utilisation des ressources d'évaluation et les exigences connexes

Ce deuxième instrument contenait trois autres questions adressées aux ministères et organismes ayant reçu des fonds du CT pour les aider à développer leur capacité d'évaluation en 2003-2004 et 2004-2005. En répondant à ces trois questions, les ministères financés remplissaient les exigences en matière de rapport prescrites dans le protocole d'entente pour recevoir des fonds du CT. Ce questionnaire a été envoyé à :

• 37 grands ministères et organismes reconnus comme ayant une certaine capacité d'évaluation (25 d'entre eux ont reçu des fonds du CT);
• 7 petits organismes qui ont eux aussi reçu des fonds du CT en 2003-2004 et 2004-2005.

Le suivi requis pour s'assurer que les destinataires avaient reçu le questionnaire a duré jusqu'en décembre 2004.

Comme le montre le tableau ci-dessous, les taux de réponse au sondage étaient très élevés.

	Envoyés	Reçus	Taux de réponse
Petits organismes	46	38	82,6 %
Grands ministères et organismes financés	44	40	90,9 %
Total	90	78	86,6 %

---

[1] . Voir le chapitre 3 du Rapport du vérificateur général du Canada de 1996 . [Retour]