La santé de la fonction d'évaluation au gouvernement du Canada rapport pour l'exercise 2004-2005

Points saillants

Introduction

1. La fonction d'évaluation au gouvernement fédéral
2. Infrastructure d'évaluation
3. Ressources humaines et financières
4. Portée de l'évaluation
5. Qualité de l'évaluation
6. Examen du Cadre de responsabilisation de gestion
7. Détermination des besoins de la collectivité de l'évaluation
8. Leadership offert par le Centre d'excellence en évaluation

Conclusions

Annexe A : Financement de l'évaluation

Annexe B : Méthodologie et sources de données

Points saillants

Le présent rapport examine la santé de la fonction d'évaluation au gouvernement du Canada en pour l'exercice 2004-2005. Il fournit aux chefs de l'évaluation et aux hauts fonctionnaires les conclusions du Centre d'excellence en évaluation (CEÉ), Secrétariat du Conseil du Trésor du Canada (SCT), découlant de ses activités en matière de surveillance de la qualité des r apports d'évaluation et d'infrastructure à l'appui des ministères et organismes. Les efforts de surveillance du CEÉ visent à renforcer la fonction d'évaluation au sein du gouvernement du Canada afin d ' assurer la prise de décisions fondées sur des données probantes. es renseignements sur la qualité des rapports d'évaluation et l'infrastructure à l'appui des ministères et organismes. Une fonction essentielle du Centre d'excellence en évaluation (CEÉ), qui relève du Secrétariat du Conseil du Trésor, est d'assurer une surveillance afin de promouvoir une fonction d'évaluation renforcée à l'appui de la prise de décisions fondées sur des données probantes au gouvernement du Canada.

1)    La fonction d'évaluation au gouvernement fédéral

Trente-neuf des 41 ministères et grands organismes qui produisent des rapports consacrent des ressources à l'évaluation. Toutefois, étant donné la capacité limitée de ces ressources, les évaluations sont de plus en plus souvent pilotées par des programmes, ce qui exclut la possibilité d'un examen indépendant.

• Les Produits et services d'évaluation
  Les services d'évaluation exercent un certain nombre d'activités allant au-delà de la production d'études d'évaluation traditionnelles à l'appui de rapports de qualité sur le rendement de qualité et d'une culture favorisant la prise de décisions fondées sur des données probantes. Presque tous les services d'évaluation produisent des plans d'évaluation et entreprennent des études d'évaluation. Or, un nombre croissant de gestionnaires de programme font leurs propres évaluations sans consulter les services d'évaluation des ministères. Par exemple, seulement 25  % p. 100 des chefs de l'évaluation signent les évaluations ou documents de responsabilisation pilotés par des programmes. En conséquence, dans bien des cas, les ministères ne soumettent pas leurs rapports sur les résultats à un examen indépendant et objectif afin d'en assurer la crédibilité.
• L'Orientation administrative
  Le pourcentage de ministères ayant un comité d'évaluation est passé de 90  % p. 100 en 2003-2004 à 97  % p. 100 en 2004-2005. Seulement 73  % p. 100 de ces comités sont présidés par un sous-ministre. Quant aux petits organismes qui produisent des rapports, seulement 37  % p. 100 d'entre eux (13 sur 35) se sont dotés d'un comité d'évaluation ou soumettent les questions d'évaluation à leur comité de la haute direction.
• Surveillance de la haute direction
  La plupart des Q uatre-vingt-quinze pour cent (95  % ) des comités d'évaluation (95 p. 100) approuvent les plans d'évaluation ainsi que les rapports d'évaluation et les recommandations connexes des ministères. Cependant, dans la plupart de s cas,   ces comités n'examinent pas le travail d'évaluation piloté par les programmes.

2)    L'Infrastructure d'évaluation

• Plans d'évaluation des ministères
  La plupart des ministères produisent leurs rapports d'évaluation vers la fin de l'exercice et les soumettent au SCT en octobre ou novembre. Lorsqu'ils choisissent les programmes à évaluer, 72  % p. 100 des ministères tiennent compte du risque.
• Ressources d'évaluation
  En 2004-2005, un total de 54,8 millions de dollars a été affecté à l'évaluation. Les coûts d'évaluation représentent en moyenne 0,16  % p. 100 des dépenses des ministères. Seulement 11 petits organismes sur 47 ont alloué des fonds à l'évaluation, et deux d'entre eux ont engagé 60  % p. 100 des dépenses totales dans ce domaine, qui s'élevaient à 1 million de dollars.

3)    Ressources humaines et financières

On compte actuellement 293 ETP en évaluation, dont seulement 9 ne sont pas employés par les 41 grands ministères et organismes. Le roulement des effectifs nécessitera l'embauche de 54 ETP dans un proche avenir.

Les ressources contractuelles sont cinq fois plus nombreuses que les ressources internes, ce qui se répercute sur la qualité et le coût des rapports. La qualité est aussi affectée par le mode de financement : les évaluations financées par des programmes sont moins indépendantes et objectives.

4)    Portée de l'évaluation

En 2004-2005, les évaluations et examens comptaient pour environ 40  % des dépenses d'évaluation des ministères, comparativement à 20  % en 2003-2004. Les examens – qui constituent une grande partie du travail des services d'évaluation . Actuellement, ce travail – dépasse nt le cadre de l'actuelle Politique d'évaluation du CT. Par conséquent, il n'y a pas de normes ni de protocoles pour assurer la qualité de ces rapport s , lesquels sont néanmoins accessibles au public.

5)    Qualité de l'évaluation

Un examen détaillé de 115 rapports d'évaluation fédéraux a permis de déterminer que la plupart d'entre eux (77  % p. 100 ) étaient de qualité acceptable, mais que près du quart (23  % p. 100 ) étaient insatisfaisants. Une comparaison des rapports produits avant et après avril 2002 révèle que, depuis la création du CEÉ, la qualité s'est améliorée sur certains points, dont la rentabilité et la rigueur méthodologique. Néanmoins, il y a un besoin pressant d'apporter d'autres améliorations reste encore du chemin à faire et le temps presse .

6)    Examen du Cadre de responsabilisation de gestion

Lors de l'examen du Cadre de responsabilisation de gestion (CRG) par le SCT, le CEÉ a passé en revue les fonctions d'évaluation de 38 ministères. Il a exprimé des préoccupations , majeures dans 15 cas (39  % p. 100 ) et mineures dans 12 cas (32  % p. 100 ), mais il n'avait rien à redire dans 11 cas (29  % p. 100 ).

7)    Détermination des besoins de la communauté collectivité de l'évaluation

Seulement 80  % p. 100 des services d'évaluation ministériels sont en mesure de répondre à la demande d'évaluations, et seulement 53  % p. 100 sont capables de produire ou d'aider à produire les Cadres cadres de gestion et de responsabilisation axés sur les résultats (CGRR) demandés. Les chefs de l'évaluation affirment qu'il leur manque 4,5 millions de dollars et qu'ils auraient immédiatement besoin de 66 ETP additionnels.

8)    Leadership offert par le Centre d'excellence en évaluation

Pour mieux remplir son mandat, le CEÉ a été réorganisé; un nouveau directeur principal a été engagé et huit postes ont été dotés. Les priorités du nouveau plan de travail sont la surveillance, le renforcement des capacités et la prestation de conseils sur les évaluations et les CGRR. Des procédures internes et des normes de service ont été élaborées. Le Centre, dont l'expertise est reconnue, est un conférencier très en demande au Canada et à l'étranger.

Introduction

Le présent rapport - qui est le premier du genre - examine la santé de la fonction d'évaluation au gouvernement du Canada pour l'exercice 2004-2005.

L'évaluation est la collecte systématique de renseignements relatifs au rendement des programmes afin d'en déterminer la pertinence, le succès et la rentabilité. L'évaluation met l'accent sur les résultats des programmes et l'optimisation des ressources. Elle détermine dans quelle mesure les programmes atteignent leurs objectifs et produisent des résultats pour les Canadiens de façon rentable. Les décideurs utilisent les renseignements ainsi obtenus pour améliorer les programmes, orienter les nouvelles politiques et les nouveaux programmes ou réaffecter les ressources.

L'évaluation joue un rôle officiel au gouvernement du Canada depuis la fin des années 1970. Plus récemment, en 2001, le Conseil du Trésor (CT) a créé le Centre d'excellence en évaluation (CEÉ) au sein du Secrétariat du Conseil du Trésor (SCT) du Canada. Le Centre a pour mandat de renforcer les capacités d'évaluation du gouvernement fédéral. Il assure la conformité à la Politique d'évaluation du Conseil du Trésor et cherche à promouvoir des rapports de qualité sur les résultats dans toute la fonction publique.

Depuis 2001, les mesures additionnelles suivantes ont été prises :

• Le 12 décembre 2003, le Premier ministre a annoncé le Plan d'action pour la réforme démocratique. Le Plan souligne l'importance de la gestion axée sur les résultats et engage les sous-ministres à utiliser le Cadre de responsabilisation de gestion (CRG) du SCT pour rendre compte publiquement de la gérance des ressources. On attend surtout du CRG une fonction d'évaluation solide dans les ministères, des plans de vérification et d'évaluation axés sur le risque, ainsi que la collecte et l'utilisation d'informations pertinentes sur les résultats.
• Le plan énoncé dans le budget de 2004 pour renforcer la gestion du secteur public engageait le gouvernement à « rétablir le Bureau du contrôleur général du Canada, avec le mandat de surveiller rigoureusement toutes les dépenses publiques Â». Un important volet de cette initiative consiste à surveiller l'optimisation des ressources par l'évaluation. Le plan d'action engage également le gouvernement à renforcer les capacités et l'activité d'évaluation, en plus de mettre en valeur « un programme d'apprentissage et de normes de certification de base Â». Le but visé est d'assurer la crédibilité des rapports sur les résultats présentés au Parlement et aux Canadiens.
• Le gouvernement a également lancé un exercice continu d'examen des dépenses, auquel l'évaluation apporte une importante contribution. En effet, elle fournit les renseignements nécessaires à la prise de décisions fondées sur des données probantes pour que les ressources puissent être réaffectées aux programmes prioritaires.
• L'adoption, par le Conseil du Trésor à compter de 2005-2006, de la Structure de gestion des ressources et des résultats (SGRR), exige des ministères qu'ils élaborent une architecture d'activités de programme (AAP). Cette architecture illustre la façon dont un ministère affecte et gère les ressources qui lui sont confiées pour obtenir les résultats voulus, ainsi que les liens entre les programmes et les résultats stratégiques. La SGRR oblige aussi les ministères à fournir des renseignements sur les résultats prévus et les mesures de rendement pour chaque élément et niveau de l'AAP. Cela aidera à améliorer la qualité des rapports d'évaluation en augmentant la quantité de données sur le rendement des programmes et en renforçant leur crédibilité. Les évaluations, quant à elles, constituent une importante source d'information pour l'AAP d'un ministère.
• La Politique d'évaluation du gouvernement du Canada (avril 2001) encourage l'élaboration d'un cadre de gestion et de responsabilisation axé sur les résultats (CGRR). Le SCT vient de diffuser des directives révisées sur les CGRR (janvier 2005), dont le niveau de complexité est proportionnel aux risques associés au programme. Ils constituent des cadres facilitant le suivi du rendement, la gestion des risques et la présentation des résultats au niveau des programmes et ils sont inextricablement liés à la SGRR du ministère. Les résultats des activités de surveillance et d'évaluation contribueront à la production de rapports liés à la SGRR. Il devient donc essentiel que tous les gestionnaires de programme élaborent et mettent en Guvre un CGRR, indépendamment des exigences de la Politique sur les paiements de transfert.

En 2004-2005, le Centre d'excellence en évaluation a surveillé la santé de la fonction d'évaluation par les moyens suivants :

• Il a institué un sondage électronique annuel des ministères et organismes afin d'évaluer leur infrastructure d'évaluation, ainsi que la quantité et la portée des services et produits d'évaluation.
• Il a entrepris un examen approfondi de la qualité des rapports d'évaluation (voir l' Examen de la qualité des évaluations dans les ministères et les organismes , http://www.tbs-sct.gc.ca/cee/pubs/review-examen2004-fra.asp ).
• Il a créé la base de données CIEE (Composante d'information sur les examens d'évaluation), qui capture les résultats d'évaluation en temps opportun pour qu'ils puissent éclairer les décisions prises par les organismes centraux.
• Pour aider les ministères à apprendre les uns des autres, le CEÉ a mené une étude sur les pratiques efficaces dans l'administration des fonctions d'évaluation (voir le Rapport sur les pratiques d'évaluation efficaces , http://www.tbs-sct.gc.ca/cee/tools-outils/eep-pee-fra.asp ).

Afin de soutenir la prise de décisions par le Conseil du Trésor, le CEÉ examine également toutes les évaluations soumises à l'appui des demandes de financement, ainsi que les documents de responsabilisation des programmes (cadres de gestion et de responsabilisation axés sur les résultats). En outre, le CEÉ surveille les ministères et organismes en rencontrant personnellement les chefs de l'évaluation. Il rend compte des résultats de ces activités de surveillance dans le Cadre de responsabilisation de gestion (CRG) du SCT.

Enfin, cette année, le CEÉ a institué une nouvelle exigence selon laquelle tous les ministères et organismes doivent rendre compte de leurs plans d'évaluation au Parlement dans leurs rapports sur les plans et les priorités (RPP) et signaler les évaluations terminées dans leurs rapports ministériels sur le rendement (RMR). Cette nouvelle exigence rendra l'efficacité des programmes gouvernementaux plus transparente pour les parlementaires et pour les Canadiens.

1)  La fonction d'évaluation au gouvernement fédéral

La présente section examine les types de produits et de services d'évaluation fournis par les services d'évaluation des ministères, ainsi que l'orientation administrative et la surveillance de la fonction d'évaluation dans la fonction publique fédérale.

En 2004-2005, 39 des 41 ministères et grands organismes ayant produit des rapports ont consacré des ressources à l'évaluation. Ce chiffre représente une hausse de 10 p. 100 par rapport aux 35 entités seulement qui ont affirmé avoir affecté des ressources à l'évaluation en 2003-2004.

Produits et services d'évaluation

Le tableau 1 présente les types de services d'évaluation fournis par les ministères et les grands organismes. Presque tous les services d'évaluation doivent élaborer des plans d'évaluation et entreprendre des études d'évaluation. Environ 38 p. 100 d'entre eux font des examens, lesquels portent habituellement sur une question de gestion spécifique sans tenir compte des protocoles ou normes d'évaluation formels. La majorité des services d'évaluation appuient l'élaboration de CGRR par les programmes, mais seulement 28 p. 100 des chefs de l'évaluation approuvent ces documents. En outre, étant donné que seulement 25 p. 100 des chefs de l'évaluation approuvent les évaluations pilotées par des programmes, il n'y a à peu près rien de prévu pour surveiller ou contester la qualité de ces rapports. Seul un petit nombre de services d'évaluation donnent des conseils sur la conception des programmes ou sur les cadres de mesure du rendement des ministères et des programmes ou encore offrent une formation sur la mesure du rendement. Cela donne à penser que les ministères ne tirent pas pleinement parti des compétences de leurs services d'évaluation. Chose étonnante, seulement 10 p. 100 des services d'évaluation participent à la mise en Guvre et à la surveillance des cadres de responsabilisation de gestion (CRG) des ministères, ce qui soulève des préoccupations concernant la qualité de ces rapports au Parlement et au public.

Tableau 1
Types de produits et services d'évaluation fournis par les services d'évaluation des ministères

Orientation administrative

En 2002-2003, 90 p. 100 des ministères et grands organismes déclaraient avoir mis en place un comité d'évaluation. En 2004-2005, ce chiffre est passé à 97 p. 100 (40 sur 41). En revanche, seulement 37 p. 100 des petits organismes (13 sur 35 ayant produit des rapports) se sont dotés d'un comité d'évaluation ou discutent des questions d'évaluation aux réunions du comité de la haute direction.

Dans la plupart des cas (73 p. 100), les comités d'évaluation ministériels sont présidés par un sous-ministre. En ce qui concerne les représentants du Bureau du vérificateur général, 22 p. 100 des comités les invitent toujours à participer à leurs réunions à titre d'observateurs et 17 p. 100 les invitent parfois à jouer ce rôle. Dans le cas des représentants du Secrétariat du Conseil du Trésor, les chiffres correspondants s'élèvent à 20 p. 100 et 7 p. 100. Environ 7 p. 100 des ministères affirment que des fonctionnaires autres que les représentants du SCT et du Bureau du contrôleur général assistent aux réunions de leur comité d'évaluation.

La plupart des ministères (85 p. 100) ont des comités conjoints de vérification et d'évaluation (voir le graphique 1). Seulement 12 p. 100 ont des comités distincts pour les deux fonctions. Les comités conjoints permettent de coordonner les activités de vérification et d'évaluation, et de les assujettir aux contrôles nécessaires.

La présentation en temps opportun de rapports sur les résultats de l'évaluation dépend entre autres de la fréquence des réunions du comité d'évaluation. Environ 55 p. 100 des comités ministériels tiennent des réunions mensuelles ou trimestrielles, 12 p. 100 se réunissent deux fois l'an, et 32 p. 100 sur une base ponctuelle.

Surveillance de la haute direction

Le tableau 2 présente les types d'activités entreprises par les comités d'évaluation. La plupart d'entre eux (95 p. 100) approuvent le plan d'évaluation ministériel. Bien que la vaste majorité des comités approuvent les rapports d'évaluation et les recommandations connexes, seulement 76 p. 100 approuvent les plans d'action de la direction associés aux recommandations faisant suite à l'évaluation, et encore moins (66 p. 100) surveillent le suivi donné à ces plans d'action.

Tableau 2
Surveillance, par les comités d'évaluation ministériels, des rapports d'évaluation produits par les services d'évaluation et des produits connexes

Une source de préoccupation est la quantité de travaux d'évaluation pilotés par des programmes qui échappent à la compétence des comités d'évaluation. Le niveau de ces activités est décrit au tableau 3. Seulement 15 p. 100 des comités d'évaluation examinent les rapports d'évaluation produits par des programmes. D'après les ministères, seulement 20 p. 100 des plans d'action de la direction associés aux évaluations pilotées par des programmes sont examinés, et seulement 15 p. 100 des comités surveillent le suivi donné à ces plans d'action.

Tableau 3
Surveillance, par les comités d'évaluation ministériels, des rapports d'évaluation pilotés par les programmes et des produits connexes

Ce faible niveau de surveillance suscite des préoccupations pour plusieurs raisons. Premièrement, la politique du CT oblige les ministères à soumettre tous les rapports d'évaluation au SCT. Comme ces rapports ne sont pas soumis aux comités d'évaluation, la capacité d'assurer le suivi de ces travaux et d'en rendre compte au Parlement est réduite. Deuxièmement, il n'existe aucun moyen de vérifier la qualité des rapports qui ne sont pas examinés, malgré le fait qu'ils seront accessibles au public. En outre, l'utilité des rapports d'évaluation est réduite si les renseignements qu'ils contiennent ne sont pas communiqués à ceux qui en ont le plus besoin, soit le sous-ministre et les membres de la haute direction. Enfin, il est impossible de démontrer la rentabilité de ces travaux, étant donné le peu de surveillance prévu pour déterminer s'il est donné suite aux conclusions de l'évaluation et aux recommandations connexes.

2)  Infrastructure d'évaluation

L'infrastructure d'évaluation fait l'objet d'une surveillance pour ce qui est des plans d'évaluation ministériels, de la répartition des ressources et des capacités des ressources humaines.

Plans d'évaluation ministériels

Les ministères et petits organismes doivent élaborer des plans d'évaluation et les soumettre à l'examen du SCT. Le tableau 4 indique le nombre de ministères et de petits organismes qui ont élaboré des plans d'évaluation et les ont soumis au SCT avant septembre 2004. La plupart des ministères finalisent leurs rapports d'évaluation vers la fin de l'exercice. Les rapports sont généralement présentés au SCT en octobre ou novembre.

Tableau 4
Nombre de plans d'évaluation élaborés puis soumis au SCT par des ministères et de petits organismes

Les ministères sont encouragés à concentrer leurs efforts d'évaluation dans les domaines présentant le plus grand risque (voir le graphique 2). En 2004-2005, 72 p. 100 des ministères ayant préparé un plan d'évaluation ont tenu compte du risque dans la sélection des programmes à évaluer. Le peu de décisions basées sur le risque peut être attribué en partie à l'exigence du SCT selon laquelle tous les programmes de subventions et de contributions doivent être évalués; cette exigence réduit la marge de manGuvre des ministères qui cherchent à cibler les efforts d'évaluation en fonction du risque. Il convient toutefois de noter que les programmes de subventions et de contributions (c.-à-d. les programmes offerts par l'entremise de tierces parties) ont été identifiés par le SCT comme présentant un risque plus élevé.

Ressources d'évaluation

Le tableau 5 présente le total des fonds affectés à l'évaluation par 41 ministères et grands organismes. Ce total, qui s'élevait à 54,8 millions de dollars en 2004-2005, est censé atteindre 55,4 millions en 2005-2006 puis redescendre à 54,5 millions en 2006-2007.

Tableau 5
Dépenses actuelles et projetées en matière d'évaluation au gouvernement du Canada

Le tableau 6 présente les fonds affectés à l'évaluation en pourcentage du total des dépenses ministérielles par portefeuille. Les ministères qui offrent des programmes sociaux allouent de 0,07 p. 100 à 1,05 p. 100 des dépenses totales à l'évaluation, la moyenne se situant à 0,29 p. 100. Ceux qui participent à la prestation des programmes économiques allouent en moyenne 0,1 p. 100 des dépenses totales à l'évaluation, tandis que ceux qui relèvent du portefeuille des opérations gouvernementales y affectent une proportion semblable. L'annexe A présente les fonds consacrés à l'évaluation par ministère.

Tableau 6
Financement de l'évaluation par rapport aux dépenses totales des ministères

En 2004-2005, les petits organismes ont affecté un total de 1 million de dollars à l'évaluation (voir le graphique 3). Ce montant, envisagé par rapport au financement total (environ 3 milliards de dollars et 3 000 ETP), est extrêmement faible. Qui plus est, deux organisations comptent pour 60 p. 100 du total des dépenses en matière d'évaluation. Seulement 11 des 47 petits organismes déclarants allouaient des fonds à l'évaluation.

3)  Ressources humaines et financières

On compte actuellement 293 ETP en évaluation. Les 41 grands ministères et organismes emploient 284 ETP, tandis que les 37 petits organismes déclarants en emploient 9. Le graphique 4 présente la répartition des actuels et futurs ETP en évaluation. Les évaluateurs de niveau intermédiaire (ES-04 et ES-05) forment le groupe le plus nombreux; viennent ensuite les évaluateurs de niveau supérieur (p. ex. ES-06).

Le graphique 5 présente la distribution des ETP par catégorie. Le groupe Économique et Statistique (ES) emploie la plus forte proportion d'ETP (44 p. 100), suivi du groupe Soutien administratif (AS) avec 24 p. 100. Les autres catégories utilisées comprennent AV, CO, CP/UNI, FI, IS, RCO et SI. Le groupe de la direction compte pour 12 p. 100 des ETP.

Le graphique 6 présente la distribution, actuelle et projetée, des ETP en évaluation par catégorie. Toutes les catégories sont censées croître au cours des trois prochaines années, le groupe ES devant accuser la plus forte hausse.

Un taux élevé de roulement du personnel est prévu pour les trois prochaines années. Comme le montre le tableau 7, le taux de départ projeté est de 11 p. 100 en 2004-2005, de 7 p. 100 en 2005-2006 et de 4 p. 100 en 2006-2007. Le nombre total de départs s'élève à 31 ETP, dont la plupart sont des évaluateurs de niveau intermédiaire et de niveau supérieur (12,5 et 9,6 ETP respectivement).

Tableau 7
Départs projetés

Cependant, comme le tableau 8 le montre, le nombre projeté réel d'ETP à doter dans le domaine de l'évaluation s'élève à 54, ce qui représente un taux de remplacement réel de 20 p. 100. Le nombre réel de postes de niveau intermédiaire et supérieur à doter est de 36 ETP. C'est là tout un défi, vu les compétences spécifiques requises.

Tableau 8
Nombre total d'ETP à remplacer

Ressources internes par opposition à ressources contractuelles

Graphique 7 :
Ressources internes par opposition à ressources contractuelles en évaluation

 Le graphique 7 présente l'utilisation actuelle et projetée des ressources internes en évaluation par rapport aux ressources contractuelles. Comme il le révèle, les entités utilisent cinq fois plus de ressources contractuelles que de ressources internes.

Financement des évaluations par le programme ou le service d'évaluation

Le graphique 8 présente les principales sources de financement pour les projets d'évaluation. Quelque 37 p. 100 des ministères financent les évaluations principalement grâce aux ressources affectées au service d'évaluation, tandis que 25 p. 100 comptent surtout sur les programmes. Seulement 13 p. 100 favorisent la formule de partage des coûts entre le service d'évaluation et les programmes, tandis que 25 p. 100 font surtout appel aux ressources du service d'évaluation interne. Les projets d'évaluation principalement financés par les gestionnaires de programme sont moins perçus comme indépendants et objectifs.

4)    Portée de l'évaluation

Le tableau 9 présente le nombre d'évaluations, de CGRR et d'examens produits par les services d'évaluation ministériels entre 2001 et 2003.

Les examens représentent une grande partie des travaux entrepris par les services d'évaluation. À l'heure actuelle, ces travaux échappent à la portée de l'actuelle Politique d'évaluation du CT. Bien que ces rapports soient accessibles au public, il n'existe pas de normes ou de protocoles permettant d'en assurer la qualité.

Tableau 9
Production annuelle d'évaluations, de CGRR et d'examens

5)    Qualité de l'évaluation

Cette section présente les résultats de la surveillance, par le CEÉ, de la qualité des évaluations. La qualité des rapports d'évaluation est fonction des critères suivants : couverture des enjeux, validité et fiabilité des méthodes, indépendance et objectivité des rapports.

Vue d'ensemble

Un examen détaillé des 115 rapports d'évaluation fédéraux a permis de constater que la plupart d'entre eux (77 p. 100) étaient de qualité acceptable, mais que près du quart (23 p. 100) étaient inadéquats. Aucun lien clair et cohérent n'a pu être établi entre la qualité des évaluations et la taille des organismes fédéraux, ni entre la qualité des évaluations faites par des ministères par rapport à celles réalisées par des organismes.

Une comparaison des rapports produits avant et après avril 2002 révèle que la qualité s'est améliorée sur certains points. Des améliorations ont été constatées dans la mesure où les rapports se penchent sur les questions de rentabilité, assurent la rigueur méthodologique, identifient les solutions de rechange, tirent des conclusions fondées sur des données probantes et présentent des recommandations formelles. Les changements survenus depuis la création du CEÉ donnent à penser que les efforts déployés par le SCT pour améliorer la qualité et renforcer les capacités d'évaluation portent fruit.

Quoi qu'il en soit, il y a un besoin pressant d'apporter d'autres modifications. Le tableau 10 énumère les points forts et les points faibles des rapports d'évaluation.

Tableau 10
Qualité des rapports d'évaluation

Couverture des enjeux

Conformément à la Politique d'évaluation du CT, les évaluations doivent porter sur la pertinence, le succès et la rentabilité des programmes, politiques ou initiatives. Comme le tableau 11 l'indique, 94 p. 100 des rapports d'évaluation se penchent sur le succès des programmes, 74 p. 100 sur leur pertinence, et seulement 44 p. 100 sur leur rentabilité. De nombreux rapports examinent les questions de mise en Guvre et d'exécution ainsi que les pratiques de gestion. Ces résultats donnent à penser que l'évaluation a tendance à être formative (pratiques de gestion) plutôt que sommative (quelle différence le programme fait-il?).

Tableau 11
Couverture des enjeux d'évaluation

Pertinence : Plus de la moitié des évaluations (un peu moins de 60 p. 100) fournissaient un exposé des constatations sur la nécessité et la pertinence continues du programme. La plupart d'entre elles (85 p. 100) ont été jugées satisfaisantes ou plus que satisfaisantes selon ces critères. Seulement le tiers (34 p. 100) cherchait à déterminer si le programme faisait double emploi avec d'autres initiatives ou allait à leur encontre. Sur ce tiers, la présentation de l'information a été jugée insatisfaisante dans 18 p. 100 des rapports évalués.

Succès : La plupart des évaluations (87 p. 100) traitaient de la question de savoir si le programme ou l'initiative en question avait produit des résultats soutenant sa continuation. Le quart (26 p. 100) de ces rapports ont été jugés insatisfaisants à cet égard; ce pourcentage est toutefois passé de 39 p. 100 avant avril 2002 à 19 p. 100 après cette date. Seulement le quart des évaluations examinaient les résultats fortuits (25 p. 100) ou les impacts nets (26 p. 100).

Optimisation des ressources : Environ le quart des évaluations examinées (26 p. 100) traitaient d'autres approches susceptibles d'aboutir à des façons plus rentables d'obtenir les résultats désirés. La proportion est beaucoup plus élevée pour les évaluations postérieures à avril 2002 (31 p. 100) que pour celles antérieures à cette date (16 p. 100); elle est également plus élevée dans les organismes (38 p. 100) que dans les ministères (23 p. 100).

Mise en Guvre / prestation : La plupart des évaluations présentaient des constatations sur la pertinence du modèle de prestation et/ou des pratiques de gestion du programme (81 p. 100), et sur la nécessité d'en améliorer la structure ou les mécanismes de prestation (76 p. 100). Les évaluations ont été très bien cotées selon le premier critère (89 p. 100 ont été jugées satisfaisantes ou plus que satisfaisantes).

Validité et fiabilité

La plupart des évaluations (72 p. 100) se fondaient sur un concept de recherche jugé approprié aux objectifs de l'étude. Seulement 5 p. 100 étaient mal conçues (p. ex. en raison du peu de répondants consultés ou du nombre limité de points de vue). Plus important encore, le manque de détails rendait impossible une évaluation en fonction de ce critère pour près du quart (23 p. 100) des rapports. Dans 87 p. 100 des cas, la qualité de la conception méthodologique des rapports examinés a été jugée satisfaisante ou plus que satisfaisante.

Presque toutes les évaluations (97 p. 100) incluaient de multiples sources de données. Le graphique 9 présente les types de méthodes employées. Comme les données l'indiquent, les évaluations se fondent principalement sur l'information obtenue lors des entrevues, l'examen des dossiers et des documents, les études de cas et les sondages, et moins sur les analyses statistiques, les opinions des experts et les analyses de la rentabilité. Plus inquiétant, seule une minorité des concepts d'évaluation incluaient un groupe de comparaison (13 p. 100), des mesures de référence (14 p. 100) ou une comparaison avec des normes, de la documentation ou un autre point de référence (22 p. 100) - caractéristiques qui peuvent accroître la rigueur de la méthodologie.

Les données du programme peuvent accroître la validité et la fiabilité des rapports d'évaluation. Ces données doivent être disponibles pour que les gestionnaires du programme puissent gérer en fonction des résultats (c.-à-d. affecter les ressources et orienter les activités de manière à atteindre les objectifs du programme).

Le graphique 10 présente les résultats des efforts de surveillance continus du CEÉ, sur la base d'un échantillon de 96 évaluations. Peu de programmes s'étaient dotés de systèmes fiables de surveillance du rendement. Dans la plupart des cas, aucun système n'avait été mis en place pour recueillir et communiquer les données sur le rendement ou le système n'avait qu'une valeur symbolique. L'absence de données sur les programmes mine la qualité globale des rapports d'évaluation, car il faut recréer les données pour évaluer les répercussions des programmes.

Indépendance et objectivité

L'indépendance et l'objectivité des évaluations sont d'une importance cruciale, car elles garantissent au Parlement, aux ministres, aux sous-ministres et aux organismes centraux que les rapports peuvent servir à la prise des décisions. L'évaluation de l'indépendance et de l'objectivité permettent de savoir si les conclusions sont basées sur les résultats du rapport et de la mesure dans laquelle les recommandations sont elles-mêmes basées sur ces conclusions. Un autre facteur à prendre en considération est l'utilisation des plans d'action de la direction qui aident à assurer l'indépendance et l'objectivité des recommandations du rapport.

Les trois quarts des évaluations ont été jugées à tout le moins satisfaisantes, et 24 p. 100 ont été jugées inadéquates, celles-ci ne contenant pas de conclusions objectives fondées sur des données probantes concernant la pertinence, la réussite ou la rentabilité des programmes. Leur qualité sur ce plan est en voie d'amélioration : 40 p. 100 des évaluations postérieures à avril 2002 ont été jugées plus que satisfaisantes à cet égard, comparativement à seulement 20 p. 100 des rapports antérieurs à cette date.

Le graphique 11 présente les résultats de la surveillance continue exercée par le CEÉ afin de déterminer si les recommandations de l'évaluation découlent des conclusions des rapports. Comme le montre le graphique, bien que les recommandations soient généralement alignées sur les conclusions, ce n'est pas toujours le cas. Les données reflètent les conclusions de l' Examen de la qualité des évaluations , un examen approfondi réalisé par le CEÉ, selon lesquelles la plupart des évaluations contenaient des recommandations formelles (77 p. 100) ou proposaient des mesures additionnelles (13 p. 100). Dans presque tous les cas, les recommandations découlaient logiquement des résultats et conclusions de l'évaluation (94 p. 100). Par ailleurs, seulement 26 p. 100 des rapports contenant des recommandations signalaient des scénarios de remplacement, et 35 p. 100 tenaient compte des contraintes pratiques (règlements, budgets, etc.). 

Réponse de la direction et plan d'action

Moins de la moitié des rapports d'évaluation examinés contenaient une réponse de la direction (48 p. 100) ou un plan d'action (33 p. 100) auxquels le public avait accès. Le faible taux de réponse suscite des préoccupations pour diverses raisons. Premièrement, ces plans offrent une garantie de transparence et de responsabilisation aux Canadiens et au Parlement en montrant comment le gouvernement du Canada compte donner suite aux conclusions et recommandations de l'évaluation. En outre, les plans de la direction démontrent l'optimisation des ressources rendue possible par la fonction d'évaluation en documentant les mesures prises par suite de l'évaluation. Ils constituent également d'importants outils de responsabilisation de la gestion qui permettent aux comités de vérification et d'évaluation de surveiller les décisions prises. Enfin, ils encouragent l'indépendance de la fonction d'évaluation, qui jouit d'une plus grande liberté dans la présentation de recommandations ciblées et subit moins l'influence des gestionnaires de programme. Les gestionnaires de programme ou membres de la haute direction qui ne sont pas d'accord avec les conclusions ou recommandations de l'évaluation peuvent exprimer leurs vues dans la réponse de la direction. Cela permet aux auteurs des rapports d'évaluation de demeurer indépendants.

6)    Examen du Cadre de responsabilisation de gestion

Lors de l'examen du Cadre de responsabilisation de gestion (CRG) du SCT, le CEÉ a évalué l'état des fonctions d'évaluation de 38 ministères. L'examen, qui a servi à évaluer la fonction d'évaluation de chaque ministère, a notamment cherché à déterminer :

• s'il existait un engagement à renforcer les capacités;
• si l'administrateur général présidait un comité d'évaluation actif;
• s'il existait un plan d'évaluation axé sur le risque;
• si les plans d'action de la direction tenaient compte des conclusions ou recommandations de l'évaluation;
• si les rapports d'évaluation étaient soumis au SCT et affichés en temps opportun (trois mois après l'approbation du rapport).

Sur les 38 ministères examinés par le CEÉ, 15 (39 p. 100) donnaient lieu à des préoccupations majeures, 12 (32 p. 100) à des préoccupations mineures, et 11 (29 p. 100) n'occasionnaient aucune préoccupation. Dans le premier groupe, 9 ministères ne respecteront pas leur engagement à maintenir les niveaux de ressources de 2005-2006 convenus dans un protocole d'entente signé pour obtenir des fonds additionnels du Conseil du Trésor afin de renforcer les fonctions d'évaluation. Les autres préoccupations majeures incluaient le peu d'efforts déployés pour renforcer les capacités, l'infrastructure limitée, le nombre insuffisant de produits d'évaluation et le peu de ressources consacrées à l'évaluation. Les préoccupations mineures comprenaient les niveaux de ressources et le nombre de rapports d'évaluation produits.

7)    Détermination des besoins de la collectivité de l'évaluation

Le tableau 12 présente les lacunes cernées par les services d'évaluation ministériels entre les types de produits et services qu'ils sont capables de fournir et ceux qu'on exige d'eux. Seulement 80 p. 100 des services d'évaluation ministériels sont capables de répondre à la demande d'évaluations. En outre, seulement 53 p. 100 d'entre eux se disaient capables de produire ou d'aider à produire la totalité ou la plupart des CGRR demandés.

Les services d'évaluation constituent une précieuse source d'expertise en ce qui concerne la gestion axée sur les résultats et la mesure du rendement. Malheureusement, ils n'arrivent pas à fournir tous les conseils demandés par la haute direction et les gestionnaires de programme. Dans les domaines où les évaluateurs peuvent avoir un véritable impact, par exemple en donnant des conseils sur la conception des programmes, ils répondent à la demande dans seulement 26 p. 100 des cas. Ils ont leur mot à dire sur les cadres de mesure du rendement des ministères (ou d'un programme donné) dans seulement 40 p. 100 du temps. Ce manque d'expertise contribue à réduire la qualité des programmes. Il en va de même pour la qualité des rapports aux Canadiens et aux parlementaires, comme en témoignent les résultats de l'examen du Cadre de responsabilisation de gestion (CRG) du SCT. La qualité des rapports est une préoccupation continue du Bureau du vérificateur général. [1]

Un élément de solution consiste à offrir une formation aux gestionnaires de programme et aux cadres supérieurs en ce qui concerne la gestion axée sur les résultats et la mesure du rendement. Malheureusement, seulement 20 p. 100 des services d'évaluation offrent une telle formation. Il existe peu d'autres options, car cette formation n'est pas offerte par l'École de la fonction publique du Canada à l'heure actuelle.

Tableau 12
Capacité du service d'évaluation à offrir les types de services exigés par les ministères et grands organismes fédéraux

Le graphique 12 présente les fonds additionnels requis pour renforcer la fonction d'évaluation. Les chefs de l'évaluation déclarent un manque à gagner de 4,5 millions de dollars. Les domaines où les besoins sont les plus grands sont les produits d'évaluation, viennent ensuite la capacité des petits organismes, la prestation de conseils, la formation et les engagements en matière de surveillance.

<>Le graphique 13 présente le nombre d'ETP additionnels requis pour renforcer la fonction d'évaluation. Les chefs de l'évaluation ont repéré un besoin immédiat de 66 ETP additionnels.

8)    Leadership offert par le Centre d'excellence en évaluation

La présente section décrit le rôle du Centre d'excellence en évaluation du SCT, ainsi que ses principales réalisations de l'année écoulée.

Les objectifs du CEÉ sont les suivants :

• renouveler et renforcer la fonction d'évaluation du gouvernement du Canada;
• entreprendre des recherches et élaborer des politiques de façon à accroître l'efficacité de l'évaluation;
• s'employer avec les ministères, les organismes et le SCT à mieux intégrer les résultats de l'évaluation à la prise des décisions de gestion.

Le tableau 13 présente les types d'activités que le CEÉ entreprend pour atteindre ses objectifs.

Tableau 13 
Activités du Centre d'excellence en évaluation

Les activités du CEÉ visent les résultats suivants :

• Les activités d'évaluation des ministères et organismes mènent à des politiques, des initiatives et des programmes plus pertinents et plus rentables qui produisent des résultats continus.
• Les ministères et organismes s'inspirent des résultats de l'évaluation pour prendre des décisions, notamment en ce qui concerne la réaffectation des ressources, l'établissement des priorités et l'examen continu de la gestion des dépenses.
• Les ministres du CT et les parlementaires disposent des données probantes requises pour éclairer les décisions de gestion et accroître la transparence et la responsabilisation envers les Canadiens.

Principales réalisations du CEÉ en 2004-2005

Un nouveau directeur principal a été engagé juste avant le début de l'exercice. Dans le cadre de la réorganisation subséquente, le CEÉ a adopté une approche par portefeuille afin de mieux servir les clients du Ministère et du SCT. Il a notamment doté huit postes et élaboré un plan de travail détaillé axé sur la surveillance, le renforcement des capacités et la prestation de conseils au secteur des programmes et aux ministères sur les évaluations et les CGRR associés aux présentations au CT. À l'appui de ces priorités, il a mis en place des procédures administratives et de contrôle de la qualité à l'interne et élaboré des normes de service pour le secteur des programmes.

Graphique 14 :
Nombre d'activités / de réunions du CEÉ en 2004-2005

Le graphique 14 donne une vue d'ensemble des activités du CEÉ telles que les réunions et les présentations. Une grande partie des efforts étaient axés sur la surveillance et le renforcement des capacités (51 réunions avec les chefs de l'évaluation et les représentants des ministères). La prestation de conseils au secteur des programmes du SCT et aux représentants des ministères représente également un investissement de temps important (63 réunions au cours de l'exercice). En tout, 17 présentations ont été données à des publics tels que la Société canadienne d'évaluation (SCE), l'Institut de la gestion financière (IGF), et des cadres supérieurs des gouvernements fédéral et provinciaux à Ottawa, Toronto, St. John's, Fredericton, Halifax et Montréal. Quelque 19 présentations ont été données à des délégations internationales désireuses de bénéficier de l'expérience du Canada dans ce domaine. Le CEÉ a notamment représenté le Canada à Séoul, en République de Corée, à une réunion internationale de six pays convoquée à la demande du gouvernement coréen, et lors d'une visite à Moscou pour aider le gouvernement russe dans le cadre des activités de développement international du Canada. Il a également été visité par des délégations de l'Australie, de la France, du Royaume-Uni, de la Chine, de la République de Corée (à trois reprises), de la Nouvelle-Zélande et de plusieurs nations africaines.

Voici les principales réalisations du CEÉ pour l'exercice par secteur d'activités.

Surveillance

• Premier sondage annuel sur la capacité d'évaluation : A envoyé un sondage électronique à 90 ministères et organismes afin d'évaluer la santé de la fonction d'évaluation.
• Réunions avec des dirigeants ministériels : A tenu plus de 51 réunions avec des ministères à des fins de surveillance et de renforcement des capacités.
• Examen des plans d'évaluation des ministères : A reçu et examiné 21 plans.
• Évaluations des cadres de responsabilisation de gestion : A examiné la capacité d'évaluation de 38 ministères et organismes en vue de réunions bilatérales avec les sous-ministres. Cette information aide également à évaluer les objectifs de rendement des sous-ministres.
• Rapport sur la qualité des évaluations : A élaboré un modèle de rapport et entrepris un examen approfondi de 115 rapports d'évaluation.
• Composante d'information sur les examens d'évaluation (CIEE) : A mis sur pied une base de données électronique pour la surveillance continue des indicateurs de haut niveau de la qualité des évaluations. A examiné 97 rapports d'évaluation.

Services consultatifs au secteur des programmes

Une grande partie du travail du CEÉ consiste à formuler des recommandations et à donner des conseils au secteur des programmes sur les propositions de financement, sur la base d'un examen des évaluations, des cadres de responsabilisation des programmes et des présentations au CT. Tous les programmes de paiements de transfert nécessitent un Cadre de responsabilisation de gestion axé sur les résultats, et tous les renouvellements du financement exigent une évaluation. Le CEÉ est le bureau de première responsabilité pour l'examen de ces documents. En outre, étant donné son expertise dans l'évaluation des cadres de responsabilisation, le secteur des programmes lui envoie souvent des présentations générales au CT pour qu'il les examine. Comme le montre le tableau 14, au cours de l'année civile écoulée, le CEÉ a examiné 309 CGRR, évaluations et présentations au CT.

Tableau 14
Direction de la gestion axée sur les résultats, décembre 2003 à décembre 2004

Au cours de l'année écoulée, le CEÉ a établi des normes de service liées à la satisfaction des besoins du secteur des programmes en ce qui concerne l'examen de ces documents. Ces normes sont présentées au tableau 15.

Tableau 15
Normes de service de la Direction de la gestion axée sur les résultats

Politique et directives

Voici quelques-unes des activités stratégiques entreprises :

• A publié le Guide pour l'examen des rapports d'évaluation
  ( www.tbs-sct.gc.ca/cee/tools-outils/grer-gere-fra.asp ) afin d'accroître la qualité de l'examen du CEÉ et de garantir une approche transparente et uniformisée.
• A publié des conseils révisés sur la préparation des CGRR ainsi que des critères révisés afin de simplifier les exigences liées aux CGRR et d'accroître la qualité de l'examen du CEÉ.
• A publié La fonction d'évaluation au gouvernement du Canada
  ( www.tbs-sct.gc.ca/cee/pubs/func-fonc-fra.asp ), qui décrit l'approche adoptée par le Canada face à l'évaluation et aux exigences connexes.
• A participé aux travaux du Comité directeur sur les paiements de transfert du SCT dans le cadre du renouvellement de la politique et donné des directives au secteur des programmes sur le traitement des paiements de transfert pour les présentations au CT.

Renforcement des capacités

Les efforts de renforcement des capacités mettaient l'accent sur le perfectionnement des compétences des ressources humaines et les communications afin d'accroître l'accès des ministères à un personnel qualifié.

Ressources humaines

• A créé « HR Genie Â», une application Web contenant des outils de gestion des ressources humaines. Ce travail a été entrepris en consultation avec un certain nombre de chefs de l'évaluation des ministères. Une composante clé de l'outil a été la création d'énoncés de qualités et de descriptions de fonctions génériques des niveaux ES-1 à ES-6.
• A continué d'aider les ministères à recruter des employés et à former des comités de recrutement.

Apprentissage

• A accru les possibilités de perfectionnement en révisant le programme de stages pour le perfectionnement des nouveaux évaluateurs. Une quinzaine de stagiaires sont actuellement inscrits au programme. Les cours ont été élargis et sont maintenant ouverts à tous les évaluateurs. Ils portent notamment sur les compétences essentielles, les méthodes d'évaluation, les techniques d'entrevue, les contrats d'évaluation et la gestion des projets.
• A conçu un cours sur l'évaluation afin d'améliorer la qualité des rapports et de communiquer les critères du CEÉ pour l'examen des rapports d'évaluation. Avec la création d'un manuel à l'intention des participants et d'un guide de formation, ce cours est maintenant offert dans les régions par la Société canadienne d'évaluation.
• A organisé un certain nombre de séances de formation sur les CGRR à l'intention des analystes du secteur des programmes et du personnel des ministères et organismes.
• A tenu une conférence sur la rentabilité qui a attiré plus de 100 participants.

Produits

• A élaboré un guide d'évaluation à l'intention des petits organismes, en consultation avec un groupe de représentants des petits organismes.
• A entrepris une étude sur les pratiques d'évaluation efficaces de 14 services d'évaluation ministériels, afin d'améliorer l'administration des services d'évaluation et d'accélérer la production des rapports.
• A préparé un document et un certain nombre de présentations sur la mesure du rendement à l'appui de la nouvelle Structure de gestion des ressources et des résultats afin de mieux informer les ministères des aspects de la nouvelle politique liés à la mesure du rendement.

Services consultatifs et de communications aux ministères

• A tenu 11 réunions d'orientation avec les nouveaux chefs de l'évaluation.
• A modifié complètement le site Web du CEÉ afin de le rendre plus accessible, en mettant l'accent sur le développement d'un nouveau contenu.
• A préparé une brochure sur l'engagement renouvelé du gouvernement à l'égard de l'évaluation et communiqué les engagements pris dans le budget de 2004 afin de renforcer la fonction d'évaluation.
• A aménagé des stands lors de conférences telles que celles de l'APEX, de la Société canadienne d'évaluation, de la SCÉ-SCN, du FRP et de l'IGF, afin de souligner l'importance de l'évaluation et de la gestion du rendement.
• A publié cinq éditions du bulletin du CEÉ distribué à quelque 300 membres de la collectivité de l'évaluation. L'accent est mis sur la mise en commun des leçons apprises et la communication des conseils du SCT.
• A institué la série de déjeuners mensuels sur le rendement à l'intention des chefs de l'évaluation. Les quatre séances organisées jusqu'ici ont attiré environ 160 participants.
• A convoqué un certain nombre de réunions de comités consultatifs supérieurs afin d'obtenir les conseils des ministères sur la gestion de la fonction d'évaluation, et tenu une réunion des chefs de l'évaluation en février 2004.
• S'est employé avec certains gouvernements provinciaux et avec la Société canadienne d'évaluation à renforcer cette fonction à l'échelle du Canada.

Services d'évaluation directs

• Représente le SCT au sein de trois comités de vérification et d'évaluation ministériels (Affaires étrangères, Patrimoine et Santé).
• Fait partie de comités d'évaluation interministériels (changement climatique, Initiative jeunesse de RHDCC).
• Fait partie de comités directeurs de l'évaluation pour des programmes ministériels donnés.
• Planifie actuellement l'évaluation d'un petit organisme afin de fournir un cadre pour un groupe de petits organismes de réglementation.
• A entrepris une évaluation des rapports parlementaires dans le cadre du Projet d'amélioration des rapports au Parlement.

Rapports sur la gestion et la responsabilisation

• Composante d'information sur les examens d'évaluation (CIEE) 
• Suivi électronique continu de la qualité des rapports d'évaluation (90 évaluations examinées jusqu'ici). À placer sur le bureau des analystes du secteur des programmes. Transmet également les résultats de l'évaluation aux décideurs, sur la base des questions du Comité d'examen des dépenses.
• Rapport annuel aux ministres du CT sur la fonction d'évaluation et sa contribution au renforcement de la responsabilisation au gouvernement du Canada
  En cours.

Conclusions

L'évaluation est le fondement du plan d'action du gouvernement pour la diffusion des résultats. Les ministres, les parlementaires et les décideurs de la fonction publique fédérale ont besoin de renseignements crédibles pour mieux rendre compte des résultats et éclairer la prise des décisions fondées sur des données probantes.

L'évaluation est la seule fonction qui jette un regard indépendant et objectif sur l'efficacité des programmes et l'optimisation des ressources. Pour s'acquitter de cette mission avec succès, la fonction d'évaluation doit être mieux alignée sur le processus de prise des décisions et de répartition des ressources et être en mesure de garantir des rapports crédibles, objectifs et indépendants.

Annexe A :

Financement de l'̩valuation, par minist̬re / organisme РPortefeuille ̩conomique

Nota : Source des ETP min. : Rapport sur le rattachement des populations / Rapports sur les plans et les priorités.
Source du total des dépenses min. : Budget principal des dépenses, Partie II .
Les dépenses de certains ministères ont été rajustées à la baisse pour tenir compte des transferts en bloc aux provinces ou des paiements législatifs.
Toutes les autres données sont tirées des modèles d'évaluation de la capacité de 2004.

Financement de l'̩valuation, par minist̬re / organisme РPortefeuille des op̩rations gouvernementales

 Nota :

Source des ETP min. : Rapport sur le rattachement des populations / Rapports sur les plans et les priorités.
Source du total des dépenses min. : Budget principal des dépenses, Partie II .
Les dépenses de certains ministères ont été rajustées à la baisse pour tenir compte des transferts en bloc aux provinces ou des paiements législatifs.
Toutes les autres données sont tirées des modèles d'évaluation de la capacité de 2004.

Financement de l'̩valuation, par minist̬re / organisme РPortefeuille social

Nota : Source des ETP min. : Rapport sur le rattachement des populations / Rapports sur les plans et les priorités.
Source du total des dépenses min. : Budget principal des dépenses, Partie II .
Les dépenses de certains ministères ont été rajustées à la baisse pour tenir compte des transferts en bloc aux provinces ou des paiements législatifs.
Toutes les autres données sont tirées des modèles d'évaluation de la capacité de 2004.

Annexe B : Méthodologie et sources de données

La plupart des données utilisées à l'appui des conclusions du présent rapport étaient tirées des résultats d'un sondage mené par le CEÉ entre juin et décembre 2004. L'outil de sondage, un modèle de collecte électronique de données, a été envoyé à 90 ministères et organismes le 18 juin 2004. Ce modèle s'inspirait en grande partie d'un instrument semblable utilisé pour recueillir des données à l'appui de l'évaluation formative de la politique d'évaluation, qui a été menée à bien en décembre 2002. Comme dans le cas de l'exercice effectué en 2002, deux versions du modèle de collecte de données ont été utilisées, comme il est expliqué ci-après.

1.      Le premier questionnaire, envoyé à 46 petits organismes (ayant moins de 500 ETP), visait à recueillir des renseignements de base concernant l'infrastructure existante et les travaux d'évaluation en cours. L'instrument de collecte de données des petits organismes contenait 12 questions regroupées autour de deux thèmes ou catégories :

• L'infrastructure et les ressources d'évaluation
• Les produits et résultats de l'évaluation

2.      Le deuxième instrument de collecte, envoyé à 44 ministères et organismes reconnus comme ayant une certaine capacité d'évaluation, contenait 18 questions au total regroupées autour de trois thèmes :

• L'infrastructure d'évaluation et l'utilisation des résultats
• Les plans et produits d'évaluation
• L'utilisation des ressources d'évaluation et les exigences connexes

Ce deuxième instrument contenait trois autres questions adressées aux ministères et organismes ayant reçu des fonds du CT pour les aider à développer leur capacité d'évaluation en 2003-2004 et 2004-2005. En répondant à ces trois questions, les ministères financés remplissaient les exigences en matière de rapport prescrites dans le protocole d'entente pour recevoir des fonds du CT. Ce questionnaire a été envoyé à :

• 37 grands ministères et organismes reconnus comme ayant une certaine capacité d'évaluation (25 d'entre eux ont reçu des fonds du CT);
• 7 petits organismes qui ont eux aussi reçu des fonds du CT en 2003-2004 et 2004-2005.

Le suivi requis pour s'assurer que les destinataires avaient reçu le questionnaire a duré jusqu'en décembre 2004.

Comme le montre le tableau ci-dessous, les taux de réponse au sondage étaient très élevés.

[1] . Voir le chapitre 3 du Rapport du vérificateur général du Canada de 1996 .