Études de cas sur les facteurs d'efficacité et l'utilisation des évaluations effectuées au sein du Gouvernement du Canada

Rapport final
Le 15 août 2005

Secrétariat du Conseil du Trésor
Ministère de la Défense nationale
Agence canadienne de développement international
Service correctionnel du Canada
Affaires indiennes et du Nord Canada
Travaux publics et Services gouvernementaux Canada

Table des matières

1. Sommaire

2. Introduction
2.1 Contexte
2.2 Approche et méthodologie
2.3 Limites de l'étude
2.4 Principales caractéristiques des évaluations

3. Atteinte des objectifs de l'évaluation
3.1 Atteinte des objectifs
3.2 Conclusion

4. Utilité des études d'évaluation
4.1 Utilisateurs primaires des évaluations
4.2 Décisions portant sur l'allocation des ressources et la gestion des dépenses
4.3 Futures orientations de politique
4.4 Amélioration de la conception et de l'exécution des programmes
4.5 Reddition de comptes et relations hiérarchiques
4.6 Autres répercussions et avantages
4.7 Conclusion

5. Facteurs d'efficacité des évaluations
5.1 Appui de la haute direction
5.2 Relations fondées sur la participation entre le personnel d'évaluation et le personnel du programme
5.3 Qualification du personnel d'évaluation (externe et interne)
5.4 Méthodologie de cueillette exhaustive des données sur le rendement
5.5 Impartialité et objectivité sur le plan des constatations et des recommandation découlant de l'évaluation
5.6 Recommandations précises et équilibrées
5.7 Engagement et participation des intervenants
5.8 Conclusion

1. Sommaire

Le présent rapport s'appuie sur un compendium d'études de cas pour faire ressortir comment sont utilisées les évaluations effectuées dans les ministères et organismes du gouvernement du Canada et quels sont les facteurs clés qui contribuent à leur efficacité. Il s'inscrit dans un ensemble de recherches qui fourniront le cadre des orientations futures de la fonction d'évaluation au sein du gouvernement fédéral. Les discussions à propos de ces orientations s'articulent en partie autour de l'utilisation actuelle des études d'évaluation et des mesures à prendre pour que la fonction d'évaluation puisse efficacement répondre à des besoins diversifiés, comme la prise de décisions en matière de gestion des dépenses, l'établissement d'orientations politiques et le renforcement de la reddition de comptes et des relations hiérarchiques.

Le principal objectif de ce document consiste à mettre en perspective les pratiques exemplaires et les facteurs d'efficacité en regard des répercussions du processus d'évaluation. C'est pourquoi il ne présente pas un échantillon statistiquement représentatif des répercussions entraînées par toutes les études d'évaluation menées au sein du gouvernement fédéral. le Centre d'excellence pour l'évaluation (CEÉ) mène actuellement dans les ministères une enquête fondée sur un échantillon aléatoire des études d'évaluation dont le rapport viendra compléter le présent ouvrage.

Nous avons adopté une approche par études de cas pour documenter l'efficacité d'un échantillon d'évaluations sur le plan des prises de décisions dans les ministères. Quinze études d'évaluation menées par des ministères et des organismes gouvernementaux ont été retenues à cette fin. Dans la plupart des cas, ces études :

étaient requises par le Conseil du Trésor pour renouveler le financement d'un programme ou pour en revoir les modalités;
ont été réalisées par des experts-conseils externes dans un délai inférieur à une année. Le coût moyen des évaluations menées à l'externe était de 181 000 $;
ont entraîné l'établissement d'un plan d'action formel pour le suivi des résultats et des recommandations.

Dans tous les cas, on considérait que ces évaluations avaient atteint les objectifs établis dans leur mandat, notamment :

examiner la pertinence de la poursuite du financement des activités du programme;
produire une évaluation objective du degré d'atteinte des objectifs du programme;
étoffer les présentations au Conseil du Trésor et les mémoires au Cabinet;
identifier les volets du programme susceptibles d'être améliorés et d'autres options de prestations des services;
fournir une évaluation globale de l'efficacité du programme en fonction des coûts.

Les résultats de ces quinze études d'évaluation ont par la suite été utilisés par différents intervenants, notamment, les gestionnaires du programme, des cadres supérieurs des ministères, des organismes centraux, des ministres et des intervenants du programme. La justification des décisions relatives à la gestion des dépenses et des ressources constitue l'une des utilisations les plus courantes de ces résultats et, dans au moins deux cas, ils ont servi à étayer les travaux du Comité d'examen des dépenses.

Les résultats d'évaluation ont aussi grandement servi au niveau de la gestion des programmes, dans le cadre de la poursuite des opérations et de la prestation des services, pour identifier les améliorations à apporter sur le plan de la conception et de l'exécution du programme et des relations hiérarchiques, appuyer les décisions de réaffectation des ressources et saisir les occasions de réduire les coûts. Ils ont aussi contribué à améliorer le moral et la motivation du personnel responsable de l'exécution du programme et ils ont permis des transferts de savoir entre les équipes d'évaluation et l'effectif des programmes, favorisant ainsi une meilleure gestion.

Enfin, les évaluations ont fourni à la haute direction un contexte mieux défini pour prendre des décisions relatives à l'établissement d'orientations politiques visant les programmes et leur fonctionnement. Elles ont mis en relief les questions clés dont la haute direction doit tenir compte pour déterminer les orientations politiques futures des programmes soumis à l'évaluation.

Dans le contexte plus large qui regroupe les intervenants externes, les évaluations ont permis de mieux faire connaître et comprendre les programmes aux clients, aux fournisseurs tiers et aux membres du Parlement. Dans de nombreux cas, elles ont fait la preuve pour ces intervenants que les programmes donnaient les résultats escomptés et qu'ils constituaient des investissements judicieux.

Malgré le caractère unique de chacune de ces études, certains thèmes communs se dégagent comme facteurs clés d'une évaluation efficace. Notamment :

l'appui du processus d'évaluation et du suivi des résultats par la haute direction;
des relations fondées sur la participation entre l'équipe d'évaluation et le personnel responsable de l'exécution du programme, incluant une entente sur le mandat et les objectifs de l'étude d'évaluation et des communications rapides et ouvertes;
un personnel d'évaluation hautement qualifié et expérimenté (à l'interne comme à l'externe);
une méthodologie de cueillette exhaustive des renseignements, à partir de multiples sources de données;
un niveau élevé d'impartialité et d'objectivité face aux résultats de l'évaluation;
des recommandations précises et équilibrées;
l'engagement et la participation des intervenants dans les mécanismes de gouvernance de l'évaluation (p. ex. un comité directeur ou consultatif) permettant en temps opportun la consultation et le partage des résultats.

La valeur ajoutée par ces évaluations permet d'accroître l'utilité de la fonction d'évaluation et témoigne du fait que des études planifiées et effectuées de façon adéquate peuvent avoir des répercussions qui vont bien au-delà de leur mandat initial et donner lieu dans une vaste gamme de secteurs à des améliorations qui, au bout du compte, profiteront non seulement au programme évalué, mais aussi au ministère qui en est responsable, au gouvernement du Canada et à l'ensemble des citoyens canadiens.

2. Introduction

2.1 Contexte
L'objectif de cette étude consiste à présenter des exemples de répercussions des évaluations du gouvernement du Canada sur les prises de décisions ministérielles et à identifier les facteurs clés qui contribuent à l'efficacité du processus d'évaluation. Elle s'inscrit dans un ensemble de recherches qui fourniront le cadre des orientations futures de la fonction d'évaluation au sein du gouvernement fédéral. Parmi les études connexes, citons celles portant sur :

les répercussions du CGRR;
les vues des ministres sur l'évaluation (rapport Breen);
l'évaluation du Centre d'excellence pour l'évaluation (rapport Sears);
la qualité des études d'évaluation;
la santé de la fonction d'évaluation;
l'amélioration du professionnalisme en matière d'évaluation (rapport Gussman).

Les discussions à propos de l'avenir de la fonction d'évaluation s'articulent en partie autour de l'utilisation actuelle des études d'évaluation qui sont effectuées et des mesures à prendre pour que la fonction d'évaluation puisse efficacement répondre à des besoins diversifiés, comme la prise de décision en matière de gestion des dépenses, l'établissement d'orientations politiques et le renforcement de la reddition de comptes et des relations hiérarchiques.

Un comité directeur composé de représentants du Centre d'excellence pour l'évaluation (CEÉ) du Secrétariat du Conseil du Trésor, de la Défense nationale, de l'Agence canadienne de développement international (ACDI), de Travaux publics et Services gouvernementaux Canada (TPSGC), des Affaires indiennes et du Nord Canada (AINC) et de Service correctionnel Canada (SCC) s'est chargé de la supervision du projet.

2.2 Approche et méthodologie
Nous avons adopté une approche par études de cas pour documenter l'efficacité d'un échantillon d'évaluations sur le plan des prises de décision dans les ministères. Quinze études d'évaluation menées par des ministères et des organismes gouvernementaux ont été retenues à cette fin.

Rapports d'évaluation compris dans la présente étude

Social	SOG	Économique	Petits organismes
RHDC – Prestations d'emploi et mesures de soutien (1999-2002) AINC – Programme de développement économique des collectivités (2003) DSC – Initiative de la Prestation nationale pour enfants (2005)	CIC – Programme canadien sur les crimes de guerre (2001) Défense nationale – Disponibilité et soutien de l'avant-garde et des FCP (2004) TPSGC – Initiative des Autres formes de prestation des services (2003)	AAC – Programme de l'aménagement hydraulique rural (2003) APECA –Fonds d'innovation de l'Atlantique (2004) Industrie Canada – Évaluation du programme Rescol (2004) RNCan – Volet des nouvelles constructions de l'Initiative des habitations éconergétiques (2005) Transport Canada – Services subventionnés de traversier dans la Région de l'Atlantique (2003) MPO – Programme de la Région des lacs expérimentaux (2004)	CCHST – Examen du Centre canadien d'hygiène et de sécurité au travail (2001) CCN – Évaluation de la stratégie Web de la Commission (2003) CRSH – Évaluation du programme des Chaires de recherche du Canada (2004)

En avril 2005, le CEÉ a demandé aux chefs de l'Évaluation de tous les ministères et organismes fédéraux de désigner des études récentes qu'ils avaient jugées éclairantes dans le cadre de prises de décisions ministérielles et qui, à leurs yeux, se caractérisaient par des répercussions démontrables. Quinze évaluations ont été choisies à partir de cette liste et de l'inventaire d'études d'évaluation géré le CEÉ. Elles constituent une combinaison d'évaluations effectuées tant dans de grands ministères que dans de petits organismes gouvernementaux, et elles touchent une gamme variée de portefeuilles.

Pour la majorité des études de cas, nous avons rencontré en entrevue le chef de l'Évaluation, le gestionnaire du programme et un cadre dirigeant (p. ex., SMA ou vice-président, lorsque possible). Dans certains cas, le gestionnaire du programme ou le cadre dirigeant n'était pas disponible pour participer à l'entrevue. Néanmoins, il y a toujours eu au moins deux entrevues, l'une avec le chef de l'Évaluation, l'autre avec le gestionnaire de programme ou un cadre dirigeant.

Ces études de cas sont présentées en annexe du présent rapport. Le reste du rapport consiste en un résumé des constatations qui découlent de ces études de cas.

2.3 Limites de l'étude
Au tout début de cette étude, nous avons délibérément choisi de nous concentrer sur les pratiques exemplaires et sur les facteurs d'efficacité des évaluations. En conséquence, elle n'a pas pour objectif de présenter un échantillon statistiquement représentatif des répercussions entraînées par toutes les études d'évaluation menées au sein du gouvernement fédéral. Elle se limite plutôt à offrir des exemples d'évaluations que la direction du programme a jugées efficaces et à les documenter sous forme d'études de cas.

Des études complémentaires mettront en œuvre des approches statistiquement représentatives pour mesurer les impacts de ce type d'études d'évaluation, notamment, l'enquête fondée sur un échantillon aléatoire d'évaluations actuellement en cours dans les ministères. On prévoit que ces études, ainsi que celles indiquées dans la section 2.1, permettront d'établir un portrait objectif et complet des répercussions des études d'évaluation au sein du gouvernement fédéral.

2.4 Principales caractéristiques des évaluations
Pour établir le contexte du reste du présent rapport, voici un résumé des caractéristiques administratives des quinze évaluations examinées.

Motifs à l'origine de l'évaluation. La majorité des études d'évaluation ont été effectuées parce que le Conseil du Trésor devait renouveler le financement d'un programme ou en revoir les modalités (sept évaluations sommatives; deux évaluations formatives). Les six autres études faisaient suite à une demande de la direction du projet ou de la haute direction pour répondre à des questions particulières relatives à des priorités spécifiques de l'organisation, comme la Stratégie Web à la CCN, la disponibilité et le maintien des FC au MDN et la Région des lacs expérimentaux au MPO. Ces évaluations ont été identifiées et intégrées dans le plan annuel d'évaluation.
Appel à des experts-conseils de l'extérieur. Sauf dans deux cas, les évaluations ont toutes été menées par des experts-conseils de l'extérieur. Le choix de faire appel à des ressources extérieures était motivé soit par le manque de ressources internes pour entreprendre les travaux, soit par le besoin d'une expertise spécialisée en regard du service ou du programme étudié. Les deux évaluations réalisées à l'interne (au MDN et à Transport Canada) ont pu l'être parce que l'expertise voulue était présente au sein des unités d'évaluation des ministères. (À Transport Canada, seule la partie d'enquête a été donnée en impartition.) L'évaluation du MPO a été partiellement réalisée à l'interne, en faisant appel à des consultants de l'extérieur pour la collecte des données.
Durée des études d'évaluation. La plupart (neuf) des études d'évaluation ont été complétées en moins d'un an, depuis la planification jusqu'à la rédaction et l'approbation du rapport final. La durée des autres études varie entre 18 mois et 3 ans. Cette situation s'explique par l'importance de la phase de collecte des données (allant de 10 à 13 mois dans les cas des AINC, de Transport Canada et du CRSH) ou par la longueur de la phase de révision ou d'approbation du rapport (16 et 17 mois dans les cas du MDN et de Transport Canada). Pour DSC, l'évaluation s'est étalée sur trois ans en raison de la complexité de la méthodologie adoptée et de la couverture de douze juridictions; toutefois, des résultats partiels étaient disponibles après 18 mois.
Coût des études d'évaluation. Le coût des services des consultants de l'extérieur varie grandement selon la complexité, la portée et la durée des évaluations. La moins coûteuse des évaluations, celle de la Stratégie Web de la CCN (47 000 $), a été réalisée en six mois. Le budget de la plus onéreuse, celle de l'initiative de la Prestation nationale pour enfants (PNE) de DSC, s'élevait à 600 000 $. Le coût moyen des évaluations menées par des consultants de l'extérieur s'élevait approximativement à 181 000 $ (en excluant le MPO qui n'a que partiellement fait appel à des ressources externes).
Modèles de gouvernance variés. Les modèles mis en œuvre par les différents ministères et organismes pour assurer la supervision de ces évaluations varient beaucoup. Dans sept ministères, il n'y avait aucune structure formelle de gouvernance. Néanmoins, dans tous les cas, on a eu recours à un processus rigoureux d'examen du mandat de l'évaluation, des outils de collecte des données et des rapports préliminaires, habituellement sous la responsabilité de la haute direction ou des gestionnaires du programme. Quatre organisations (ACDI, Industrie Canada, CRSH et CCN) ont confié la gouvernance du processus à des comités directeurs formés de membres de la haute direction et de gestionnaires du projet et, dans deux cas, de représentants d'autres ministères ou d'intervenants clés du programme sous étude. Deux ministères ont établi des groupes de travail ou des comités intergouvernementaux pour s'acquitter de la supervision du processus. Dans deux ministères (DSC et RHDCC), on a fait appel à des comités consultatifs composés d'intervenants du programme, de l'interne et de l'extérieur. Dans ces deux organisations, on croyait qu'un comité consultatif risquait moins d'influer sur les résultats de l'évaluation qu'un comité directeur. Dans tous les cas, le rapport final a été approuvé par un comité ministériel supérieur d'évaluation (soit un comité officiel de vérification et d'évaluation, soit le comité ministériel supérieur d'évaluation).
Processus de mise en œuvre. Dans la majorité des études, le rapport d'évaluation comprenait une réaction de la direction. Sauf dans deux cas, on a élaboré un plan d'action qui indique les mesures à prendre pour donner suite aux recommandations, l'échéancier de ces mesures et les responsables de leur mise en œuvre. L'unité d'évaluation contrôle périodiquement la plupart de ces plans d'action (généralement, une fois par trimestre). Pour la majorité des études, les recommandations ont déjà été mises en œuvre, ou sont en voie de l'être. Dans de rares cas (AAC et Transport Canada), on n'a pas donné suite aux recommandations, ou l'on a réduit leur portée, en raison d'une décision de la haute direction. Au MDN, on a décidé de surseoir à la mise en application des deux principales recommandations afin de procéder à des études complémentaires.

3. Atteinte des objectifs de l'évaluation

Cette section présente sommairement jusqu'à quel point les quinze études d'évaluation ont pu atteindre leurs objectifs de départ et dans quelle mesure elles ont pu éclairer des décisions ministérielles.

3.1 Atteinte des objectifs
Tous les ministères considèrent que leurs études d'évaluation respectives ont atteint les objectifs stipulés dans leur mandat initial. Voici quelques-uns de ces objectifs.

Examiner la pertinence de la poursuite du financement des activités du programme. Sur le plan des constatations, dans presque toutes les évaluations, déterminer si les justifications de reconduire le financement du programme, de l'opération ou de l'initiative à l'étude étaient suffisantes ou non constituait un enjeu clé. En regard des orientations futures des opérations, il s'agissait d'une question fondamentale pour les gestionnaires du projet et la haute direction. Pour le CCHST, les répercussions présentaient un caractère primordial, car la survie de cet organisme dépendait des résultats de l'évaluation. Dans beaucoup de cas, les études ont permis de conclure qu'il y avait de solides et convaincantes raisons de poursuivre le programme – bien que, généralement, en lui apportant quelques correctifs pour répondre à des problématiques ou relever des défis encore en émergence. Toutefois, les résultats des évaluations n'ont pas toujours été positifs. Dans quelques rares cas, comme RNCan et Transport Canada, on est arrivé à la conclusion que le programme n'était plus adéquat ou ne pouvait se poursuivre sans rajustements si le ministère voulait que les objectifs initiaux soient atteints. Les gestionnaires de programme disposaient ainsi d'éléments empiriques précieux pour les aider à prendre d'importantes décisions pouvant porter à la controverse.
Évaluer de façon objective le degré d'atteinte des objectifs du programme. Nombre d'études ont fait ressortir des indices probants de l'atteinte des résultats attendus des programmes, tout en permettant d'identifier les aspects pour lesquels les résultats demeuraient incertains. Ces précieuses indications ont aidé les gestionnaires de programme à s'assurer que leur programme fonctionnait adéquatement ou à identifier les volets qui réclamaient leur intervention. Dans certains cas, les études d'évaluation ont aussi fait ressortir que, pour pouvoir prendre des décisions périodiques éclairées relativement aux résultats des programmes, il y avait lieu d'apporter d'importantes améliorations aux processus de cueillette et de suivi des données sur le rendement. Deux évaluations formatives (APECA et DRHC), portant sur des enjeux relatifs à la gestion de la mise en œuvre, ont permis de dégager les résultats précoces du programme. Ceci fut particulièrement utile aux gestionnaires du Fonds d'innovation de l'Atlantique, car les résultats positifs constatés au cours de l'évaluation formative ont étayé la décision du Conseil du Trésor de reporter l'exigence d'une évaluation sommative au-delà de la période quinquennale initialement planifiée.
Appuyer des présentations au Conseil du Trésor et des mémoires au Cabinet. Un grand nombre de ces études visaient surtout à vérifier la conformité aux exigences du Conseil du Trésor (par exemple, celles établies dans les directives particulières pour les subventions et contributions de la Politique sur les paiements de transfert) en vue de fournir une évaluation à l'appui de la décision de reconduire le programme ou de rajuster ses objectifs. Il s'agissait là d'une des principales attentes des responsables des programmes.
Identifier les volets du programme susceptibles d'être améliorés et d'autres options de prestations des services. Toutes les études ont été utilisées aux fins de déterminer les principaux volets du programme, de l'opération ou de l'initiative, qui ne pourraient pas atteindre leurs objectifs sans modifications ou améliorations. Beaucoup de gestionnaires ont souligné que cette dimension avait eu d'importantes répercussions sur la perception qu'ils avaient de leur programme – un examen objectif du programme s'est avéré utile en permettant aux gestionnaires de prendre du recul et en apportant un nouvel éclairage sur le programme ou l'initiative à l'étude.
Évaluer l'efficacité globale du programme en fonction des coûts. Il n'y avait que six études dans le cadre desquelles l'évaluation de l'efficacité en fonction des coûts constituait un objectif initial. Ce sont celles du CCHST, du MPO, de TPSGC, des AINC, de Transport Canada et de DSC. Dans ces six cas, l'analyse produite au cours de l'étude a permis de déterminer si la gestion du programme, de l'opération ou de l'initiative était efficace et de recommander des moyens d'améliorer cet aspect du fonctionnement. Pour le CCHST, le MPO et TPSGC plus particulièrement, l'évaluation de l'efficacité globale du programme en fonction des coûts figurait parmi les motifs principaux qui ont suscité l'étude. L'évaluation conduite par TPSGC a confirmé que l'initiative des Autres formes de prestation des services (AFPS) permettait de réaliser des économies substantielles et qu'il serait possible de les accroître davantage en élargissant la portée de cette initiative pour y intégrer des immeubles additionnels. Au MPO, l'évaluation du programme de la Région des lacs expérimentaux a donné lieu à un examen des coûts d'exploitation associés aux installations et à l'identification de nouvelles options de prestation et de tarification des services susceptibles d'accroître l'efficacité opérationnelle.

3.2 Conclusion
Il ressort de notre examen de ces quinze rapports d'évaluation que toutes les études ont atteint les objectifs énoncés dans leur mandat respectif, qu'elles ont fourni des preuves de fond relativement à la pertinence des programmes, à leurs résultats et à leur efficacité en fonction des coûts, et qu'elles ont permis de faire ressortir les aspects de la conception ou de l'exécution des programmes qu'il conviendrait de modifier pour être mieux à même de réaliser les objectifs établis et d'obtenir les résultats attendus.

4. Utilité des études d'évaluation

Douze des quinze rapports d'évaluation examinés comprenaient des recommandations explicites. La présente section décrit comment les destinataires des résultats et des recommandations de ces études ont pu les utiliser pour orienter leurs décisions relatives aux projets en question.

4.1 Principaux utilisateurs des évaluations

Utilisateur	Principales utilisations des résultats et des recommandations
Gestionnaires de programme	Mettre en œuvre de la conception du programme et améliorer les activités Accroître la compréhension du programme Appuyer la gestion courante du programme Étayer les présentations au CT et les mémoires au Cabinet
Haute direction ministérielle (SMA, vice-présidents, SM)	Accroître la compréhension du programme Appuyer les décisions politiques Établir la vision et prendre des décisions stratégiques Améliorer l'harmonisation des ressources Comparer le fonctionnement et les résultats du programme avec les objectifs établis
Ministres et membres du Parlement	Certains Mémoires au Cabinet intégraient des résultats d'évaluation pour appuyer la prise de décision sur l'avenir des programmes. Valider la pertinence continue des programmes, opérations et initiatives
Organismes centraux	Base de décision relativement au renouvellement des modalités des programmes et à la poursuite de leur financement
Intervenants	Accroître la compréhension du programme Augmenter la participation et la coopération Résoudre les problèmes soulevés par la conception ou l'exécution des programmes
Tiers fournisseurs, incluant les gouvernements provinciaux et territoriaux	Améliorer le processus de prise de décision Améliorer l'exécution des programmes S'acquitter de leurs obligations en matière de responsabilisation

4.2 Décisions portant sur l'allocation des ressources et la gestion des dépenses
Ces évaluations ont été fort utiles pour les ministères dans le cadre des prises de décisions relatives à la gestion des dépenses et des ressources, comme le financement continu du programme, l'examen des dépenses, l'affectation des ressources et les possibilités de réduction des coûts.

Poursuite du financement des programmes. Pour plusieurs de ces programmes, notamment le Fonds d'innovation de l'Atlantique (APECA), le Programme canadien sur les crimes de guerre (CIC), le programme des Chaires de recherche du Canada (CRSH), le Programme de développement économique des collectivités (AINC), l'initiative de Prestation nationale pour enfants (DSC) et les Services subventionnés de traversier (Transport Canada), l'évaluation était requise aux fins de présenter aux organismes centraux une demande de renouvellement des modalités d'exécution. Les évaluations permettaient de vérifier que les programmes se rapprochaient suffisamment de leurs objectifs pour justifier un renouvellement de leur mandat.

Décisions relatives à l'affectation des ressources. Les gestionnaires des ministères, tout comme ceux des programmes, se sont appuyés sur les résultats de l'évaluation pour éclairer leurs décisions relatives à l'affectation des ressources dans le cadre des programmes ou des opérations. Au MDN, par exemple, c'est une recommandation du rapport d'évaluation qui a attiré l'attention de la haute direction sur la nécessité de revoir l'affectation des ressources sur le plan de l'utilisation des fonds de fonctionnement et d'entretien. L'évaluation du PAHR a incité AAC à ajuster les ressources de ce programme en fonction des besoins réels de sa clientèle. Au sein d'Industrie Canada, l'évaluation du programme ResCol fut l'un des outils que l'on a utilisés pour décider de la réaffectation des ressources, au moment où ce programme faisait face à une réduction inattendue de 40 % de son budget.

Réduction des coûts. Dans certains ministères, des améliorations aux programmes et aux opérations sont en cours de réalisation pour donner suite aux recommandations qui découlent de l'évaluation. On prévoit que ces ministères pourront ainsi profiter d'économies ou d'améliorations de leur fonctionnement. Par exemple, pour accroître son efficacité en regard des coûts, Transport Canada procède à une révision des hypothèses qui sous-tendent le calcul des subventions accordées aux services de traversier. À la CCN, l'évaluation de la stratégie Web a motivé la décision de ne pas investir dans l'amélioration de certains services, parce qu'elle avait démontré que le besoin de ceux-ci ne le justifiait pas. Aux AINC, la nouvelle conception du Programme de développement économique des collectivités intègre des changements structurels, dont l'incitation à un financement progressif ou graduel des programmes, visant à réaliser des économies d'échelle. Au MPO, des travaux sont en cours pour établir une nouvelle tarification journalière pour les utilisateurs de la RLE, de façon à accroître les recettes pour mieux couvrir les coûts réels de l'exploitation de cette installation. Le Conseil du Trésor s'est appuyé sur les résultats de l'évaluation de l'initiative des Autres formes de prestation pour justifier le réapprovisionnement des AFPS et pour l'accroître en y incluant de nouveaux immeubles.

Examen des dépenses. Dans deux ministères (MPO et Transport Canada), la haute direction a décidé de soumettre au Comité d'examen des dépenses certains des changements proposés aux programmes. Ainsi, l'évaluation des Services subventionnés de traversier dans la Région de l'Atlantique a conclu que l'un des programmes visés ne correspondait plus aux objectifs de Transport Canada et qu'il devrait être aboli, une décision qui entraînerait des économies d'environ 5 M$. Au MPO, l'évaluation de la Région des lacs expérimentaux a conclu que la tarification imposée aux utilisateurs était insuffisante pour couvrir les frais d'exploitation de l'installation et qu'un nouvel aménagement des services, assorti d'une augmentation des tarifs, pourrait soulager le ministère de cette charge financière.

4.3 Futures orientations des politiques
Les constatations de plus de la moitié des études d'évaluation mettent en relief la nécessité de revoir l'orientation politique ou stratégique du programme, de l'opération ou de l'initiative soumise à l'examen. Ces résultats, recommandations et suggestions de possibilités d'amélioration ont été des plus utiles à la haute direction pour éclairer ses prises de décisions dans ce domaine.

Par exemple, les résultats de l'évaluation effectuée au MDN, en conjonction avec d'autres consultations et documents clés produits par ce ministère, ont contribué à l'élaboration du nouvel Énoncé de la politique de défense du Canada. La stratégie hydraulique d'AAC, qui doit alimenter la Stratégie fédérale relative à l'eau développée par Environnement Canada, s'appuie aussi sur les résultats de son évaluation. L'étude réalisée à Transport Canada a mis en relief l'éventuel besoin d'une révision des politiques maritimes du ministère pour s'assurer qu'elles se conforment à l'ensemble des priorités gouvernementales. À la CCN, l'évaluation de la stratégie Web a mené à l'élaboration d'une nouvelle vision du développement et à l'établissement de priorités. Au sein de RNCan, la direction du programme prévoit réexaminer les futures orientations stratégiques relatives au volet des nouvelles constructions de l'Initiative des habitations éconergétiques, de façon à le recentrer en vue de l'atteinte d'ici 2010 de ses objectifs reliés aux changements climatiques. La haute direction des AINC réévalue actuellement le rôle à long terme du ministère pour déterminer s'il doit poursuivre dans la voie de sa programmation usuelle ou passer à un rôle politique et de soutien. Au CRSH, le comité directeur a autorisé le secrétariat du programme à consulter les organismes centraux pour vérifier s'il serait possible de modifier le libellé d'un des objectifs pour mieux rendre compte de l'intention politique qui le sous-tend. Pour donner suite aux recommandations issues de l'évaluation, Industrie Canada a entrepris une analyse de toutes les questions soulevées et c'est à partir de cette analyse que seront élaborées les futures orientations politiques du ministère. Enfin, dans le cas du CCHST, les résultats de l'évaluation ont fourni au Conseil du Trésor la justification d'une augmentation des budgets qui permettra au Centre de se consacrer à la planification stratégique de l'amélioration de ses opérations, plutôt que d'être sans cesse en recherche de financement.

4.4 Amélioration de la conception et de l'exécution des programmes
La haute direction et les gestionnaires de programme se sont aussi largement servi des résultats des évaluations pour identifier les éléments de programme dont l'efficacité n'était pas optimale ou qui n'atteignaient pas leurs objectifs. Dans une large mesure, les ministères mettent en œuvre les recommandations qui ont été émises relativement à la conception et à l'exécution de leurs programmes.

Dans certains ministères, les évaluations ont mis au jour la nécessité d'une modification en profondeur de la conception de programmes. Aux AINC, les recommandations de restructuration de la conception du PDÉC ont été approfondies, puis mises en œuvre dans le cadre d'un nouveau programme remanié qui est entré en vigueur le 1er avril 2005. La direction du programme de RNCan entreprendra bientôt une révision complète de ses orientations stratégiques et, entre-temps, elle a mis en train une série d'améliorations au programme R-2000 pour réduire les chevauchements avec d'autres programmes d'efficacité énergétique et améliorer les volets qui touchent les relations avec les consommateurs.

Le financement accru du CCHST, résultat d'une évaluation positive, a permis à cet organisme de se concentrer davantage sur des projets qui élargissent la gamme des services offerts, tout en renforçant le contenu de l'offre et de la prestation. On s'attend à ce que ses activités, au bout du compte, se traduisent par une amélioration globale de l'hygiène et de la sécurité au travail partout au Canada. Au MDN, des travaux sont en cours à tous les échelons du ministère pour améliorer l'infrastructure et les politiques qui doivent garantir la disponibilité et le maintien des troupes. Divers composants du programme des Chaires de recherche du Canada (CRSH), du Programme canadien sur les crimes de guerre (CIC), de la stratégie Web de la Commission de la Capitale nationale (CCN), du programme ResCol (Industrie Canada) et de l'initiative de la Prestation nationale pour enfants (DSC) ont fait (ou font) l'objet d'une réingénierie ou d'une restructuration.

Dans d'autres ministères, les évaluations ont fait ressortir que la conception du programme était adéquate, mais que son exécution pouvait faire l'objet d'améliorations. Des mesures ont été prises en ce sens au sein de RHDCC, partout où l'évaluation des PEMS/EDMT dans les juridictions provinciales a fait ressortir la nécessité d'améliorer les relations de partenariat avec les provinces ou les territoires et de favoriser un meilleur accès au programme pour des groupes marginalisés de Canadiens. Les gestionnaires de programmes de Transport Canada travaillent à la mise sur pied d'initiatives technologiques à bord des traversiers, afin de réduire la consommation de mazout et d'atténuer les émissions de gaz à effet de serre. Enfin, à l'APECA, on restructure les processus de révision et d'approbation du programme, de même que les communications avec les intervenants.

4.5 Reddition de comptes et relations hiérarchiques
Plusieurs ministères se sont appuyés sur les recommandations des évaluations pour renforcer leurs mécanismes de reddition de comptes et leurs relations hiérarchiques. Par exemple, l'organisation du Programme de développement économique des collectivités (AINC) a été complètement révisé, suivant les recommandations de l'évaluation, pour faire en sorte que le projet et ses agents de prestation des services soient en mesure de rendre des comptes sur l'allocation des fonds. La distribution des rôles entre le ministère et ses agents de prestation de services a été précisée et diverses améliorations ont été apportées pour accroître la cohérence de la reddition de comptes par les agents et la transparence des résultats. À la CCN, l'évaluation a permis de clarifier les rôles et responsabilités de deux services distincts qui doivent rendre des comptes à propos de l'évolution des sites Web. Au MPO, on a apporté des améliorations à la structure des relations hiérarchiques de la RLE pour renforcer l'efficacité de la structure de gestion de l'installation. L'évaluation effectuée par TPSGC a fait ressortir une nouvelle exigence sur le plan du réapprovisionnement, obligeant les fournisseurs à fournir des rapports financiers plus détaillés. Dans le cas de l'initiative de la Prestation nationale pour enfants (DSC), l'évaluation a permis de mieux comprendre la complexité d'un réaménagement de l'imputabilité avec les provinces et territoire, permettant ainsi une meilleure compréhension entre les parties.

Plusieurs programmes, dont le Programme national d'approvisionnement en eau (PNAE) d'AAC, le programme des Chaires de recherche du Canada (CRSH), le Fonds d'innovation de l'Atlantique (APECA) et le Programme de développement économique des collectivités (AINC), élaborent des stratégies de gestion du rendement et d'amélioration des approches pour la collecte des données. On s'attend à ce que ces démarches contribuent de façon appréciable à faire la démonstration des résultats obtenus par le biais de ces programmes. Dans le cas des PEMS/EDMT, à RHDCC, on se préoccupe constamment des renseignements sur l'intégrité des données et sur la structure hiérarchique de la gestion, car les données doivent être partagées à partir d'écrans de saisies de données des systèmes des provinces et des territoires, qui ne sont pas tous compatibles avec le système du ministère. RHDCC travaille de concert avec ses partenaires des provinces et des territoires pour surmonter ce problème.

4.6 Autres répercussions et avantages
Les études d'évaluation ont souvent eu des répercussions qui débordaient les objectifs initiaux établis dans leur mandat. Ces répercussions et avantages varient grandement selon les études, mais il convient de les signaler.

Permettre une meilleure connaissance des programmes, à l'interne comme à l'extérieur. Plusieurs évaluations ont eu pour effet de rehausser la cote du programme sous étude, tant au sein du ministère qu'auprès des intervenants de l'extérieur. Pour certains programmes, comme le Programme de l'aménagement hydraulique rural d'AAC et le Programme de développement économique des collectivités des AINC, le caractère positif de l'évaluation a aidé à dissiper les malentendus et à favoriser un plus grande participation au programme au sein du ministère. D'autres évaluations, comme celles du programme des Chaires de recherche du Canada du CRSH et du Programme canadien sur les crimes de guerre de CIC, ont librement circulé entre les mains des intervenants, et cela a eu pour résultat de mettre ces programmes de l'avant et de faire la preuve de leurs réalisations.
Établir des points de repère pour mesurer l'exécution des programmes. Les résultats de plusieurs évaluations ont été repris par d'autres juridictions comme exemples de « pratiques exemplaires ». Par exemple, les recommandations émises à la suite de l'évaluation du programme ResCol d'Industrie Canada ont été perçues comme des pratiques exemplaires pouvant s'appliquer à plusieurs autres programmes. L'évaluation du Programme canadien sur les crimes de guerre (CIC) a rehaussé l'image du Canada sur le plan international et d'autres pays nous considèrent maintenant comme les chefs de file dans ce domaine. L'évaluation de l'initiative des Autres formes de prestation a permis de rassurer TPSGC relativement à l'impartition des services gouvernementaux, alors qu'on ne disposait que de peu de données sur la réussite de ce type de programmes.
Améliorer les relations avec les intervenants clés. Certaines études d'évaluation ont eu d'importantes répercussions sur les relations entre certaines instances administratives et les intervenants clés des programmes ministériels. Par exemple, l'approche participative retenue aux AINC, qui s'est traduite par la création d'un comité directeur de 17 personnes dont les membres étaient essentiellement issus des communautés autochtones, a entraîné une meilleure synergie avec ces intervenants et elle a accru leur confiance face au ministère. Le simple fait que RNCan commande et entreprenne son étude d'évaluation a été interprété par les intervenants du programme comme un signe du sérieux du ministère dans son intention de résoudre les problèmes. Dans le cas de l'évaluation effectuée au CCHST, les résultats positifs ont entraîné un accroissement du financement accordé par le Conseil du Trésor, ce qui a permis à cet organisme de s'assurer de la poursuite de la participation des intervenants.
Obtenir des renseignements et de la rétroaction relativement aux besoins des intervenants. Grâce à la cueillette exhaustive de données effectuée dans le cadre de beaucoup de ces études d'évaluation, les directions de programme, particulièrement dans le cas des programmes et opérations des AINC, du CCHST et de la CCN, disposent maintenant d'une mine de renseignements provenant des intervenants et de la clientèle. Pour les ministères, ceci facilite le regroupement d'éléments d'information objectifs et empiriques à propos des préférences des intervenants et l'établissement de programmes et de services qui correspondent aux attentes et aux besoins exprimés par la clientèle, plutôt qu'à la perception subjective que peuvent en avoir les gestionnaires.
Témoigner de l'intégrité des employés de l'État. L'évaluation menée par Transport Canada a donné lieu à une recommandation très bien étayée sur le plan des faits, mais délicate sur le plan politique. Néanmoins, le personnel du Programme des services de traversier a soumis cette recommandation à la haute direction. Cette situation venait confirmer que le rôle des gestionnaires de programme consistait à statuer de façon impartiale sur l'atteinte des objectifs de leur programme, qu'il s'agisse d'une réussite ou d'un échec, sans égard à la controverse que leurs recommandations peuvent susciter sur la place publique.
Confirmer l'ajout de valeur généré par la fonction d'évaluation. Après avoir participé au processus d'évaluation, de nombreux membres du personnel ont affirmé qu'ils comprenaient mieux la valeur qu'une étude indépendante et objective pouvait avoir pour leur programme. À Transport Canada, le personnel du Programme des services de traversiers se préoccupe maintenant davantage de sa responsabilité de diligence raisonnable et du développement d'outils de surveillance et de collecte de données. À l'APECA, on a aussi reconnu que la participation à l'évaluation de certains types de projets pouvait être profitable. L'évaluation effectuée par DSC a soulevé d'importantes questions sur lesquelles le personnel devra se pencher et elle a fourni des renseignements qui alimenteront l'établissement et le développement du plan d'action contre la pauvreté des enfants.
Attester la faisabilité d'évaluations menées conjointement par le fédéral et les administrations provinciales et territoriales. Les évaluations effectuées par DSC et RHDCC sont des exemples concrets de la faisabilité d'évaluations menées conjointement par le fédéral et les administrations provinciales et territoriales et elles font la preuve que celles-ci peuvent convenir aux différents paliers de gouvernement. Elles constituent des modèles d'approche productive pour de futures évaluations d'envergure nécessitant la participation de multiples juridictions.
Fournir des méthodes de transfert de savoir. Certaines évaluations se prêtaient bien à des transferts de connaissances entre l'équipe d'évaluation et le personnel responsable du programme. Par exemple, à l'APECA, le personnel du FIA s'est approprié le CGRR et il l'a modifié pour l'adapter aux spécificités de son propre programme. Au CCHST, les gestionnaires, grâce à leur collaboration active avec les experts-conseils chargés de l'évaluation, disposent maintenant des connaissances de base et la méthodologie qui leur permettra de mener leurs propres enquêtes auprès de la clientèle. Ils ont d'ailleurs commencé à le faire pour regrouper des renseignements et des données.
Améliorer le moral et la motivation du personnel. En confirmant la réussite du programme, de l'opération ou de l'initiative sous étude, certaines évaluations sont devenues un facteur important de stimulation de la motivation du personnel et des gestionnaires de ces programmes. Ce fut notamment le cas pour le programme ResCol d'Industrie Canada, où l'évaluation positive a constitué une reconnaissance du projet qui a accru le niveau de confiance du personnel. Les employés du CCHST ont perçu l'évaluation positive du centre comme une reconnaissance de l'utilité et de l'efficacité de leur travail pour améliorer la sécurité dans les milieux de travail du Canada. Après plusieurs années successives de compressions budgétaires, la confirmation qu'un financement supplémentaire était nécessaire venait aussi fortement remonter leur moral.
Améliorer les relations de travail à l'interne. Dans certains ministères, le caractère collaboratif des travaux d'évaluation, nécessitant la création de comités de supervision ou d'équipes de travail, a favorisé la cohésion entre des directions ou des groupes auparavant isolés.

4.7 Conclusion
Dans l'ensemble, il a été démontré que ces quinze études d'évaluation avaient constitué un outil efficace pour une vaste gamme d'utilisateurs, notamment pour la direction du projet, la haute direction ministérielle, les organismes centraux, les ministres et les intervenants des programmes.

À plusieurs échelons des ministères et des organismes, les rapports d'évaluation ont surtout servi à éclairer des décisions relatives à la gestion des dépenses et à l'affectation des ressources. Pour les gestionnaires de programme, les évaluations ont servi à appuyer la gestion courante des ressources et à mieux cerner les occasions de réduire les coûts. Pour la haute direction ministérielle, elles ont été utiles pour harmoniser l'affectation des ressources et pour déterminer s'il y avait lieu de reconduire les programmes. Au niveau des organismes centraux, des ministres et des membres du Parlement, les évaluations ont constitué un outil crucial en regard des décisions relatives au financement des programmes. Et dans au moins deux cas, les résultats de l'évaluation ont servi à étayer les travaux du Comité d'examen des dépenses.

Les gestionnaires de programme se sont largement servi des résultats de l'évaluation pour appuyer la gestion courante du programme et des opérations, identifier les volets pour lesquels des améliorations étaient requises, tant aux niveaux de la conception et de l'exécution du programme qu'à celui de l'établissement des relations hiérarchiques. Il a été démontré qu'il s'agissait d'un outils constructifs qui fournissent aux gestionnaires les justifications impartiales et factuelles dont ils ont besoin pour requérir l'apport de modifications à leur programme ou opération. Par ailleurs, les études d'évaluation ont aussi contribué à améliorer le moral et la motivation du personnel responsable de l'exécution du programme et elles ont permis des transferts de savoir entre les équipes d'évaluation et l'effectif du projet, favorisant ainsi une meilleure gestion du projet.

Les évaluations ont aussi fourni à la haute direction un contexte mieux défini pour prendre des décisions relatives à l'établissement d'orientations politiques visant les programmes et leur fonctionnement. Elles ont mis en relief les questions clés dont la haute direction doit tenir compte pour déterminer les orientations politiques futures des programmes soumis à l'évaluation.

Dans le contexte plus large qui regroupe les intervenants externes, les évaluations ont permis de mieux faire connaître et comprendre les programmes aux clients, aux fournisseurs tiers et aux membres du Parlement. Dans de nombreux cas, elles ont fait la preuve pour ces intervenants que les programmes donnaient les résultats escomptés et qu'ils constituaient des investissements judicieux. Au moins deux de ces études ont permis de rehausser l'image du Canada sur le plan international et sont devenues des exemples de réussite dans l'exécution de programmes.

Enfin, la valeur ajoutée par ces évaluations permet d'accroître l'utilité de la fonction d'évaluation et témoigne du fait que des évaluations planifiées et effectuées de façon adéquate peuvent avoir des répercussions qui vont bien au-delà de leur mandat initial et donner lieu dans une vaste gamme de secteurs à des améliorations qui, au bout du compte, profiteront non seulement au programme évalué, mais aussi au ministère qui en est responsable, au gouvernement du Canada et à l'ensemble des citoyens canadiens.

5. Facteurs d'efficacité des évaluations

Cette dernière section présente de façon sommaire les « pratiques exemplaires » qui se dégagent des quinze études que nous avons évaluées. Les équipes d'évaluation, tout comme le personnel responsable des projets, croient que ces aspects ont eu un impact certain sur la qualité et l'utilité des évaluations.

5.1 Appui de la haute direction
Le déroulement du processus d'évaluation et ses résultats sont largement tributaires de l'appui de la haute direction. Certaines situations, comme un blocage du processus, des carences sur le plan des relations avec la clientèle, une mésentente à propos des objectifs de l'évaluation, des résultats ou des recommandations, ou encore l'approbation de recommandations sujettes à la controverse, exigent une intervention de la haute direction.

5.2 Relations fondées sur la participation entre le personnel d'évaluation et le personnel du programme
L'engagement actif du personnel responsable dans le processus d'évaluation contribue non seulement à garantir un déroulement bien ciblé, sans heurts ni problèmes, mais aussi à produire des résultats pertinents, défendables et livrés en temps opportun. L'engagement de l'effectif du programme est essentiel pour favoriser l'acceptation des résultats et des recommandations et, au bout du compte, la mise en œuvre de ces dernières. Voici quelques-unes des pratiques exemplaires que nous avons relevées.

Participation des intervenants du programme. Participation des gestionnaires du programme à la planification de l'évaluation, notamment à la définition du mandat de l'étude, à la constitution de la liste des personnes à interroger et au choix des outils de collecte de données. Leur engagement peut prendre la forme d'une participation à une instance de gouvernance du processus (par exemple, un comité directeur) ou se traduire par des interactions et des communications soutenues avec l'équipe chargée de l'évaluation.
Entente sur le mandat et les objectifs de l'étude d'évaluation. Une entente mutuelle entre l'équipe d'évaluation et le personnel du projet, incluant les paramètres d'évaluation de la réussite, réduit les risques de rater la cible de l'évaluation et permet d'éviter les surprises de dernière minute. Par exemple, en se référant à un mandat précis et en organisant des rencontres pour définir et documenter les attentes et les objectifs, on peut s'assurer que le travail de toutes les parties converge vers le même but.
Communications rapides et ouvertes tout au long du processus. Parmi les méthodes utilisées, notons l'organisation de présentations périodiques dans tous les volets du programme, la constitution de comités directeurs ou de groupes de clients, le maintien de l'ouverture du processus tout au long de l'évaluation et des consultations internes visant à s'assurer que l'évaluation répond aux préoccupations des gestionnaires.
Engagement des gestionnaires de programme dans la présentation de la réponse de la direction. Les processus d'évaluation jugés efficaces faisaient appel au concours des gestionnaires de programme pour l'élaboration et la présentation de la réponse de la direction et de son plan d'action au comité ministériel supérieur chargé d'approuver l'évaluation. Les gestionnaires de programme ont ainsi pu s'intégrer au processus et s'approprier le plan d'action. Grâce à cette façon de faire, on s'assure aussi d'obtenir en temps opportun la réaction de direction du programme à propos de l'étude d'évaluation.

5.3 Qualification du personnel d'évaluation (externe et interne)
Le professionnalisme et l'expérience du personnel d'évaluation, qu'il s'agisse d'employés du ministère ou de consultants de l'extérieur, sont des éléments cruciaux pour la réussite et l'utilité des études d'évaluation. Voici quelques-unes des compétences et habiletés particulières que les évaluateurs (du ministère ou de l'extérieur) considèrent comme les plus importantes.

Connaissance et compréhension approfondies de la fonction d'évaluation;
Bonne compréhension et connaissance du contexte du programme ou de l'organisation, des pressions qui s'exercent et de l'environnement extérieur dans lequel les opérations ont lieu;
Expériences antérieures d'évaluations ou de programmes similaires;
Bonne compréhension des objectifs de l'évaluation;
Qualifications pertinentes sur le plan de l'évaluation, notamment en matière d'élaboration d'un cadre d'évaluation et de méthodologie de cueillette des données, et des habiletés reconnues en gestion de projets;
Compétences techniques appropriées (particulièrement pour mener des enquêtes)
Processus contractuel précis et rigoureux, dans le cas d'un expert-conseil de l'extérieur.

5.4 Méthodologie de cueillette exhaustive des données sur le rendement
Toutes les évaluations se sont appuyées de multiples sources d'information pour colliger les données relatives au programme ou service sous étude. On croyait en effet que cette dimension était de la plus haute importance pour permettre une étude fiable et objective des programmes. Minimalement, les études comprenaient toujours des données provenant d'une revue de la documentation et d'interviews. D'autres méthodes ont aussi été mises en œuvres dans certaines études, notamment, des études de cas, l'examen des bases de données du programme et la constitution de groupes de discussion. Voici quelques-unes des pratiques exemplaires qui ont été mentionnées.

Représentativité des répondants. Pour obtenir une rétroaction complète sur les forces et les faiblesses d'un programme (par le biais d'interviews, d'enquêtes ou de groupe de discussion), il est essentiel de constituer un échantillon représentatif de la clientèle et des intervenants du programme. L'échantillon des répondants doit comprendre tout autant des supporteurs que des détracteurs du programme, de même que des intervenants par nature impartiaux. Il doit aussi inclure des personnes qui se sont prévalues des services du programme, qui ont tenté de le faire, mais qui ont essuyé un refus, et d'autres qui n'ont jamais fait appel au programme. De façon générale, pour établir la liste des répondants, les évaluateurs ont demandé le concours de la haute direction ministérielle, de la direction du programme et d'autres intervenants de l'extérieur.
Intégrité des données. Pour être en mesure de corroborer les constatations de l'étude d'évaluation, il est essentiel de disposer de données cohérentes et fiables sur l'exécution et les résultats du programme. En outre, aux fins d'évaluations ultérieures du projet, il est très important d'adopter une stratégie de cueillette continue de l'information qui tient compte de l'intégrité, de l'exhaustivité et de la propriété des données.
Processus d'évaluation par les pairs. Dans certaines études, on a eu recours à un processus de supervision par des pairs, collègues évaluateurs à l'interne ou spécialistes techniques de l'extérieur, afin de stimuler ou modifier la démarche et la méthodologie d'évaluation, de revoir l'adéquation de certains résultats, de désamorcer des situations de conflit ou encore de promouvoir le consensus au sein des organismes directeurs.

5.5 Impartialité et objectivité sur le plan des constatations et des recommandations découlant de l'évaluation
On considère que la majorité des évaluations étaient tout à fait objectives et que les conclusions et recommandations qui en découlaient étaient impartiales et fondées sur des faits. Le caractère d'indépendance de ces évaluations a contribué à leur crédibilité, de même qu'à l'acceptation des recommandations. Voici quelques pratiques exemplaires considérées comme des facteurs favorisant un degré élevé d'indépendance et d'objectivité dans le cadre des évaluations.

Évaluation menée par une unité d'évaluation distincte de la direction du programme sous étude;
Embauche d'évaluateurs externes sous contrat, à la suite d'un processus de soumissions en régime de concurrence assorti de critères de sélection rigoureux;
Comité de supervision (comité directeur, comité de gestion ou comité consultatif) regroupant des représentants de l'ensemble des intervenants, internes et externes;
Méthodologie de cueillette exhaustive des données, à partir de multiples sources de données;
Présentation de résultats fondés sur les faits, pouvant dans certains cas ne pas être favorables au programme, s'avérer délicats sur le plan politique ou être sujets à la controverse;
Approbation finale de l'évaluation relevant d'un comité ministériel supérieur d'évaluation ou du comité officiel de vérification et d'évaluation.

Dans les cas où, malgré une approche cohérente pour la collecte des données, il subsiste un doute sur l'objectivité de l'enquête ou des résultats (par exemple, lorsqu'il y a eu grand nombre de répondants, mais que ceux-ci appartiennent tous à la même industrie, au même syndicat ou à une même association, et que l'on craint que cela ait une influence sur les résultats), le rapport d'évaluation doit faire mention de ce risque et proposer des mesures pour rétablir l'impartialité de l'évaluation par l'ajout de données supplémentaires.

5.6 Recommandations précises et équilibrées
Les évaluations qui ont le plus efficacement contribué à éclairer les prises de décision se caractérisaient généralement par la clarté et l'utilité de leurs recommandations. Au sein des programmes, on dit que les recommandations concrètes et non normatives qui reconnaissent les objectifs généraux du programme sont celles qui sont les mieux acceptées et les plus susceptibles d'être mises en œuvre. Dans une étude en particulier, l'équipe d'évaluation dit avoir délibérément choisi de ne présenter qu'un nombre limité de recommandations ciblées et directement liées aux conclusions de l'évaluation, plutôt que de produire une longue liste d'améliorations souhaitables. Les rapports d'évaluation qui présentaient aussi des options de mise en œuvre de leurs recommandations ont été bien perçus au sein des programmes.

5.7 Engagement et participation des intervenants
La participation des intervenants clés au processus d'évaluation, incluant les clients, les organismes centraux, les agents de la prestation des services, les académies et les homologues provinciaux, est un facteur qui stimule leur engagement et leur collaboration. Voici quelques pratiques exemplaires qui vont dans ce sens.

Inviter les intervenants clés à se joindre au comité directeur ou au comité consultatif chargé de la planification et de la supervision de l'évaluation, de même que des décisions à prendre relativement à l'avenir du programme;
Consulter les intervenants pendant la phase de collecte des données, tant pour obtenir une rétroaction équilibrée que pour susciter leur participation et leur intérêt pour les résultats de l'évaluation;
Mettre le plus tôt possible les résultats de l'évaluation à la disposition des intervenants, de façon à pouvoir identifier et résoudre toute question portant à controverse, en s'appuyant sur des constations valides et fondées les faits.

5.8 Conclusion
Les pratiques exemplaires dégagées dans le cadre de la présente étude démontrent que l'efficacité des évaluations repose sur un amalgame de facteurs, dont un appui concret de la haute direction, la qualification du personnel d'évaluation, la robustesse des méthodologies utilisées, l'indépendance et l'objectivité de l'approche, l'engagement actif des intervenants clés du ministère et de ceux de l'extérieur et la production d'un rapport équilibré. S'ils sont tous présents, ces facteurs permettent de constituer un cadre d'évaluation robuste garantissant des résultats pertinents et crédibles qui (et c'est là l'aspect le plus important) pourront effectivement appuyer le processus de prise de décisions.