Nous procédons actuellement au transfert de nos services et de nos renseignements sur le Web vers Canada.ca.

Le site Web du Secrétariat du Conseil du Trésor du Canada restera accessible jusqu’à  ce que le transfert soit terminé.

La fonction d'évaluation au gouvernement du Canada

Informations archivées

Les informations archivées sont fournies aux fins de référence, de recherche ou de tenue de documents. Elles ne sont pas assujetties aux normes Web du gouvernement du Canada et n’ont pas été modifiées ou mises à  jour depuis leur archivage. Pour obtenir ces informations dans un autre format, veuillez communiquez avec nous.


Centre d'excellence en évaluation
Secrétariat du Conseil du Trésor du Canada

Version du 6 juillet 2004

TABLE DES MATIÈRES

1. Historique de l'évaluation au gouvernement du Canada

2. Aperçu des pratiques axées sur les résultats à l'appui de l'évaluation
2.1 Cadre de responsabilisation de gestion (CRG)
2.2 Rapports au Parlement et Architecture d'activité de programmes (AAP)
2.3 Processus d'examen des dépenses

3. La fonction d'évaluation au gouvernement du Canada
3.1 Aperçu de la politique d'évaluation
3.2 Structure de la fonction d'évaluation au gouvernement du Canada
3.3 Le milieu de l'évaluation au gouvernement du Canada

4. Processus d'évaluation
4.1 Comité ministériel de vérification et d'évaluation
4.2 Plans d'évaluation ministériels
4.3 Cadres de gestion et de responsabilisation axés sur les résultats (CGRR)
4.4 Types d'évaluation
4.5 Méthodes d'évaluation

5. Normes et critères d'évaluation

6. Utilisation des résultats de l'évaluation

7. Conclusions et défis futurs

ANNEXE1 - Critères d'évaluation du Cadre de gestion et de responsabilisation axé sur les résultats (CGRR)

ANNEXE2 - Normes d'évaluation au gouvernement du Canada

ANNEXE3 - Principaux éléments d'un rapport d'évaluation et critères d'évaluation


1. Historique de l'évaluation au gouvernement du Canada

L'évaluation a été instaurée pour la première fois au gouvernement fédéral à la fin des années 70 pour aider à améliorer les pratiques et les contrôles de gestion. La circulaire du Conseil du Trésor intitulée « Évaluation des programmes effectuée par les ministères et organismes » (1977-47) reconnaissait que l'évaluation des programmes faisait partie intégrante des responsabilités de gestion. Des unités d'évaluation devaient être constituées et relever directement des administrateurs généraux; en outre, les évaluations de programme devaient être effectuées selon un cycle de trois à cinq ans. Les administrateurs généraux devaient utiliser les résultats et les recommandations de l'évaluation pour prendre des décisions de gestion plus éclairées, faire preuve de responsabilité et fournir des conseils de qualité aux ministres.

En 1977, la Loi sur le vérificateur général a été modifiée de façon à permettre au vérificateur général d'examiner les activités gouvernementales du point de vue de l'économie et de l'efficacité et d'en faire rapport au Parlement. La Loi permettait au vérificateur général de signaler les situations où il a constaté que « des procédures satisfaisantes n'ont pas été établies pour mesurer et faire rapport sur l'efficacité des programmes dans les cas où elles peuvent convenablement et raisonnablement être mises en oeuvre »; cependant, ceci ne permet pas au vérificateur général de mesurer l'efficacité des programmes proprement dits.

Les progrès réalisés dans la mise en œuvre de la politique d'évaluation étaient cahoteux. Le terme « programme » n'était pas bien défini. Les ministres se tenaient en grande partie à l'écart du processus, considérant les activités d'évaluation et d'examen comme faisant partie du processus bureaucratique interne. Dans certains ministères et organismes, les unités d'évaluation languissaient parce qu'elles ne recevaient aucune directive ou ne suscitaient pas l'intérêt.

Au milieu des années 80, le Bureau du contrôleur général (BCG) reconnut que des évaluations quinquennales représentaient un défi pour les ministères. Par conséquent, la politique d'évaluation perdit une grande partie de sa rigidité.

En 1994, le paysage de l'évaluation s'était modifié considérablement, par suite de l'instauration de la Politique d'examen - fonction hybride qui combinait la vérification interne et l'évaluation. La politique devait s'inscrire à l'appui des principes de gestion axés sur les résultats en insistant sur les responsabilités des cadres d'exécution, auxquels il incombait d'exposer l'information sur le rendement et d'agir en conséquence. Malheureusement, la Politique d'examen n'eut pas l'effet escompté. Une « Étude de la fonction d'évaluation », réalisée en 2000, réexaminait la Politique d'examen dans le contexte nouveau de la gestion moderne. Les auteurs de l'étude sont arrivés à la conclusion que pour appuyer efficacement de bonnes pratiques de gestion, les fonctions de vérification interne et d'évaluation devaient être distinctes et exécutées séparément. Ils ont également reconnu le recours accru à la fonction d'évaluation en termes d'appui à la direction dans l'élaboration de cadres d'évaluation et de mesures du rendement.

En février 2001, le Conseil du Trésor a approuvé la « Politique et normes d'évaluation pour le gouvernement du Canada ». La nouvelle politique sépare les fonctions d'évaluation et de vérification interne, tout en élargissant la portée de l'évaluation afin d'y englober les programmes, les politiques et les initiatives. Elle lie les activités d'évaluation aux activités de gestion axées sur les résultats et établit les normes qui incorporent la discipline d'évaluation dans la pratique de gestion.

L'évaluation a toujours été un pilier du Bureau du contrôleur général (BCG). En 1978, lors de la constitution du BCG, l'une de ses premières tâches fut de terminer l'activité d'amélioration de la gestion et de la responsabilisation (IMPAC). Des équipes d'« évaluateurs » examinaient en détail les pratiques de gestion des ministères et faisaient des suggestions utiles tout en soulignant les problèmes de gestion et de responsabilisation qui autrement seraient passés inaperçus. Les rapports des équipes IMPAC furent le fondement des programmes d'action négociés avec les sous-ministres (SM), et ils finirent par recevoir leur appui dans les ministères.

L'importance de la fonction d'évaluation (pour le BCG et les ministères) fut rétablie en 1983 lorsque Harry Rogers, contrôleur général de l'époque, élargit le rôle des agents principaux des finances des ministères. M. Rogers recommandait que le poste de contrôleur soit créé dans les ministères et comporte la responsabilité pour le processus de planification et la coordination de l'information de gestion, en sus des fonctions habituelles de comptabilité et de régularité. M. Rogers proposait également d'instituer une « fonction de remise en question » par laquelle les agents des finances soumettraient une proposition ministérielle à un examen et à une analyse indépendants et impartiaux avant l'approbation externe. Des variantes de cette proposition de fonction de contrôleur prirent racine. Certains ministères constituèrent de petits bureaux de planification et de contrôle opérationnels distincts de la fonction des finances. D'autres créèrent des bureaux d'évaluation des programmes au sein de leur direction de la politique, tandis que d'autres encore établirent une unité mixte de vérification et d'évaluation ministérielle qui relevait du SM, du SM délégué ou d'un SMA - gestion ministérielle.

De nos jours, le rôle et l'importance de la fonction de contrôleur et des contrôleurs ministériels et, en fin de compte, des activités d'évaluation sont revenus à l'ordre du jour. Le BCG, de même que les contrôleurs ministériels, joueront un rôle central dans l'examen des dépenses et de l'affection des ressources fondé sur le rendement établi et l'information factuelle (c.-à-d. les résultats des études d'évaluation). Cette évolution, combinée avec l'instauration du Cadre de responsabilisation de gestion (CRG), a pour résultat d'accroître l'insistance sur la pertinence, le rapport coût-efficacité et la responsabilité de gestion des programmes et des politiques. Les discussions portant sur chacun de ces éléments dépendront des résultats d'études d'évaluation solides, opportunes et stratégiques. Comme c'était le cas au départ, l'évaluation demeure un pilier du Bureau du contrôleur général, qui fait désormais partie du Secrétariat du Conseil du Trésor (SCT).

Le nouveau programme du gouvernement renforce encore l'importance de l'évaluation dans le cadre des pratiques de gestion du gouvernement. L'évaluation aide les ministères à satisfaire aux exigences en matière de planification, de contrôle et de supervision des dépenses et peut aider à évaluer les propositions de politique aux fins de la diligence raisonnable et de l'optimisation des ressources. On ne peut parler des résultats sans également parler d'évaluation.

La contribution d'une fonction d'évaluation forte est claire.

  • D'importantes pratiques de gestion du gouvernement telles que la gérance, le Cadre de responsabilisation de gestion (CRG) et, plus récemment, l'examen des dépenses permanent ont besoin d'une fonction d'évaluation rigoureuse.
  • Les résultats de l'évaluation fournissent une preuve factuelle qui peut aider les comités exécutifs et les organismes centraux à établir les priorités et à réaffecter les ressources.
  • Utilisées de façon stratégique, de bonnes évaluations peuvent offrir l'information et les renseignements détaillés nécessaires pour aider à l'amélioration des pratiques de gestion et à l'atteinte des résultats.
  • Il n'existe aucune autre discipline au gouvernement qui fournit, en un seul endroit, une capacité d'analyse et de conseil tant pour ce qui est des résultats que de la responsabilisation.

2. Aperçu des pratiques axées sur les résultats à l'appui de l'évaluation

Pour comprendre le rôle de la fonction d'évaluation au Canada, il est important de le situer par rapport à l'approche d'ensemble du gouvernement en matière de la gestion axée sur les résultats. À cette fin, trois activités cruciales sont actuellement en cours : le Cadre de responsabilisation de gestion (CRG); l'amélioration de la présentation de rapports au Parlement; et le processus d'examen des dépenses récemment instauré.

2.1 Cadre de responsabilisation de gestion (CRG)

En juin 2003, le Secrétariat du Conseil du Trésor (SCT) a publié le Cadre de responsabilisation de gestion (CRG)[1]. Le CRG doit rassembler les initiatives d'amélioration de la gestion du SCT dans un cadre cohérent et traduire la vision de la gestion dans la fonction publique en un ensemble rationnel et solide d'attentes en la matière.

Dans le cadre de la mise en œuvre du CRG, les ministères doivent examiner et améliorer les secteurs suivants et en faire rapport : gouvernance et orientation stratégique; valeurs de la fonction publique; politiques et programmes; personnes; services axés sur le citoyen; gestion du risque; gérance; responsabilisation, résultats et rendement; apprentissage, innovation et gestion du changement.

Le cadre constitue une base de l'engagement avec les ministères et propose des façons dont ceux-ci peuvent progresser et mesurer le progrès accompli. Pour la première fois, le SCT sera en mesure de collaborer avec les ministères et organismes dans le cadre d'un modèle explicite et cohérent pour la réalisation d'un rendement organisationnel élevé.

La simplicité est une des caractéristiques cruciales du cadre. Il comporte dix éléments fondamentaux de saine gestion, suivis d'une série d'indicateurs et de mesures connexes. Il reconnaît que le rôle des fonctionnaires consiste à traduire l'orientation donnée par le gouvernement en résultats pour les citoyens. Ceci constitue le pivot du cadre. Toutes les décisions gouvernementales doivent être encadrées par des valeurs de la fonction publique constantes et la capacité de croître, d'apprendre et d'innover. L'excellence commence par des cadres de gestion efficaces et de l'information utile sur le rendement. Le Cadre de responsabilisation de gestion a vocation de renforcer la responsabilisation pour la gestion efficace des organisations, le service aux ministres et au gouvernement et la réalisation de résultats pour les Canadiens.

Le cadre est un outil de promotion d'une fonction publique moderne dans laquelle :

  • les services sont axés sur les citoyens;
  • les valeurs de la fonction publique (c.-à-d. les valeurs démocratiques, professionnelles, éthiques et humaines) sont clairement articulées et appliquées continuellement;
  • les ministres reçoivent un soutien efficace, et l'orientation stratégique est traduite en résultats grâce à un rendement organisationnel élevé;
  • la prise de décisions est transparente et responsable;
  • les employés sont prisés et les capacités humaines et intellectuelles sont perfectionnées;
  • les dépenses sont responsables, assorties d'une saine gérance des ressources des contribuables;
  • les risques sont reconnus et gérés au niveau de l'organisation;
  • le rendement de l'organisation s'améliore constamment grâce à l'innovation, à la transformation et à l'apprentissage.

L'évaluation comporte un certain nombre d'implications. En premier lieu, le CRG s'inscrit à l'appui d'une fonction d'évaluation forte en imposant aux administrateurs généraux de mettre en place des plans d'évaluation fondés sur le risque et un système d'évaluation solide qui étaye la gérance et l'atteinte du rendement et des résultats. En retour, l'évaluation s'inscrit à l'appui du CRG en fournissant de l'information permettant de mesurer les réalisations par rapport aux dix attentes. Enfin, les unités d'évaluation dans les ministères et organismes seront appelées à appuyer la capacité des chefs des ministères à suivre la mise en œuvre et l'utilisation du CRG.

2.2 Rapports au Parlement et Architecture d'activité de programmes (AAP)

Les rapports sur les résultats sont présentés au Parlement au début de l'année au moyen des Rapports sur les plans et priorités des ministères et organismes (qui établissent des objectifs pour l'année suivante) et des Rapports ministériels sur le rendement qui signalent la réalisation des résultats. Suite aux annonces faites par le Premier ministre le 12 décembre 2003, le Secrétariat du Conseil du Trésor a demandé à tous les ministères, organismes et sociétés d'État compétentes d'élaborer des Architectures d'activité de programmes (AAP) pour leurs organismes. Les AAP serviront de fondement aux rapports au Parlement et auront pour objet de renforcer la présentation de rapports sur les résultats. Lorsqu'elles seront terminées, les Architectures d'activité de programmes comprendront :

  1. un ou des résultats stratégiques clairement définis et appropriés qui tiennent compte du mandat de l'organisation;
  2. un ensemble de programmes assortis de budgets complets, comportant des détails suffisants pour étayer la prise de décisions de la haute direction et des ministères, qui relie les activités des programmes au(x) résultat(s) qu'ils appuient;
  3. une stratégie de mesure du rendement qui permet d'établir des mesures pour chaque niveau de l'Architecture d'activité de programmes d'un ministère;
  4. une structure de gouvernance ou un cadre de gestion ministériels qui définissent la prise de décisions et la responsabilisation par résultat et par activité de programme.

Comme première étape de l'élaboration de l'AAP, les ministères doivent établir un inventaire suffisamment détaillé de leurs activités de programme pour que les ministères, les organismes centraux et le Parlement puissent prendre des décisions éclairées. Les ministères sont également tenus de valider leurs résultats stratégiques et d'aligner leurs activités de programme avec les résultats stratégiques auxquels ils contribuent le plus.

Au fur et à mesure que les AAP sont introduites dans l'ensemble du gouvernement, les ministères seront censés les utiliser comme fondement de leurs budgets et de leurs rapports au Parlement. Par ailleurs, les ministères devraient fonder leurs documents de planification interne et leurs rapports sur l'AAP. Ceci réduira les incohérences au minimum dans les rapports et placera les administrateurs généraux dans une meilleure position pour faire valoir de façon convainquante la pertinence des programmes ministériels pour les Canadiens.

Lorsque l'ébauche de l'AAP produite convient au ministère, au ministre responsable et au SCT, les ministères seront invités à affecter leurs ressources (financières et humaines) aux éléments de l'AAP, puis de fournir des informations sur le rendement et la gouvernance. Ceci permettra de relier l'information financière et non financière en fonction des résultats et constituera la base de la budgétisation axée sur les résultats.

Pour ce qui est des implications aux fins de l'évaluation, l'AAP utilise des méthodes d'évaluation. Essentiellement, l'AAP est un modèle logique pour tout un ministère. L'AAP traite le ministère comme s'il s'agissait d'un seul programme intégré dont tous les sous-programmes (unités administratives, secteurs de programme) ont des liens logiques avec ses résultats stratégiques et finaux. L'évaluation est également un outil essentiel pour évaluer l'intégrité de l'AAP d'un ministère, aider à élaborer les résultats et à les aligner avec chaque activité de programme, et évaluer l'atteinte des résultats stratégiques.

2.3 Processus d'examen des dépenses

Le 12 décembre 2003, le gouvernement du Canada a annoncé la création d'un nouveau comité du Cabinet appelé Comité d'examen des dépenses (CED)[2]. Ce Comité est chargé d'examiner toutes les dépenses du gouvernement fédéral. Il est présidé par le président du Conseil du Trésor et composé de ministres de premier plan. Son mandat consiste à faire en sorte que les dépenses du gouvernement sont maîtrisées, responsables, alignées étroitement avec les priorités des Canadiens et que chaque dollar d'impôt est investi soigneusement pour produire des résultats pour les Canadiens.

Le CED évaluera les programmes existants et les dépenses du gouvernement au moyen des sept « tests » ou critères suivants :

  • Intérêt public - Le secteur de programme ou l'activité continue-t-il à servir l'intérêt du public?
  • Rôle du gouvernement - Le gouvernement a-t-il un rôle légitime et nécessaire à jouer dans ce secteur de programme ou cette activité?
  • Fédéralisme - Le rôle actuel du gouvernement fédéral convient-il ou le programme devrait-il être réaligné avec les provinces?
  • Partenariat - Quelles activités ou quels programmes devraient ou pourraient être transférés, en tout ou en partie, au secteur privé ou au secteur bénévole?
  • Optimalisation des ressources - Les Canadiens obtiennent-ils toute la valeur de leurs impôts?
  • Efficacité - Si le programme ou l'activité continue, comment pourrait-on en améliorer l'efficacité?
  • Abordabilité - L'ensemble de programmes et d'activités qui en résulte est-il abordable? Dans la négative, quels programmes ou activités seraient abandonnés?

Dans le contexte de l'examen des dépenses, l'AAP fournit une base pour décrire la pertinence - en principe et dans les faits - de tout un ministère. Tout comme dans le cas d'un programme individuel, un modèle logique indique quels activités et résultats de programme « sont raisonnables », l'AAP montre pourquoi l'ensemble du portefeuille d'activités, de produits et de résultats ministériels est raisonnable. De même, tout comme chaque strate d'un modèle logique de programme fournit la base pour élaborer les indicateurs de rendement du programme, chaque strate de l'architecture du ministère dans l'AAP fournit la base pour l'élaboration de mesures du rendement de l'ensemble du ministère.

En outre, compte tenu des sept « tests » d'examen des dépenses, l'évaluation par le CED des programmes individuels exigera le niveau de détail fourni par l'évaluation des programmes. À cette fin, les ministères sont invités à faire en sorte que les évaluations portent sur les sept questions. En outre, le SCT prend des mesures pour résumer les résultats de l'évaluation à un niveau accessible pour l'examen par le CED.

3. La fonction d'évaluation au gouvernement du Canada

Cette partie présente un aperçu de l'approche actuelle de l'évaluation au gouvernement du Canada. Nous présentons la politique sur l'évaluation du Conseil du Trésor, la structure de la fonction d'évaluation et une description du milieu de l'évaluation.

3.1 Aperçu de la politique d'évaluation

La politique d'évaluation[3] est entrée en vigueur en avril 2001. La politique favorise la production de renseignements précis, objectifs et étayés de preuves pour aider les gestionnaires à prendre plus efficacement des décisions éclairées sur leurs politiques, programmes et initiatives afin de fournir des résultats aux Canadiens.

Selon la politique du gouvernement, les ministères et organismes doivent inclure l'évaluation dans leurs pratiques de gestion. La politique repose sur trois principes fondamentaux :

  • premièrement, la réalisation et le rapport exact des résultats est une responsabilité principale des gestionnaires de la fonction publique;
  • deuxièmement, l'évaluation rigoureuse et objective est un outil important qui aide les gestionnaires à gérer les résultats;
  • troisièmement, les ministères, avec l'appui du Secrétariat du Conseil du Trésor, doivent faire en sorte que la rigueur et la discipline de l'évaluation soient maintenues dans leurs champs de compétence.

La gestion axée sur les résultats est la responsabilité principale des gestionnaires de la fonction publique. Les gestionnaires de la fonction publique sont tenus de définir les résultats attendus, de fixer constamment leur attention sur l'atteinte de résultats, de mesurer le rendement régulièrement et objectivement et, finalement, d'apprendre et de s'adapter pour améliorer l'efficience et l'efficacité. Les gestionnaires doivent rendre des comptes à la haute direction, aux ministres, au Parlement, et aux Canadiens au sujet des résultats qu'ils obtiennent.

Comme d'autres outils de gestion, dont la vérification interne et la capacité de gestion des risques, l'évaluation aide les gestionnaires à fonctionner de façon efficace dans cet environnement. Elle aide les gestionnaires à suivre de près le rendement réel et en faire rapport, et permet aux décideurs d'évaluer objectivement les résultats des programmes ou des politiques. C'est ce qui fait la différence entre l'évaluation et la vérification interne - une fonction qui donne des assurances quant à la stratégie de gestion des risques d'un ministère ou d'un organisme et de son cadre de contrôle et d'information de gestion, tant sur le plan financier que non financier, pour la prise de décisions et l'établissement des rapports.

L'évaluation a deux objectifs principaux :

  • aider les gestionnaires à concevoir des politiques, des programmes et des initiatives ou aider les gestionnaires à les améliorer;
  • fournir périodiquement des évaluations de l'efficacité des programmes ou des politiques, des répercussions intentionnelles ou fortuites et des autres méthodes permettant d'obtenir les résultats attendus.

Les évaluateurs évoluent dans un environnement complexe qui englobe des partenariats avec d'autres organisations fédérales, d'autres paliers de gouvernement, le secteur privé et des entités sans but lucratif. En outre, quand les ministères délèguent l'exécution de programmes à d'autres instances, l'évaluation des politiques sous-jacentes prend plus d'importance. L'évaluation devrait contribuer à améliorer la politique aussi bien que la conception et l'administration des programmes.

Dans ce contexte, les ministères ont la responsabilité d'incorporer la discipline de l'évaluation dans la gestion du cycle de vie des politiques, des programmes et des initiatives pour :

  • dresser des cadres de gestion et de responsabilisation axés sur les résultats pour les politiques, initiatives et programmes nouveaux ou renouvelés;
  • établir des mesures de surveillance et de suivi continus du rendement;
  • concourir à l'élaboration, à la mise en œuvre et au suivi permanent de l'Architecture d'activité de programmes (AAP) des ministères;
  • fournir de l'information pour la présentation de rapports sur le Cadre de responsabilisation de gestion (CRG) ministériel;
  • évaluer la mise en œuvre et l'administration initiales des politiques, programmes ou initiatives, y compris ceux qui sont visés par des partenariats (évaluation formative ou évaluation à mi-mandat);
  • fournir au Comité d'examen des dépenses (CED) des renseignements utiles sur des questions touchant la pertinence, les résultats et la rentabilité.

3.2 Structure de la fonction d'évaluation au gouvernement du Canada

Le tableau 1 à la page suivante présente la structure de l'évaluation au gouvernement du Canada. Dans cette partie, nous décrivons les rôles et les responsabilités pour la prestation de services d'évaluation impliquant quatre participants clés : 1) le Secrétariat du Conseil du Trésor (SCT); 2) les administrateurs généraux de ministères et d'organismes; 3) les chefs de l'évaluation des ministères et organismes; et 4) les gestionnaires de programme individuels.

Le Secrétariat du Conseil du Trésor donne l'orientation générale de l'évaluation au sein du gouvernement du Canada et, à cette fin, il doit :

  1. assurer le leadership, l'orientation et le soutien nécessaires dans le contexte de l'évaluation;
  2. étayer l'utilisation par les ministres du Conseil du Trésor (CT) et du Comité d'examen des dépenses (CED) des résultats de l'évaluation pour la prise de décisions;
  3. favoriser la qualité de l'évaluation grâce à l'établissement de normes;
  4. renforcer la capacité des unités d'évaluation et les compétences des évaluateurs;
  5. surveiller les services d'évaluation et la qualité de ceux-ci;
  6. faciliter l'accessibilité et l'utilisation des résultats de l'évaluation.

La fonction d'evaluation au gouvernement Canada

Les administrateurs généraux des ministères et organismes doivent établir des services d'évaluation appropriés, adaptés aux besoins et aux ressources du ministère, pour évaluer les politiques, programmes et initiatives, y compris ceux de nature inter-organisationnelle. Pour ce faire, ils doivent :

  1. nommer un chef de l'évaluation supérieur chargé de réaliser des évaluations stratégiques et d'aider les gestionnaires à incorporer l'évaluation dans les pratiques de gestion du ministère;
  2. établir un comité d'évaluation et désigner un cadre supérieur du ministère pour le présider;
  3. veiller à ce que, en plus du régime de responsabilité propre au ministère, le Secrétariat du Conseil du Trésor ait accès aux plans d'évaluation et soit rapidement informé des constatations portant sur des préoccupations majeures à l'égard de la gestion ou de l'efficacité des politiques, programmes et initiatives.

Les chefs de l'évaluation des ministères et organismes doivent exercer le leadership et diriger la pratique de l'évaluation au ministère et, pour ce faire, ils doivent :

  1. veiller à ce que des plans d'évaluation stratégique, fondés sur une évaluation des risques, des priorités ministérielles et des priorités de l'administration publique, couvrent adéquatement les politiques, programmes et initiatives de l'organisation;
  2. collaborer avec les gestionnaires pour améliorer la conception, la réalisation et la mesure du rendement des politiques, programmes et initiatives de l'organisation;
  3. réaliser des évaluations des politiques, programmes et initiatives selon les plans établis;
  4. cerner toute constatation qui soulève des préoccupations notables à l'égard de la gestion ou de l'efficacité des politiques, programmes ou initiatives et en informer sans tarder la haute direction et les agents des services appropriés (p. ex., vérification interne);
  5. veiller à ce toutes les évaluations soient accompagnées d'un plan d'action de gestion et faire le suivi de l'application des recommandations de l'évaluation;
  6. rendre accessibles au Conseil du Trésor et au public les derniers rapports d'évaluation avec le moins de formalités possible et dans les deux langues officielles;
  7. mettre en application les normes d'évaluation du SCT.

Les gestionnaires des ministères doivent gérer les résultats et, pour ce faire, ils doivent :

  1. utiliser les services d'évaluation de l'organisation, au besoin, pour veiller à ce qu'ils (les gestionnaires) disposent de renseignements valables, objectifs et accessibles, fournis en temps opportun, pour appuyer la prise de décisions et l'amélioration du rendement;
  2. incorporer les constatations et les mesures d'amélioration de l'évaluation dans les processus d'établissement des priorités, de planification, d'élaboration de rapports et de prise de décisions.

3.3 Le milieu de l'évaluation au gouvernement du Canada

La politique d'évaluation s'applique à toutes les organisations considérées comme étant des ministères aux termes de l'article 2 de la Loi sur la gestion des finances publiques. Quatre-vingt-sept ministères et organismes correspondent à cette définition. Sur ceux-ci, 42 ministères signalent une fonction d'évaluation. Les 45 autres sont en règle générale de petits organismes n'ayant essentiellement aucune capacité d'évaluation interne permanente. Chaque année, quelque 250 évaluations sont produites en moyenne. De plus, quelque 200 CGRR sont élaborés. Parmi les autres activités que mènent les unités d'évaluation, signalons : les études de mesure du rendement; les examens; la formation à la gestion axée sur les résultats; les services-conseils aux programmes en matière de mesure du rendement et de stratégies d'évaluation; des conseils sur la conception des programmes; et l'élaboration de CGRR. Depuis mars 2003, 286 employés travaillent dans le domaine de l'évaluation au gouvernement.

4. Processus d'évaluation

Le processus d'évaluation se déroule à deux niveaux : le ministère ou organisme et le programme individuel. Dans cette section nous donnons un aperçu des exigences et mesures principales nécessaires à la conduite d'une évaluation au gouvernement du Canada.

4.1 Comité ministériel de vérification et d'évaluation

Au sein des ministères, le travail d'évaluation est coordonné par un Comité ministériel de vérification et d'évaluation. Ce comité est présidé par l'administrateur général ou son équivalent, et les sous-ministres adjoints chargés de l'exécution des programmes y participent. Des représentants du Bureau du vérificateur général (BVG) et du Secrétariat du Conseil du Trésor (SCT) y participent souvent en qualité d'observateurs.

Ces comités sont chargés d'examiner et d'approuver les plans d'évaluation ministériels et d'examiner et d'approuver les rapports de vérification et d'évaluation. Un certain nombre de ministères utilisent également ces comités pour coordonner leurs activités de présentation de rapports sur le rendement afin que la méthode d'élaboration et de mise en œuvre de stratégies ministérielles de mesure du rendement soit coordonnée et cohérente. Ceci comprend la coordination du travail d'évaluation dans le contexte plus vaste des activités internes de mesure du rendement, ainsi que la présentation de rapports au Parlement. Le Comité examine également les plans d'action de la direction élaborés en réaction aux évaluations, notamment le suivi de la mise en œuvre.

4.2 Plans d'évaluation ministériels

Les ministères doivent entreprendre un nombre équilibré de travaux d'évaluation et à cette fin, ils sont tenus d'élaborer un plan d'évaluation ministériel à orientation stratégique reposant sur l'évaluation des risques, les priorités du ministère et les priorités de l'ensemble du gouvernement. La détermination des risques fait partie intégrante du cadre intégré de gestion du risque global de l'organisation dont l'objet est de reconnaître, d'évaluer et de quantifier les risques en utilisant des critères objectifs tels que la santé et la sécurité, l'importance relative ou les liens avec les résultats stratégiques du ministère[4]. Les plans sont en règle générale tournés vers l'avenir, portent sur une période d'un à trois ans et comportent des estimations des coûts.

Les plans sont examinés par le SCT en fonction des critères suivants :

  • indication que les risques, les priorités du ministère et du gouvernement, l'importance relative et la signification des programmes, politiques ou initiatives ont été pris en ligne de compte lors de l'élaboration des plans et du choix des projets d'évaluation;
  • les exigences particulières pour l'évaluation des subventions et contributions (par exemple, des programmes exécutés par des tiers) ont été prises en ligne de compte;
  • les ressources nécessaires pour prendre des engagements à l'égard des plans ont été clairement déterminées et engagées pour la fonction d'évaluation.

4.3 Cadres de gestion et de responsabilisation axés sur les résultats (CGRR)

Un Cadre de gestion et de responsabilisation axé sur les résultats (CGRR) fournit aux gestionnaires de programme un énoncé concis ou une carte routière pour planifier, suivre, évaluer les résultats d'un programme, d'une politique ou d'une initiative et en faire rapport. Lorsqu'il est mis en œuvre, il aide un gestionnaire de programme à :

  • décrire clairement les rôles et les responsabilités des principaux partenaires impliqués dans l'exécution du programme, de la politique ou de l'initiative;
  • élaborer une conception claire et logique qui relie les ressources et les activités aux résultats escomptés;
  • porter des jugements sains sur la meilleure façon d'améliorer en permanence le rendement du programme;
  • donner la preuve de la responsabilisation et montrer les avantages pour les Canadiens;
  • faire en sorte que de l'information fiable et d'actualité soit à la disposition de la haute direction du ministère, des organismes centraux et d'autres intervenants cruciaux.

Les CGRR sont obligatoires pour les demandes de financement au titre des programmes de subventions et contributions, et leur utilisation est encouragée comme bonne pratique de gestion pour tous les programmes. On trouvera à l'annexe 1 de ce rapport les grandes lignes des critères d'évaluation du SCT.

4.4 Types d'évaluation

Les unités d'évaluation des ministères et organismes effectuent en général deux types d'évaluations - les évaluations formatives et sommatives.

Les évaluations formatives ou intérimaires examinent l'efficacité de la mise en œuvre afin de faciliter l'amélioration. L'évaluation formative est habituellement effectuée à mi-parcours du programme, de la politique ou de l'initiative (normalement dans les deux ans suivant le démarrage). Son objet est de fournir de l'information permettant d'améliorer le programme, la politique ou l'initiative. Étant donné que la majorité des programmes ou politiques ont un cycle de quatre ans, il peut éventuellement être astreignant d'entreprendre à la fois une évaluation formative et sommative, et c'est pourquoi, il est recommandé d'utiliser les évaluations formatives judicieusement. Une application utile de l'évaluation formative consiste à régler des questions qui se posent au sujet de l'exécution du programme. Les évaluations formatives peuvent servir à aborder des problèmes d'exécution particuliers tels que la qualité de l'information sur le rendement et les systèmes de rapports. Lorsque des évaluations formatives « intégrales » sont entreprises, on s'attend à ce que les résultats finaux, les premiers résultats, la validation de la logique du programme et la probabilité de la réalisation des résultats à long terme soient évalués.

Les évaluations sommatives examinent les répercussions afin que des décisions puissent être prises au sujet de l'efficacité d'ensemble. Les évaluations sommatives sont habituellement entreprises à la fin du cycle de vie de quatre ans d'un programme, lorsque les résultats intermédiaires et à long terme commencent à être réalisés. Elles accomplissent une fonction de responsabilisation tout en étant axées sur l'avenir et fournissant des recommandations sur des problèmes de conception des programmes.

Les évaluations sommatives s'intéressent principalement à la mesure dans laquelle les résultats souhaités ont été réalisés et la politique, le programme ou l'initiative ont concouru à la réalisation des résultats. Indépendamment du type d'évaluation qui est entreprise, toutes les évaluations devraient aborder les sept questions du Comité d'examen des dépenses.

4.5 Méthodes d'évaluation

Mandat : La première étape lorsqu'on entreprend l'évaluation d'un programme, d'une politique ou d'une initiative individuel, consiste à impliquer la haute direction, la direction du programme, les principaux intervenants et les bénéficiaires dans l'élaboration d'un mandat. Ce bref document d'une ou deux pages énonce le contexte, le besoin et les objectifs de l'évaluation et indique comment l'évaluation sera gérée, y compris les ressources et l'échéancier.

Rapport de planification : Un plan détaillé d'évaluation est ensuite élaboré. Si l'on n'a pas encore préparé de Cadre de responsabilisation axé sur les résultats (CGRR)[5], le plan décrit les grandes lignes du programme, y compris un modèle logique, et énonce en détail les questions et sous-questions d'évaluation et les méthodes devant être utilisées pour les aborder.

Élaboration d'un instrument de collecte de données et collecte des données : À cette étape de l'évaluation, des outils de collecte de données tels que des questionnaires, des guides de discussion, des guides d'examen de dossier, des guides de discussion en groupes de concertation, des descriptions d'étude de cas, y compris des plans d'échantillonnage appropriés, sont préparés et mis à l'essai. Il convient aussi d'envisager s'il faut ou non utiliser des méthodes d'auto-évaluation, des méthodes normalisées externes ou une combinaison des deux. Des stratégies de collecte de données sont ensuite élaborées et mises en œuvre.

Autres considérations : Un important enjeu de gestion consiste à savoir si l'évaluation sera entreprise au moyen de ressources internes, de ressources contractuelles ou des deux. La méthode utilisée dépend souvent du niveau d'indépendance nécessaire, de la quantité de ressources internes disponibles et du moment de l'évaluation.

Consultations : Un autre élément du processus d'évaluation dont il faut tenir compte est le choix d'un comité consultatif, d'un comité directeur ou d'une évaluation dirigée. Comme son titre le laisse entendre, un comité consultatif fournit une orientation à l'évaluateur, alors qu'un comité directeur peut prendre des décisions à l'égard de tous les aspects cruciaux d'une évaluation. Les évaluations dirigées n'utilisent pas le processus de consultation officiel et sont utiles lorsque les résultats de l'évaluation sont nécessaires dans un délai relativement court. La méthode à utiliser dépend souvent de la complexité du programme et de l'importance de sa décentralisation. Ainsi, l'évaluation d'un programme dirigé par des Autochtones ou d'un programme impliquant une participation provinciale et fédérale peut faire appel à un comité directeur, étant donné la multiplicité inhérente des instances impliquées dans l'exécution du programme. Des groupes d'examen par les pairs peuvent également être utilisés, particulièrement pour les programmes à risques élevés. Ces groupes consistent en spécialistes de l'évaluation et spécialistes en la matière et donnent des conseils sur la qualité de la conception de l'évaluation et des rapports.

Présentation de rapports : Les résultats intérimaires sont souvent signalés aux premières étapes de la collecte de données. Les rapports d'évaluation finaux sont présentés au Comité ministériel de vérification et d'évaluation (CMVE) aux fins d'approbation. Une pratique recommandée consiste en ce que le CMVE examine et approuve également le plan d'intervention ou d'action de la direction et suive la mise en œuvre des recommandations de l'évaluation.

5. Normes et critères d'évaluation

On trouvera à l'annexe 2 les normes d'évaluation au gouvernement du Canada. Le tableau ci-dessous présente un sommaire de ces normes. Par ailleurs, on trouvera à l'annexe 3 de ce rapport les critères utilisés par le SCT pour évaluer les rapports d'évaluation individuels.

Sommaire des normes d'évaluation du gouvernement du Canada

Norme Orientation
Planification et enjeux de l'évaluation
  • Plans d'évaluation ministériels fondés sur le risque
  • Enjeux de l'évaluation : raisonnement, réalisation des objectifs; efficience et rentabilité
Compétence
  • Les évaluateurs possèdent les connaissances, les compétences et l'expérience voulues dans les domaines suivants : conception de la recherche; collecte et analyse des données; formulation de conclusions et de recommandations valides, crédibles et objectives.
  • S'efforcent d'améliorer les compétences méthodologiques et pratiques
Objectivité et intégrité
  • Le travail d'évaluation s'effectue sans entrave qui empêche l'objectivité.
  • Les relations sont marquées au coin de l'intégrité.
Consultation et conseils
  • Les consultations sont suffisantes et appropriées.
  • Application des conseils et de l'orientation donnés par des spécialistes et d'autres personnes bien informées, le cas échéant, notamment utilisation de groupes d'examen par des pairs pour évaluer les produits de l'évaluation.
Mesure et analyse
  • Résultats et conclusions en temps opportun, pertinents et crédibles que les gestionnaires et d'autres intervenants peuvent utiliser avec confiance, reposant sur la collecte et l'analyse de données pratiques, rentables et objectives.
Présentation de rapports
  • Les rapports d'évaluation doivent présenter les résultats, les conclusions et les recommandations d'une manière claire et objective.

6. Utilisation des résultats de l'évaluation

Les rapports d'évaluation sont des apports cruciaux aux rapports présentés au Parlement par les ministères et organismes. Ces derniers sont tenus d'étayer les rapports sur le rendement et les résultats des programmes au moyen d'évaluations documentées. Pour en faciliter l'accès aux parlementaires individuels, les ministères et organismes sont tenus d'énumérer toutes les évaluations entreprises dans leur Rapport ministériel sur le rendement et d'inclure une liste de toutes les évaluations prévues dans leur Rapport sur les plans et priorités. Tous les rapports d'évaluation doivent être accessibles au public sur l'Internet dans les deux langues officielles.

Deux comités du Cabinet, le Conseil du Trésor (CT) et le Comité d'examen des dépenses (CED), sont également des utilisateurs cruciaux des résultats d'évaluation. L'examen des Cadres de gestion et de responsabilisation axés sur les résultats (CGRR) par le Secrétariat du Conseil du Trésor est un élément crucial lorsque le Conseil du Trésor examine de nouvelles demandes de financement. En outre, les résultats de l'évaluation sont un élément important qui entre en ligne de compte pour le maintien du soutien au programme. La capacité des évaluations d'aborder les questions relatives à l'examen des dépenses qui est entrepris par le Comité d'examen des dépenses nouvellement créé sera une autre contribution importante de l'évaluation.

Les administrateurs généraux des ministères et organismes sont probablement les utilisateurs les plus importants de l'évaluation. Ils l'utilisent pour évaluer la pertinence, le rendement et les résultats des programmes. De nombreux administrateurs généraux considèrent l'évaluation comme « leurs yeux et leurs oreilles » pour ce qui est de la capacité de l'organisation à produire des résultats pour les Canadiens.

Les gestionnaires de programme individuels et les principaux intervenants, y compris les bénéficiaires, sont également des participants dynamiques et des utilisateurs des résultats d'évaluation. Les gestionnaires de programme utilisent les résultats d'évaluation pour ajuster l'exécution des programmes de façon à tirer un effet optimal des ressources du programme. Les intervenants et les bénéficiaires du programme utilisent les évaluations pour influencer la conception et l'exécution des programmes et garantir que les programmes sont axés sur la satisfaction de leurs besoins.

Les plans d'action de la gestion sont un moyen important d'évaluer les effets des résultats d'évaluation. Les gestionnaires de programme sont tenus de produire un plan d'action de gestion pour aborder les recommandations et les conclusions de l'évaluation. Ces plans comprennent la réaction de la direction à chaque recommandation, les mesures qui seront prises, y compris l'échéancier pour l'achèvement et les responsabilités. Les comités ministériels de vérification et d'évaluation doivent approuver chaque plan d'action et suivre sa mise en œuvre.

7. Conclusions et défis futurs

L'objet de la Politique d'évaluation consiste à assurer que le gouvernement dispose de renseignements à jour axés sur les points stratégiques, fondés sur les objectifs et les preuves sur le rendement de ses politiques, programmes et initiatives pour produire de meilleurs résultats pour les Canadiens. Cela signifie que les ministères et organismes effectuent des évaluations en temps opportun et de façon stratégique, garantissent un produit d'évaluation de grande qualité et utilisent les résultats de l'évaluation aux fins de la prise de décisions et de la reddition de compte.

La réalisation de cet objectif exige une fonction d'évaluation forte. La Politique d'évaluation de 2001 établit l'infrastructure à l'appui de cette activité en formulant des exigences stratégiques afin de mieux positionner et utiliser les activités d'évaluation (p. ex., créer des comités d'évaluation dirigés par la haute direction, préparer et suivre des plans d'évaluation à orientation stratégique et fondés sur le risque et adhérer à des normes établies). Cependant, une fonction d'évaluation forte a besoin de plus que cela. Une compétence avérée en technique et en gestion et une capacité d'intégration sont essentielles pour tirer le plein parti des activités d'évaluation.

Compte tenu de ce qui précède, le gouvernement du Canada s'est engagé, dans le budget qu'il a annoncé le 23 mars 2004, à renforcer davantage l'activité et la capacité de la fonction d'évaluation. Pour donner suite à cet engagement, le Secrétariat du Conseil du Trésor réexamine actuellement son approche de l'évaluation et étudie un certain nombre de propositions.

Les propositions actuellement à l'étude sont les suivantes :

  • Renforcement de la surveillance de la santé de la fonction d'évaluation dans l'ensemble du gouvernement, des plans d'évaluation, des études d'évaluation des ministères et approbation de Cadres de gestion et de responsabilisation axés sur les résultats (CGRR) horizontaux et à risques élevés.
  • Soutien à l'analyse de politiques et à la prise de décisions, notamment élaboration de politiques et recherche en matière de méthodes et de pratiques d'évaluation de pointe fournissant un apport aux politiques pangouvernementales et à la prise de décisions (CT et CED), y compris la synthèse des résultats d'évaluation afin qu'ils soient accessibles aux décideurs.
  • Renforcement de la capacité et services-conseils en élaborant de nouveaux outils et produits d'évaluation, en donnant des occasions de formation et de perfectionnement professionnel grâce à l'élaboration et à l'exécution d'une stratégie exhaustive d'apprentissage axée sur les résultats et l'évaluation, en favorisant l'accréditation et les compétences fondamentales, en suivant les compétences fondamentales d'évaluation à tous les niveaux et en fournissant des ressources expertes centralisées.
  • Services d'évaluation directs comportant la prestation d'aide pour les CGRR et les évaluations d'activités horizontales, la réalisation d'évaluations d'enjeux ministériels à l'échelle du gouvernement ou l'appui à celles-ci et la réalisation de méta-évaluations dans des secteurs tels que la programmation économique et sociale.
  • Les Services d'évaluation communs des petits organismes sont une proposition importante qui est actuellement à l'étude. En raison du manque de capacité des petits organismes à maintenir des unités d'évaluation et d'effectuer des évaluations, il est envisagé d'adopter une approche centralisée de la prestation de services d'évaluation.
  • Présentation de rapports de gestion et reddition de compte notamment l'intégration aux systèmes d'information généraux du SCT et l'appui à ceux-ci, la présentation d'un rapport annuel sur les résultats d'évaluation et sa contribution au renforcement de la reddition de compte aux ministres du CT et aux parlementaires.

Grâce à ces efforts et au travail des ministères et organismes individuels, le gouvernement fédéral peut espérer que les ministères et les décideurs disposent de suffisamment de capacité d'évaluation pour fournir l'information factuelle nécessaire à l'appui de l'amélioration du rendement de gestion, de la démonstration de la responsabilisation, de la réaffectation logique des ressources, de l'établissement des priorités et de l'utilisation judicieuse et efficace de l'argent des contribuables.

ANNEXE 1

Critères d'évaluation du Cadre de GESTION ET DE responsabilisation axé sur les résultats (CGRR)

On trouvera ci-dessous le modèle d'examen d'un CGRR utilisé par le Secrétariat du Conseil du Trésor (SCT) pour donner une rétroaction sur l'intégralité et la qualité d'un CGRR. Il comporte trois volets principaux :

  • Profil du programme - description concise de la politique, du programme ou de l'initiative, notamment le contexte et le besoin, les intervenants et les bénéficiaires, les structures d'organisation et de gouvernance et l'affectation de ressources.
  • Résultats prévus et théorie du programme - description et illustration (c.-à-d. modèle logique) de la façon dont les activités d'une politique, d'un programme ou d'une initiative doivent aboutir au changement économique, social ou environnemental nécessaire (c.-à-d. les résultats prévus) et les hypothèses critiques sur lesquelles le programme, la politique ou l'initiative repose.
  • Suivi et évaluation - carte routière détaillée pour les activités permanentes de mesure et d'évaluation du rendement qui s'inscriront à l'appui d'une gestion du programme et d'une reddition de compte efficaces.

1. Le profil du programme donne une description concise du programme,
de la politique ou de l'initiative.

Section Critères d'examen
1.1 Contexte
  • Énoncé clairement et montrant le besoin
  • pour de nouveaux programmes ou initiatives, preuves et politiques à l'appui du programme mentionné
  • pour les programmes ou initiatives pour lesquels on demande un renouvellement de l'autorité, la question demeure importante et il existe de l'information sur les progrès réalisés à ce jour
  • Le gouvernement a un rôle légitime et nécessaire à jouer dans ce secteur de programme ou cette initiative
  • Études de recherche, évaluation des besoins, études démographiques détaillées, etc. à l'appui des analyses situées
  • Il s'agit du mécanisme de transfert correct pour ce programme, politique ou initiative
1.2 Objectifs
  • Objectifs clairement énoncés
  • Lien entre les objectifs et les résultats stratégiques du ministère lesquels sont énoncés dans son Architecture d'activité de programmes
1.3 Principaux intervenants et bénéficiaires
  • Tous les intervenants, y compris énumération des partenaires d'exécution et des bénéficiaires du projet
  • Objectifs exprimés en fonction de la mesure dans laquelle les bénéficiaires désignés du projet sont rejoints
1.4 Structure d'organisation et gouvernance
  • Définition des structures d'organisation et de gouvernance et leur autorité décisionnelle respective et rôles et responsabilités principaux de tous les intervenants du projet (y compris des partenaires d'exécution)
  • La structure et les mécanismes de gouvernance étayent efficacement la prise de décisions et montrent clairement les responsabilités
1.5 Ressources
  • Résumé de l'affectation annuelle des ressources au ministère et à chaque partenaire d'exécution
  • Précision des coûts des activités de suivi et d'évaluation

2. Les résultats prévus et la théorie de programme fournissent une description et une illustration logiques de la façon dont les activités et les produits aboutissent à des résultats.

Section Critères d'examen
2.1 Résultats prévus
  • Les résultats sont précisés aux diverses étapes
  • Les résultats peuvent être attribués au programme, à la politique ou à l'initiative
  • Les facteurs qui peuvent influencer la capacité d'un programme, d'une politique ou d'une initiative à atteindre les résultats démontrés sont réalistes
  • L'échéancier pour la réalisation des résultats est énoncé et est réaliste
2.2 Stratégie d'exécution
  • La stratégie d'exécution comprenant les activités des partenaires d'exécution est présentée et cohérente
  • Un raisonnement logique sous-tend l'utilisation/le choix de partenaires d'exécution
2.3 Théorie du programme
  • Un modèle logique solide existe
  • Les résultats finaux sont liés aux résultats stratégiques du ministère comme il est mentionné dans l'Architecture d'activité de programmes

3. Le plan de suivi et d'évaluation donne l'orientation pour des
activités permanentes de suivi et d'évaluation.

Section Critères d'examen
3.1 Plan de suivi
  • Une saine stratégie de suivi existe
  • Les enjeux et les indicateurs de rendement cruciaux sont précisés
  • Les sources de données, la fréquence de la collecte des données et les méthodes d'analyse sont précisées.
  • La qualité des données est garantie
  • Les coûts estimés pour les activités de suivi sont donnés par année
3.2 Plan d'évaluation
  • Une stratégie d'évaluation appropriée et complète est proposée
  • Tous les enjeux d'évaluation connus sont précisés et comprennent la réussite, la pertinence, la rentabilité, l'optimisation des ressources, d'autres enjeux relevés dans des études d'évaluation antérieures, et les questions du Comité d'examen des dépenses sont abordées
  • Une approche d'ensemble de l'évaluation comportant les sources de données (y compris les rapports de mesure du rendement), les méthodologies proposées et les responsabilités pour la collecte de données est formulée
  • Les coûts estimés pour les activités d'évaluation sont fournis
3.3 Présentation de rapports
  • Tous les rapports de suivi et d'évaluation sont situés de même que le moment et la façon dont les rapports seront utilisés et la personne qui les utilisera à l'appui de la prise de décisions par la direction et la reddition de compte démontrée
  • Les rapports comprennent les RMR, les RPP, les rapports de rendement annuel, la vérification de la conformité et une évaluation sommative

ANNEXE 2

Normes d'évaluation au gouvernement du Canada


Normes d'évaluation du gouvernement du Canada

Normes Orientation
Planification et enjeux de l'évaluation

Le ministère doit mettre en pratique la discipline de l'évaluation pour mesurer le rendement de ses politiques, programmes et initiatives, qu'ils soient réalisés par lui ou en partenariat, en tenant compte de ses priorités et de celles de ses partenaires et de l'ensemble du gouvernement.

Les évaluateurs doivent élaborer un plan axé sur la stratégie qui met l'accent sur l'évaluation des risques, les priorités du ministère, les exigences relatives à l'établissement des rapports et les priorités de l'ensemble du gouvernement.

Toutes les questions liées à l'évaluation doivent être examinées à l'étape de la planification :

  • est-ce que la politique, le programme ou l'initiative est toujours compatible avec les priorités du ministère et de l'ensemble du gouvernement et répond véritablement à un besoin réel (pertinence)?
  • est-ce que la politique, le programme ou l'initiative atteint ses objectifs, sans dépassement de budget et sans effets indésirables (succès)?
  • utilise-t-on les moyens les plus appropriés et les plus efficaces pour atteindre les objectifs ou y aurait-il lieu d'envisager d'autres modes de conception et d'exécution (rentabilité)?

Les évaluateurs doivent se pencher sur les questions liées à la reddition de comptes, notamment celles touchant les principales attentes en matière de rendement a) définies et communiquées au Conseil du Trésor ou b) découlant de décisions du Cabinet demandant des renseignements sur l'évaluation.

Compétence

La ou les personnes effectuant les évaluations ou les travaux d'évaluation doivent posséder individuellement ou collectivement les connaissances et compétences requises pour satisfaire aux exigences relatives aux travaux ayant trait à l'évaluation concernée.

Les évaluateurs possèdent ou obtiennent les connaissances nécessaires pour réaliser les évaluations et s'efforcent constamment d'améliorer leurs compétences méthodologiques et pratiques. Ils doivent posséder les connaissances, les compétences et l'expérience requises pour :
  • mettre en application de solides méthodes de recherche permettant de répondre aux questions choisies;
  • recueillir et analyser des données quantitatives et qualitatives fiables;
  • formuler des conclusions et des recommandations valides, crédibles et objectives.
Objectivité et intégrité

Les personnes qui effectuent les travaux d'évaluation doivent être libres de toute contrainte qui pourrait nuire à leur objectivité et doivent faire preuve d'intégrité dans leurs rapports avec tous les intervenants.

Les évaluateurs doivent :
  • signaler correctement le niveau de leurs compétences et de leurs connaissances;
  • déclarer, avant d'entreprendre un projet d'évaluation ou en tout temps durant un tel projet, toute question pouvant compromettre leur objectivité ou celle d'un intervenant.

Les évaluateurs sont responsables de leur rendement et de leurs produits et doivent également :

  • faire en sorte que leur travail porte sur les principales préoccupations de la direction du ministère et du gouvernement ainsi que sur leurs premières exigences en matière de responsabilisation;
  • discuter avec les intervenants des décisions touchant la confidentialité, la protection des renseignements personnels, les communications et la propriété des résultats et des rapports;
  • s'assurer de prendre des décisions financières éclairées afin de rendre compte des dépenses et que les clients obtiennent une valeur satisfaisante pour les sommes consenties;
  • réaliser les travaux d'évaluation dans des délais raisonnables convenus avec les clients.
Consultations et conseils

Les travaux d'évaluation doivent comporter des consultations de nature appropriée et conformes aux exigences, et le cas échéant, mettre en application les conseils et l'orientation fournis par des spécialistes ou autres personnes compétentes.

Les évaluateurs doivent consulter les principaux intervenants dans le cadre de leur travail.

Des groupes d'examen par des pairs devraient être organisés, le cas échéant, pour examiner les produits de l'évaluation afin d'améliorer la qualité des pratiques exemplaires et d'en favoriser le partage.

Mesures et analyse

Les travaux d'évaluation doivent produire, grâce à des méthodes pratiques, rentables et objectives de collecte et d'analyse des données, des conclusions et des résultats opportuns, pertinents et crédibles que les gestionnaires et les autres intervenants peuvent utiliser avec confiance.

  • Les produits de l'évaluation doivent être disponibles au moment opportun pour aider la direction à prendre des décisions.
  • Les données doivent être suffisantes quant au contexte de la prise des décisions, et les résultats doivent être pertinents aux questions traitées et découler de ces données.
  • On doit faire la preuve que les produits de l'évaluation permettent aux gestionnaires d'améliorer le rendement et de rendre compte des résultats obtenus.
  • Lors de la planification et de la réalisation de l'évaluation, le ministère doit respecter les politiques liées à la collecte, à l'utilisation, à la conservation et à la diffusion de l'information.
Rapports

Les rapports d'évaluation doivent présenter les résultats, les conclusions et les recommandations d'une manière claire et objective.

Les rapports d'évaluation sont rédigés de façon à ce que les cadres de direction et les lecteurs de l'extérieur puissent rapidement se concentrer sur les questions importantes signalées et les comprendre. Les rapports doivent :
  • être concis et rédigés avec clarté;
  • contenir uniquement les informations nécessaires pour bien comprendre les résultats, les conclusions et les recommandations;
  • présenter les conclusions et les recommandations de manière qu'elles découlent logiquement des résultats de l'évaluation;
  • expliquer clairement les limites de l'évaluation au niveau de sa portée, des méthodes et des conclusions;
  • être conformes, le cas échéant, aux exigences en matière de rapport du Cabinet, des présentations au Conseil du Trésor ou de l'extérieur.

De plus, les rapports d'évaluation doivent :

  • fournir un contexte au lecteur en décrivant les objectifs des travaux et le moment où ils ont été effectués, ainsi que l'initiative, la politique ou le programme qui a été évalué et sa place et son importance dans l'ensemble des opérations de l'organisation;
  • évaluer avec exactitude les résultats obtenus dans le cadre de la politique, du programme ou de l'initiative en question;
  • présenter des recommandations claires et réalisables et un calendrier d'intervention pour la direction;
  • contenir une analyse et une explication pertinentes des risques ayant trait à tout problème important cerné ainsi qu'aux recommandations clés.

ANNEXE 3

Principaux éléments d'un rapport d'évaluation et critères d'évaluation

Le tableau ci-dessous - tiré du document intitulé Evaluation Report Assessment Guide publié par Santé Canada en avril 2003 - présente les éléments qui doivent être inclus dans un rapport d'évaluation ainsi que les critères précis qui doivent être utilisés pour évaluer ces éléments.

1. Résumé

Enjeux/exigences

Critères

1.1 Résumé Présenter brièvement :
  • une description de la politique, de l'initiative ou du programme visé par l'évaluation;
  • la raison pour laquelle l'évaluation a été faite;
  • le client et les personnes auxquels l'évaluation est destinée;
  • les principales constatations, conclusions et recommandations de l'évaluation.

(Suggestion : le résumédevrait avoir environ 3 pages.)

2. Introduction et contexte

Enjeux/exigences

Critères

2.1 Description La politique, l'initiative ou le programme visé par l'évaluation est clairement décrit, y compris la logique des liens de cause à effet entre les intrants, les activités, les extrants, les résultats et les facteurs externes qui ont contribué au succès ou à l'échec, par exemple, la théorie et les hypothèses de la politique ou du programme.
La portée du programme (la clientèle visée) est clairement décrite.
Les ressources du programme sont clairement décrites afin de permettre au lecteur de comprendre comment les fonds du programme ont été affectés et dépensés.
2.2 Contexte de l'évaluation Le rapport établit adéquatement le contexte de l'évaluation en expliquant ou en décrivant clairement :
  • la raison pour laquelle l'évaluation a été menée et pourquoi a-t-on choisi ce moment-là;
  • l'utilisation qui sera faite des résultats;
  • les objectifs et la portée de l'évaluation;
  • le client, les destinataires et les principaux intervenants;
  • le calendrier des travaux d'évaluation;
  • les enjeux/questions (clairs, utiles et dont la responsabilité est clairement établie) visés par l'évaluation qui relèvent des domaines visés par l'enquête (pertinence, mise en œuvre, efficacité, rentabilité et efficience).

Selon la nature, l'objet et l'opportunité d'une étude d'évaluation en particulier, il faudrait envisager l'inclusion des questions suivantes :

  • Le programme répond-il encore aux besoins de la population?
  • Les ressources du programme sont-elles utilisées de la façon la plus efficiente et la plus efficace possible afin d'obtenir les résultats appropriés?
  • Ce programme doit-il nécessairement être administré par le gouvernement du Canada ou pourrait-il être transféré à d'autres ordres de gouvernement, au secteur privé ou au secteur bénévole?
  • Est-il possible d'envisager des structures de programmes et des modes de prestation des services plus efficaces?
  • Les pratiques de gestion ministérielles sont-elles adéquates et de qualité suffisante?

3. Méthodologie/plan/données

Enjeux/exigences

Critères

3.1 Description de la méthodologie/du plan de l'étude Le plan de l'évaluation est décrit dans la mesure où l'étude peut être reproduite; p. ex., les rapports entre la collecte des données et l'analyse sont décrits clairement.


[1] http://www.tbs-sct.gc.ca/maf-crg/index-fra.asp
[2] http://www.tbs-sct.gc.ca/spsm-rgsp/spsm-rgsp_f.asp
[3] http://www.tbs-sct.gc.ca/pol/doc-fra.aspx?id=12309
[4] http://www.tbs-sct.gc.ca/pubs_pol/dcgpubs/RiskManagement/rmf-cgr_f.asp
[5] http://www.tbs-sct.gc.ca/cee/tools-outils/rmaf-cgrr/guide00-fra.asp


Date de modification :