Guide d’évaluation des petits organismes
Informations archivées
Les informations archivées sont fournies aux fins de référence, de recherche ou de tenue de documents. Elles ne sont pas assujetties aux normes Web du gouvernement du Canada et n’ont pas été modifiées ou mises à jour depuis leur archivage. Pour obtenir ces informations dans un autre format, veuillez communiquez avec nous.
Deuxième section : Définition de l'évaluation
La présente section :
- définit l'évaluation;
- décrit les différents types d'évaluations;
- compare l'évaluation à d'autres activités de responsabilisation, dont la mesure du rendement, la vérification interne et les examens de la gestion ou les examens opérationnels;
- situe l'évaluation dans le contexte des autres initiatives gouvernementales comme le Cadre de responsabilisation de gestion (CRG) et la Structure des ressources et des résultats de gestion (SRRG).
2.1 Définition de l'évaluation
L'évaluation désigne la collecte et l'analyse systématiques de l'information sur le rendement d'une politique, d'un programme ou d'une initiative permettant de porter des jugements sur sa pertinence, ses progrès et succès et son efficacité en fonction du coût ou d'éclairer des décisions sur la conception et la mise en œuvre de programmes.
— Outil d'apprentissage en ligne de la GAR , site Web du SCT
Il convient de signaler ce qui suit au sujet de l'évaluation :
- elle est périodique (elle suit un « cycle »);
- elle peut viser les politiques, les programmes ou les initiatives d'un petit organisme;
- elle suppose un jugement sur le mérite ou la valeur d'une politique, d'un programme ou d'une initiative (en fonction de données systématiques de grande qualité);
- elle met l'accent sur la manière dont les résultats sont atteints et pourquoi ils le sont;
- elle se penche sur les effets prévus et imprévus;
- elle tente de trouver des options et des stratégies futures pour apporter des améliorations.
L'évaluation fournit l'occasion d'examiner périodiquement et en détail l'évolution de la politique, du programme ou de l'initiative. L'évaluation doit, en premier lieu, permettre d'apporter des améliorations qui faciliteront l'atteinte des résultats prévus, ou de déterminer la mesure dans laquelle la politique, le programme ou l'initiative a permis d'atteindre les résultats escomptés (c'est-à -dire attribution).
— Outil d'apprentissage en ligne de la GAR , site Web du SCT
2.2 Objectif de l'évaluation
Après la publication du document intitulé Des résultats pour les Canadiens et les Canadiennes : Un cadre de gestion pour le gouvernement du Canada en avril 2001, le CT a émis une Politique d'évaluation pour « faire en sorte que le gouvernement dispose en temps voulu de renseignements stratégiques, objectifs et solides au sujet du rendement de ses politiques, programmes et initiatives pour produire de meilleurs résultats pour les Canadiens et les Canadiennes. »
L'évaluation a deux objectifs principaux :
1. Amélioration : aider les gestionnaires à concevoir dès le départ de meilleurs programmes, politiques et initiatives et à les améliorer par la suite.
2. Responsabilisation : fournir périodiquement, le cas échéant, des évaluations de l'efficacité des politiques, des programmes ou des initiatives, en ce qui a trait aux répercussions intentionnelles ou fortuites et aux autres méthodes qui permettent d'obtenir les résultats attendus.
Dans le contexte des petits organismes, les objectifs d'amélioration et de responsabilisation sont pertinents. Les évaluations peuvent les aider à ce qui suit :
- mettre davantage l'accent sur les résultats dans le cadre des processus décisionnels;
- fournir de l'information valable sur le rendement pour les rapports ministériels sur le rendement et la Structure des ressources et des résultats de gestion (par exemple, la pertinence d'un programme et les réalisations en fonction des objectifs stratégiques);
- satisfaire aux exigences du Cadre de responsabilisation de gestion (par exemple, résultats et rendement, responsabilisation, gestion du risque, politiques et programmes).
2.3 Évaluation et cycle d'élaboration des programmes
Les procédés de planification et d'évaluation sont idéalement interdépendants. L'évaluation peut et devrait être intégrée au procédé de planification des organismes. De concert avec les commentaires sur les activités de mesure du rendement, l'information recueillie grâce aux évaluations peut orienter la planification au sein de l'organisme.
2.4 Aperçu des tâches liées à l'exécution des évaluations
L'illustration qui suit présente un aperçu des tâches liées à l'exécution d'une évaluation. Les quatrième, cinquième et sixième sections du présent guide examinent ces tâches de manière plus approfondie.
2.5 Types d'évaluations
Il existe deux principaux types d'évaluations : l'évaluation formative et l'évaluation sommative.
Évaluation formative
Les évaluations de ce genre portent sur l'efficacité de la mise en œuvre afin de faciliter l'amélioration. L'évaluation formative peut être menée au milieu du cycle d'un programme, d'une politique ou d'une initiative (c'est-à -dire, avant deux ans). Elle vise à fournir l'information qui permettra d'améliorer le programme, la politique ou l'initiative.
Les évaluations formatives devraient être utilisées de façon judicieuse. Elles pourraient ne pas être nécessaires pour les programmes permanents ni dans les cas où les vérifications de la conformité traitent de questions d'ordre opérationnel. Elles peuvent également cibler des aspects particuliers d'un programme, par exemple, le système de mesure du rendement.
Les évaluations formatives mettent l'accent sur les éléments suivants :
- les questions de gestion, Ã savoir comment la politique, le projet ou l'initiative est mis en œuvre et offert;
- la mesure dans laquelle le risque est géré adéquatement;
- la validité et la fiabilité des données sur le rendement produites par le système de mesure du rendement;
- la détermination du bien-fondé des rajustements;
- la mesure dans laquelle des progrès sont réalisés en vue de l'atteinte des résultats souhaités.
Les « évaluations formatives complètes » doivent aborder les extrants, les résultats préliminaires, la validation du modèle logique du programme et la probabilité d'atteindre les résultats à long terme [4] .
Toutes les évaluations, qu'elles soient formatives ou sommatives, devraient comprendre les questions utilisées par le Comité d'examen des dépenses. (Voir l'annexe D.)
Évaluation sommative
Les évaluations de ce type portent sur les répercussions et permettent de prendre une décision quant à l'efficacité globale. Elles exercent principalement une fonction de responsabilisation et sont en général menées vers la fin du cycle.
Les évaluations sommatives mettent l'accent sur les éléments suivants :
- Pertinence : Est-ce que le programme est toujours compatible avec les priorités de l'organisme et de l'ensemble du gouvernement et répond véritablement à un besoin réel?
- Succès : Dans quelle mesure les résultats escomptés ont-ils été atteints et dans quelle mesure la politique, le programme ou l'initiative a-t-il contribué à l'atteinte des résultats?
- Rentabilité : Utilise-t-on les moyens les plus appropriés et les plus efficients pour atteindre les objectifs ou y aurait-il lieu d'envisager d'autres modes de conception et d'exécution?
Toutes les évaluations, qu'elles soient formatives ou sommatives, devraient comprendre les questions utilisées par le Comité d'examen des dépenses. (Voir l'annexe D.)
Dans le contexte fédéral, on fait souvent référence à un autre genre d'évaluation, l' évaluation horizontale , c'est-à -dire l'examen d'initiatives qui supposent des activités coordonnées de plusieurs ministères ou organismes. Si vous désirez obtenir plus d'information à cet égard, veuillez consulter l'annexe B .
2.6 Autres activités en matière de responsabilisation
Comme nous l'avons déjà précisé, l'évaluation est un genre d'activité ou d'outil dont peuvent se servir les gestionnaires pour faire état de la responsabilisation. La présente section contient de brèves descriptions d'autres outils (par exemple, la mesure du rendement ou la vérification), un exposé sur la manière de savoir quand chaque outil est le plus approprié et un exposé sur la manière de les utiliser conjointement.
2.6.1 Mesure du rendement
La mesure du rendement désigne la collecte périodique de renseignements pour surveiller l'état d'une politique, d'un programme ou d'une initiative à un moment donné. En général, elle met l'accent sur la communication d'information sur le rendement opérationnel aux gestionnaires de programmes. Dans le cas de nombreux petits organismes, une des premières tâches que suppose la mise au point d'une fonction d'évaluation est l'élaboration d'une stratégie de mesure du rendement qui englobe l'évaluation périodique.
L'évaluation et la mesure du rendement sont deux mesures qui se complètent. L'évaluation assure la responsabilisation en veillant à ce que la mesure du rendement soit au point et à ce que les indicateurs soient appropriés. Pour leur part, les données de mesure du rendement représentent souvent d'importantes sources de renseignements pour les évaluations périodiques.
Les petits organismes n'accordent pas tous la même importance relative à la mesure du rendement et Ã
l'évaluation. Certains d'entre eux s'appuient davantage sur la mesure continue du rendement, tandis que d'autres donnent plus de poids aux évaluations périodiques. Ce qui importe le plus, c'est
d'établir quels sont les besoins en information de l'organisme pour la prise de décisions, puis de veiller à ce que les stratégies de mesure du rendement et d'évaluation comblent ces
exigences.
2.6.2 Vérification interne
La vérification interne est une fonction qui donne des assurances quant à la stratégie de gestion des risques d'un ministère ou d'un organisme et à son cadre de contrôle et d'information de gestion, tant sur le plan financier que non financier, et ce, pour la prise de décisions et l'établissement des rapports.
La fonction de vérification interne :
- évalue la petinence du contrôle interne;
- vérifie la conformité aux règles, règlements et procédures établis;
- évalue le risque inhérent à chacun des points susmentionnés;
- examine systématiquement les opérations pour assurer la conformité aux politiques, stratégies et plans;
- examine systématiquement les pratiques et contrôles de la gestion;
- examine l'information pour en déterminer la validité (par exemple, information financière, opérationnelle et de gestion);
- définit les politiques, projets et initiatives qui sont gérés par une entité (domaine de vérification).
Dans beaucoup de petits organismes , la planification, la mise en œuvre et la gestion de la mesure
du rendement, des évaluations, des vérifications et des examens peuvent être confiées à une seule personne ou à de petits groupes de personnes.
« Combinées, la mesure du rendement, la vérification et l'évaluation peuvent servir de moyen efficace pour surveiller le rendement de tout projet pendant tout son cycle de vie. »
— Outil d'apprentissage en ligne de la GAR, site Web du SCT
2.6.3 Examen
Les examens sont souvent menés en réponse à un besoin urgent ou immédiat de la direction. Ainsi, ils portent habituellement sur la production rapide de renseignements suffisants qui alimenteront le processus décisionnel ou rassureront la haute direction quant aux dimensions d'un problème ou d'une situation. La méthodologie qui est employée pour recueillir l'information est généralement secondaire à la formulation d'une réponse satisfaisante en temps opportun (c'est-à -dire, le non-respect des protocoles et approches d'évaluation ou de vérification). Même s'ils sont utiles lorsqu'il s'agit de donner suite à des enjeux ciblés, les examens ou les études spéciales ne sont pas conformes aux exigences en matière d'établissement de rapports externes, de procédés de contrôle des projets ou de normes qui délimitent une discipline telle que la vérification ou l'évaluation.
2.7 Évaluation en contexte
Quand effectuer une évaluation?
Vous effectuerez une évaluation si vous voulez savoir comment et pourquoi les résultats ont été atteints, si vous voulez connaître la portée de ce qui a été mis en œuvre, si vous voulez savoir si votre initiative est pertinente, si vous voulez connaître la mesure dans laquelle les impacts désirés ont été atteints, si vous voulez savoir quels impacts imprévus sont survenus et si vous voulez envisager d'autres options ou stratégies en matière d'amélioration.
Quand effectuer une vérification?
Vous effectuerez une vérification interne si vous avez besoin de renseignements sur la pertinence des contrôles internes et des stratégies de gestion du risque, sur l'importance de la conformité aux règles, règlements et procédures, sur les pratiques et contrôles de la gestion ainsi que sur le degré de validité de l'information financière, opérationnelle et de gestion.
Quand effectuer un examen?
Vous effectuerez un examen s'il est urgent d'obtenir de l'information de gestion dont la portée peut être plus restreinte que celle d'une évaluation (ou dont la portée est plus grande que celle d'une évaluation) et lorsque le temps ou les ressources ne permettent pas la rigueur attendue d'une évaluation.
L'évaluation est effectuée depuis longtemps au gouvernement fédéral. Elle a été perçue tout récemment comme un des principaux outils pour les gestionnaires de la fonction publique qui sont chargés de traiter des exigences inhérentes aux récentes approches de gestion dans le secteur public. Certaines d'entre elles sont décrites brièvement ci-dessous afin de placer l'évaluation dans son contexte actuel. Il est possible d'obtenir plus de précisions sur chacune des approches ou initiatives en s'adressant directement au SCT [5] . Toutes les initiatives décrites ci-après continueront d'influer sur les gestionnaires des petits organismes qui renforcent leurs capacités dans des domaines tels l'évaluation, la mesure du rendement et la vérification interne.
2.7.1 Gestion axée sur les résultats
La gestion axée sur les résultats est une approche globale de gestion visant à améliorer le rendement grâce à l'obtention de meilleurs résultats.
Peu après avoir diffusé le document Des résultats pour les Canadiens et les Canadiennes en 2000, le gouvernement fédéral a instauré le Cadre de gestion et de responsabilisation axé sur les résultats (CGRR) à titre d'outil servant à planifier, à surveiller, à évaluer les résultats d'un programme et à faire rapport sur ceux-ci. Le CGRR intègre la fonction d'évaluation au contexte de la gestion axée sur les résultats et sert de lien avec la Structure des ressources et des résultats de gestion (voir ci-après). Les CGRR seront examinés en détail à la Quatrième section du présent guide.
2.7.2 Cadre de responsabilisation de gestion (CRG)
Le Cadre de responsabilisation de gestion définit et précise les attentes de gestion. Il s'agit d'une série de dix énoncés qui résument les attentes du SCT à l'égard de la gestion de la fonction publique moderne. Le CRG vise les objectifs suivants :
- améliorer les pratiques de gestion et la gérance des ressources au gouvernement;
- faire concorder les attentes de la gestion avec la vision du cadre intitulé Des résultats pour les Canadiens et les Canadiennes ;
- présenter la gestion à titre de vaste fonction d'intégration.
Le CRG est utilisé :
- à titre de fondement du dialogue entre le SCT et les ministères ou organismes;
- à titre d'outil d'évaluation de la santé organisationnelle;
- à titre d'intrant de l'évaluation du rendement des sous-ministres;
- Ã titre de cadre des prochains rapports sur la gestion.
Le graphique qui suit représente le Cadre de responsabilisation de gestion.
Cadre de responsabilisation de gestion : les dix éléments essentiels de la gestion moderne
2.7.3 Structure des ressources et des résultats de gestion (SRRG)
La Structure des ressources et des résultats de gestion (SSRG) remplace la Structure de planification, de rapport et de responsabilisation (SPRR) . Conformément aux attentes prévues par le CRG, la SRRG appuie la gouvernance et l'orientation stratégique, les obligations de rendre compte, ainsi que les résultats et le rendement. La nouvelle politique est axée sur le niveau organisationnel et encourage la concordance entre les programmes, ressources et pratiques de gestion, d'une part, et les résultats escomptés, d'autre part.
L'Architecture des activités de programmes (AAP) représente un des éléments de la SRRG et comprend les éléments suivants :
- des résultats stratégiques pertinents et clairement définis;
- un répertoire complet des programmes qui établit des liens entre tous les programmes et activités de programmes des organismes de manière à ce qu'ils parviennent à atteindre ces résultats stratégiques.
Au fil du temps, la SRRG intégrée devrait également comprendre les éléments suivants :
- des mesures du rendement pour chaque niveau de l'architecture de l'organisme;
- une structure de gouvernance qui définit la prise de décisions et la responsabilisation par résultat et par programme.
Le Système d'information sur la gestion des dépenses (SIGD) fournira un cadre commun qui fera concorder l'information sur les priorités, les plans, les dépenses réelles et les résultats.
2.7.Place de l'évaluation
En raison de l'importance qu'elle accorde au « comment » et au « pourquoi » des résultats, l'évaluation est un outil clé de la gestion des résultats. Dans le cadre des pratiques de gestion, elle peut aider à concevoir et à améliorer les programmes. Elle devrait être utilisée conjointement avec d'autres outils de gestion pour améliorer la responsabilisation et la prise de décisions.
Les évaluations représentent des outils importants qui permettent de faire état des résultats et du rendement et, à ce titre, elles aident à soutenir les autres éléments du CRG. De plus, en incluant les résultats et le rendement à titre d'attente principale de la gestion, le CRG prend un engagement manifeste à l'égard de l'évaluation.
L'évaluation peut fournir en temps opportun de l'information sur les impacts et la pertinence en regard des objectifs stratégiques d'un organisme. Elle peut donc combler certains des besoins en information de la SRRG. Les plans annuels d'évaluation (niveau de l'organisation) et les CGRR (niveau des programmes) établissent des liens vers la SRRG.
Le graphique qui suit situe l'évaluation par rapport à d'autres initiatives gouvernementales.
L'évaluation en contexte
Principaux ouvrages de référence
Société canadienne de l'évaluation, Projet de soutien pour la défense des intérêts et le développement professionnel : avantages de l'évaluation, extrants et éléments de connaissances , 16 septembre 2002.
Goss Gilroy Inc., Examen des approches adoptées par d'autres administrations. Enseignements tirés de l'expérience internationale en matière de mesure du rendement et d'évaluation dans les petits organismes , 2003.
National Science Foundation, User-Friendly Handbook for Project Evaluation
Site Web du Secrétariat du Conseil du Trésor du Canada, Outil d'apprentissage en ligne de la GAR
Site Web du Secrétariat du Conseil du Trésor du Canada, Cadre de responsabilisation de gestion
Secrétariat du Conseil du Trésor du Canada, Politique d'évaluation et normes , 2001.
Secrétariat du Conseil du Trésor du Canada, Élaboration et utilisation des cadres de gestion et de responsabilisation axés sur les résultats , avril 2004.
Secrétariat du Conseil du Trésor du Canada, Des résultats pour les Canadiens et les Canadiennes , 2000.
- Date de modification :