Guide d’évaluation des petits organismes

Guide d'évaluation
des petits organismes

Remerciements

Première section : Introduction

Deuxième section : Définition de l'évaluation

Troisième section : Élaboration d'une fonction d'évaluation

Quatrième section : Cycle d'évaluation

Cinquième section : Gestion des évaluations

Sixième section : Utilisation des évaluations

Annexe A – Types de petits organismes
Annexe B – Initiatives horizontales
Annexe C – Obtention des conseils et du soutien externes
Annexe D РLes sept crit̬res du Comit̩ d'examen des d̩penses
Annexe E РRenseignements sur la planification et l'ex̩cution des ̩valuations
Annexe F РMod̬le de mandat
Annexe G – Glossaire
Annexe H РLiens concernant l'̩valuation

Première section : Introduction

Ce guide pratique présente des méthodes efficaces de planification et de gestion des projets d'évaluation, fournit des stratégies qui favoriseront le recours à l'information obtenue des évaluations pour la prise de décisions stratégiques au sein des petits organismes et donne des exemples de documents qui sont utilisés dans le processus d'évaluation.  

Le guide tire parti des travaux qui ont été menés en 2003-2004 concernant l'élaboration de modèles satisfaisants d'évaluation et de mesure du rendement dans les petits organismes [1]. Il constitue la prochaine étape de l'aide accordée aux petits organismes pour qu'ils renforcent leur capacité de planifier, de mettre en œuvre et de gérer les évaluations.

1.1  Objet du guide

Le présent guide devrait vous aider à atteindre les objectifs suivants :

1.2  Public cible du guide

Le présent guide s'adresse aux petits organismes qui ont besoin d'aide pour mettre en œuvre les exigences de la Politique d'évaluation du Conseil du Trésor du Canada (CT). Il vise en premier lieu les employés qui y sont chargés de l'évaluation. Les lecteurs qui ont une expérience restreinte dans ce domaine trouveront que cet ouvrage fournit des renseignements détaillés sur la plupart des volets de l'évaluation et contient de l'information utile comme le contexte, des définitions, des listes de contrôle, des conseils à la direction ainsi que des renvois permettant d'obtenir plus de précisions sur certains sujets. Les lecteurs ayant plus d'expérience en matière d'évaluation trouveront que certaines parties ou sections du guide sont plus utiles que d'autres, comme les listes de contrôle. Reconnaissant le caractère varié des besoins en matière d'évaluation et d'information des petits organismes, le guide tente d'y répondre.

1.3  Contexte des petits organismes

La plupart des petits organismes ont été mis sur pied par le gouvernement fédéral afin de remplir des mandats précis de manière autonome. Par exemple, certains organismes prennent des décisions impartiales (notamment les tribunaux), d'autres s'acquittent d'un rôle de facilitateur ou d'intermédiaire et d'autres encore exécutent des mandats de réglementation et d'inspection. L'annexe A présente un aperçu des différents types de petits organismes.

En ce qui a trait à l'évaluation, des études antérieures [2] ont signalé que beaucoup de petits organismes étaient confrontés à des défis lors de l'élaboration de leurs fonctions d'évaluation et de mesure du rendement. Le manque de ressources et de capacité suffisantes, la nécessité d'adapter les modèles de plus grands organismes ainsi que l'intégration de la fonction à leurs activités quotidiennes sont autant de défis que ces petits organismes ont dû relever.

En tant que groupe, les petits organismes ont également des défis et des caractéristiques uniques par rapport aux ministères fédéraux de taille moyenne et importante. Une de ces différences tient au fait que les petits organismes ont souvent un ou deux secteurs d'activité principaux alors que les ministères de taille moyenne et importante en ont souvent un grand nombre, qui regroupent de nombreux programmes, initiatives et politiques. De plus, par rapport à ces ministères, les petits organismes jouissent d'une moins grande marge de manœuvre en matière de ressources financières. Compte tenu de ces différences et de nombreuses autres, bien des aspects des modèles qui permettent de répondre aux exigences sur le plan de la responsabilisation et du rendement des ministères de taille moyenne et importante ne s'appliquent pas aux petits organismes.

Lorsqu'il s'agit de déterminer le genre de modèle d'évaluation et de mesure du rendement à appliquer à la collectivité des petits organismes, il convient de noter qu'en dépit des points communs entre cette collectivité et celles des ministères de taille moyenne et importante, il existe également une grande diversité au sein même de ce groupe. La collectivité des petits organismes du gouvernement du Canada est diversifiée sur de nombreux plans dont la structure organisationnelle, les rapports avec les grands ministères, la nature du travail et la taille de l'organisation. Outre ces dimensions, d'autres entrent aussi en jeu en ce qui a trait au genre et à la nature de l'information dont les organismes ont besoin pour prendre des décisions et assurer la responsabilisation dans leurs organisations.  

En 2003, dans le cadre d'un projet intitulé Modèles d'évaluation et de mesure du rendement des petits organismes [3], le Secrétariat du Conseil du Trésor du Canada a présenté trois modèles de fonction d'évaluation et de mesure du rendement pour les petits organismes fédéraux. Deux éléments principaux ont été pris en compte lors de l'élaboration des modèles, à savoir les types de décisions prises par la gestion et les types de renseignements dont avaient besoin les organismes pour prendre des décisions.

Voici ces modèles :

Modèle A – Besoins en renseignements routiniers

Modèle B – Besoins en renseignements routiniers et complexes

Modèle C – Besoins en renseignements complexes.

Pour obtenir une description plus détaillée des modèles et connaître la classification de votre organisme, veuillez consulter le site Web du SCT

1.4 Structure du guide

De plus, le guide compte un certain nombre d'annexes renfermant des renseignements détaillés qui peuvent servir de références.

1.5  Utilisation du guide

Le guide est conçu pour être utilisé de différentes manières. Les lecteurs qui ont joint depuis peu la collectivité de l'évaluation désirent peut-être consulter systématiquement l'ensemble du présent guide, tandis que ceux ayant plus d'expérience dans le domaine peuvent juger plus utile de consulter immédiatement la section voulue. Quelle que soit la manière que vous choisissez pour consulter le guide, nous vous prions de noter les symboles qui sont utilisés dans le texte dont les suivants :

Vous trouverez à l'annexe E un guide plus détaillé de la planification et de la mise en œuvre de l'évaluation.

Principaux ouvrages de référence

Secrétariat du Conseil du Trésor du Canada, Modèles d'évaluation et de mesure du rendement des petits organismes, Rapport sommaire , 2003.

Secrétariat du Conseil du Trésor du Canada, Indépendance et partenariat – À la recherche de l'équilibre : un dialogue sur la prise de décisions axées sur les valeurs et l'éthique au sein des petits organismes , 2003.

Secrétariat du Conseil du Trésor du Canada, Politique d'évaluation et normes , 2001.

Deuxième section : Définition de l'évaluation

2.1 Définition de l'évaluation

Il convient de signaler ce qui suit au sujet de l'évaluation :

• elle est périodique (elle suit un « cycle Â»);
• elle peut viser les politiques, les programmes ou les initiatives d'un petit organisme;
• elle suppose un jugement sur le mérite ou la valeur d'une politique, d'un programme ou d'une initiative (en fonction de données systématiques de grande qualité);
• elle met l'accent sur la manière dont les résultats sont atteints et pourquoi ils le sont;
• elle se penche sur les effets prévus et imprévus;
• elle tente de trouver des options et des stratégies futures pour apporter des améliorations.

2.2  Objectif de l'évaluation

Après la publication du document intitulé Des résultats pour les Canadiens et les Canadiennes : Un cadre de gestion pour le gouvernement du Canada en avril 2001, le CT a émis une Politique d'évaluation pour « faire en sorte que le gouvernement dispose en temps voulu de renseignements stratégiques, objectifs et solides au sujet du rendement de ses politiques, programmes et initiatives pour produire de meilleurs résultats pour les Canadiens et les Canadiennes. Â»

L'évaluation a deux objectifs principaux :

1.  Amélioration : aider les gestionnaires à concevoir dès le départ de meilleurs programmes, politiques et initiatives et à les améliorer par la suite.

2.  Responsabilisation : fournir périodiquement, le cas échéant, des évaluations de l'efficacité des politiques, des programmes ou des initiatives, en ce qui a trait aux répercussions intentionnelles ou fortuites et aux autres méthodes qui permettent d'obtenir les résultats attendus.

Dans le contexte des petits organismes, les objectifs d'amélioration et de responsabilisation sont pertinents. Les évaluations peuvent les aider à ce qui suit :

• mettre davantage l'accent sur les résultats dans le cadre des processus décisionnels;
• fournir de l'information valable sur le rendement pour les rapports ministériels sur le rendement et la Structure des ressources et des résultats de gestion (par exemple, la pertinence d'un programme et les réalisations en fonction des objectifs stratégiques);
• satisfaire aux exigences du Cadre de responsabilisation de gestion (par exemple, résultats et rendement, responsabilisation, gestion du risque, politiques et programmes).

2.3  Évaluation et cycle d'élaboration des programmes

Les procédés de planification et d'évaluation sont idéalement interdépendants. L'évaluation peut et devrait être intégrée au procédé de planification des organismes. De concert avec les commentaires sur les activités de mesure du rendement, l'information recueillie grâce aux évaluations peut orienter la planification au sein de l'organisme.

2.4 Aperçu des tâches liées à l'exécution des évaluations

L'illustration qui suit présente un aperçu des tâches liées à l'exécution d'une évaluation. Les quatrième, cinquième et sixième sections du présent guide examinent ces tâches de manière plus approfondie.

2.5  Types d'évaluations

Il existe deux principaux types d'évaluations : l'évaluation formative et l'évaluation sommative.

Dans le contexte fédéral, on fait souvent référence à un autre genre d'évaluation, l' évaluation horizontale , c'est-à-dire l'examen d'initiatives qui supposent des activités coordonnées de plusieurs ministères ou organismes. Si vous désirez obtenir plus d'information à cet égard, veuillez consulter l'annexe   B .  

2.6  Autres activités en matière de responsabilisation

Comme nous l'avons déjà précisé, l'évaluation est un genre d'activité ou d'outil dont peuvent se servir les gestionnaires pour faire état de la responsabilisation. La présente section contient de brèves descriptions d'autres outils (par exemple, la mesure du rendement ou la vérification), un exposé sur la manière de savoir quand chaque outil est le plus approprié et un exposé sur la manière de les utiliser conjointement.

2.6.1  Mesure du rendement

La mesure du rendement désigne la collecte périodique de renseignements pour surveiller l'état d'une politique, d'un programme ou d'une initiative à un moment donné. En général, elle met l'accent sur la communication d'information sur le rendement opérationnel aux gestionnaires de programmes. Dans le cas de nombreux petits organismes, une des premières tâches que suppose la mise au point d'une fonction d'évaluation est l'élaboration d'une stratégie de mesure du rendement qui englobe l'évaluation périodique.

L'évaluation et la mesure du rendement sont deux mesures qui se complètent. L'évaluation assure la responsabilisation en veillant à ce que la mesure du rendement soit au point et à ce que les indicateurs soient appropriés. Pour leur part, les données de mesure du rendement représentent souvent d'importantes sources de renseignements pour les évaluations périodiques.

2.6.2  Vérification interne

La vérification interne est une fonction qui donne des assurances quant à la stratégie de gestion des risques d'un ministère ou d'un organisme et à son cadre de contrôle et d'information de gestion, tant sur le plan financier que non financier, et ce, pour la prise de décisions et l'établissement des rapports.

La fonction de vérification interne :

• évalue la petinence du contrôle interne;
• vérifie la conformité aux règles, règlements et procédures établis;
• évalue le risque inhérent à chacun des points susmentionnés;
• examine systématiquement les opérations pour assurer la conformité aux politiques, stratégies et plans;
• examine systématiquement les pratiques et contrôles de la gestion;
• examine l'information pour en déterminer la validité (par exemple, information financière, opérationnelle et de gestion);
• définit les politiques, projets et initiatives qui sont gérés par une entité (domaine de vérification).

2.6.3  Examen

Les examens sont souvent menés en réponse à un besoin urgent ou immédiat de la direction. Ainsi, ils portent habituellement sur la production rapide de renseignements suffisants qui alimenteront le processus décisionnel ou rassureront la haute direction quant aux dimensions d'un problème ou d'une situation. La méthodologie qui est employée pour recueillir l'information est généralement secondaire à la formulation d'une réponse satisfaisante en temps opportun (c'est-à-dire, le non-respect des protocoles et approches d'évaluation ou de vérification). Même s'ils sont utiles lorsqu'il s'agit de donner suite à des enjeux ciblés, les examens ou les études spéciales ne sont pas conformes aux exigences en matière d'établissement de rapports externes, de procédés de contrôle des projets ou de normes qui délimitent une discipline telle que la vérification ou l'évaluation.

2.7  Évaluation en contexte

L'évaluation est effectuée depuis longtemps au gouvernement fédéral. Elle a été perçue tout récemment comme un des principaux outils pour les gestionnaires de la fonction publique qui sont chargés de traiter des exigences inhérentes aux récentes approches de gestion dans le secteur public. Certaines d'entre elles sont décrites brièvement ci-dessous afin de placer l'évaluation dans son contexte actuel. Il est possible d'obtenir plus de précisions sur chacune des approches ou initiatives en s'adressant directement au SCT [5] . Toutes les initiatives décrites ci-après continueront d'influer sur les gestionnaires des petits organismes qui renforcent leurs capacités dans des domaines tels l'évaluation, la mesure du rendement et la vérification interne.

2.7.1  Gestion axée sur les résultats

La gestion axée sur les résultats est une approche globale de gestion visant à améliorer le rendement grâce à l'obtention de meilleurs résultats.

Peu après avoir diffusé le document Des résultats pour les Canadiens et les Canadiennes en 2000, le gouvernement fédéral a instauré le Cadre de gestion et de responsabilisation axé sur les résultats (CGRR) à titre d'outil servant à planifier, à surveiller, à évaluer les résultats d'un programme et à faire rapport sur ceux-ci. Le CGRR intègre la fonction d'évaluation au contexte de la gestion axée sur les résultats et sert de lien avec la Structure des ressources et des résultats de gestion (voir ci-après). Les CGRR seront examinés en détail à la Quatrième section du présent guide.

2.7.2  Cadre de responsabilisation de gestion (CRG)

Le Cadre de responsabilisation de gestion définit et précise les attentes de gestion. Il s'agit d'une série de dix énoncés qui résument les attentes du SCT à l'égard de la gestion de la fonction publique moderne. Le CRG vise les objectifs suivants :

• améliorer les pratiques de gestion et la gérance des ressources au gouvernement;
• faire concorder les attentes de la gestion avec la vision du cadre intitulé Des résultats pour les Canadiens et les Canadiennes ;
• présenter la gestion à titre de vaste fonction d'intégration.

Le CRG est utilisé :

• à titre de fondement du dialogue entre le SCT et les ministères ou organismes;
• à titre d'outil d'évaluation de la santé organisationnelle;
• à titre d'intrant de l'évaluation du rendement des sous-ministres;
• à titre de cadre des prochains rapports sur la gestion.

Le graphique qui suit représente le Cadre de responsabilisation de gestion.

Cadre de responsabilisation de gestion : les dix éléments essentiels de la gestion moderne

2.7.3  Structure des ressources et des résultats de gestion (SRRG)

La Structure des ressources et des résultats de gestion (SSRG) remplace la Structure de planification, de rapport et de responsabilisation (SPRR) . Conformément aux attentes prévues par le CRG, la SRRG appuie la gouvernance et l'orientation stratégique, les obligations de rendre compte, ainsi que les résultats et le rendement. La nouvelle politique est axée sur le niveau organisationnel et encourage la concordance entre les programmes, ressources et pratiques de gestion, d'une part, et les résultats escomptés, d'autre part.  

L'Architecture des activités de programmes (AAP) représente un des éléments de la SRRG et comprend les éléments suivants :

• des résultats stratégiques pertinents et clairement définis;
• un répertoire complet des programmes qui établit des liens entre tous les programmes et activités de programmes des organismes de manière à ce qu'ils parviennent à atteindre ces résultats stratégiques.

Au fil du temps, la SRRG intégrée devrait également comprendre les éléments suivants :

• des mesures du rendement pour chaque niveau de l'architecture de l'organisme;
• une structure de gouvernance qui définit la prise de décisions et la responsabilisation par résultat et par programme.

Le Système d'information sur la gestion des dépenses (SIGD) fournira un cadre commun qui fera concorder l'information sur les priorités, les plans, les dépenses réelles et les résultats.

2.7.Place de l'évaluation

En raison de l'importance qu'elle accorde au « comment Â» et au « pourquoi Â» des résultats, l'évaluation est un outil clé de la gestion des résultats. Dans le cadre des pratiques de gestion, elle peut aider à concevoir et à améliorer les programmes. Elle devrait être utilisée conjointement avec d'autres outils de gestion pour améliorer la responsabilisation et la prise de décisions.  

Les évaluations représentent des outils importants qui permettent de faire état des résultats et du rendement et, à ce titre, elles aident à soutenir les autres éléments du CRG. De plus, en incluant les résultats et le rendement à titre d'attente principale de la gestion, le CRG prend un engagement manifeste à l'égard de l'évaluation.  

L'évaluation peut fournir en temps opportun de l'information sur les impacts et la pertinence en regard des objectifs stratégiques d'un organisme. Elle peut donc combler certains des besoins en information de la SRRG. Les plans annuels d'évaluation (niveau de l'organisation) et les CGRR (niveau des programmes) établissent des liens vers la SRRG.

Le graphique qui suit situe l'évaluation par rapport à d'autres initiatives gouvernementales.

L'évaluation en contexte

Principaux ouvrages de référence

Société canadienne de l'évaluation, Projet de soutien pour la défense des intérêts et le développement professionnel : avantages de l'évaluation, extrants et éléments de connaissances , 16 septembre 2002.

Goss Gilroy Inc., Examen des approches adoptées par d'autres administrations. Enseignements tirés de l'expérience internationale en matière de mesure du rendement et d'évaluation dans les petits organismes , 2003.

National Science Foundation, User-Friendly Handbook for Project Evaluation

Site Web du Secrétariat du Conseil du Trésor du Canada, Outil d'apprentissage en ligne de la GAR

Site Web du Secrétariat du Conseil du Trésor du Canada, Cadre de responsabilisation de gestion

Secrétariat du Conseil du Trésor du Canada, Politique d'évaluation et normes , 2001.

Secrétariat du Conseil du Trésor du Canada, Élaboration et utilisation des cadres de gestion et de responsabilisation axés sur les résultats , avril 2004.

Secrétariat du Conseil du Trésor du Canada, Des résultats pour les Canadiens et les Canadiennes , 2000.

Troisième section : Élaboration d'une fonction d'évaluation

3.1 Défis en matière d'élaboration d'une fonction d'évaluation

Comme nous l'avons déjà mentionné, beaucoup de petits organismes sont aux prises ou ont été aux prises avec d'importants défis en matière d'élaboration de la capacité d'évaluation et de mesure du rendement. En dépit de ces défis, quelques petits organismes ont réalisé des progrès appréciables dans la mise en œuvre d'activités d'évaluation et de rendement. Ces derniers organismes accordent de la valeur à l'information et aux constatations issues de la mesure du rendement et des évaluations et s'en servent activement pour appuyer la prise de décisions et la planification organisationnelle.

Nous avons constaté que certains facteurs, notamment les suivants, étaient associés à la capacité d'évaluation renforcée des petites organisations :

• Les organismes dotés d'un mandat de réglementation ou de recherche peuvent être essentiellement de nature plus évaluative parce qu'ils sont habitués à recourir au processus d'analyse et d'évaluation qu'exigent la mesure du rendement et l'évaluation.  
• Les niveaux politiques et de la haute direction de l'organisation ont pris un engagement à l'égard des activités d'évaluation et de mesure du rendement.
• Les gestionnaires comprennent bien le rôle de l'évaluation dans le cycle de gestion.  
• La culture existante favorise le recours à l'information pour la prise de décisions.
• Un groupe interne a la capacité de promouvoir les services de mesure du rendement et d'évaluation dans l'organisation et de déployer les efforts nécessaires pour communiquer les résultats de l'évaluation aux gestionnaires et aux intervenants externes.
• L'organisme compte un « champion Â» identifiable qui comprend les avantages de la mesure du rendement et de l'évaluation et s'affaire à les faire connaître aux autres membres de l'organisation.
• Il y a un soutien de la haute direction, ce qui permet d'apporter les changements culturels globaux qui s'imposent dans l'organisation à mesure qu'elle intègre les concepts et processus la mesure du rendement et de l'évaluation aux activités quotidiennes de l'organisation [6] .

Les petits organismes sont confrontés à de nombreux défis lorsqu'ils tentent de renforcer leur capacité d'évaluation. Il y a notamment les suivants :

• Souvent, le dirigeant de l'organisme accède à son poste à la suite d'une nomination politique et il ne possède pas une vaste expérience au sein de la fonction publique. Il peut en découler un manque de soutien ou de compréhension de sa part quant aux enjeux des rapports sur le rendement et de l'évaluation dans le contexte de la fonction publique.
• Les restrictions auxquelles font face les petits organismes au chapitre des ressources sont évidentes. Ils ont donc souvent peu de marge de manœuvre dans l'affectation de leurs ressources pour la création de nouveaux processus internes qui ne font pas directement partie de leur mandat.
• En ce qui a trait aux facteurs liés aux ressources humaines, les petits organismes ont de la difficulté à attirer des personnes talentueuses, même lorsque les postes existent.  
• La charge de travail pourrait ne pas justifier une fonction d'évaluation à temps plein.

Comme nous l'avons démontré, l'environnement des petits organismes crée des circonstances et des défis uniques pour le renforcement de la capacité d'évaluation et de mesure du rendement. Vous trouverez dans d'autres sous-sections du présent guide des suggestions au sujet du renforcement de la capacité.

3.2  Listes de contrôle de la mise en œuvre de la Politique de l'évaluation

La présente section contient de nombreuses listes de contrôle qui aideront le lecteur à se familiariser avec les diverses sections de la Politique d'évaluation du CT. Ceux qui connaissent déjà la politique jugeront utile de consulter les différentes listes afin d'y déceler les écarts éventuels ou les secteurs qui ont été abordés par leurs organismes lors de la mise en œuvre de la politique.

*  Dans le cas des petits organismes, un comité ministériel d'évaluation ou un comité mixte de vérification et d'évaluation pourrait remplir le même rôle. Dans les petits organismes (qui comptent, disons, moins de 50 ETP), le comité d'évaluation, le comité ministériel supérieur et le comité de gestion sont souvent composés des mêmes personnes.

3.2.1  Établissement du plan d'évaluation de l'organisme

Le plan d'évaluation est axé sur la stratégie et est conçu de manière à répartir équitablement la charge de travail entre le respect des besoins internes en information de l'organisme et la préparation de rapports externes, et ce, conformément aux priorités du gouvernement fédéral. Ce plan devrait être élaboré ou examiné une fois l'an, mais il peut être pluriannuel. Beaucoup de petits organismes peuvent exécuter une ou même deux évaluations aux cinq ans. Par conséquent, le plan annuel d'évaluation fera plus vraisemblablement l'objet d'un examen que d'une élaboration chaque année. Au cours de l'examen, le plan devrait être mis à jour et modifié afin de tenir compte des changements qui sont survenus au cours des douze mois précédents.

Le plan d'évaluation peut comprendre des mesures en fonction des résultats stratégiques de la SRRG, traiter du répertoire des projets, utiliser les mesures continues du rendement et procurer à la structure de gouvernance les éléments requis qui appuieront les besoins en matière de processus décisionnels de la SRRG.

Veuillez consulter le guide détaillé des pratiques exemplaires en matière d'élaboration et du dépôt des plans annuels d'évaluation que vous trouverez sur le site Web du SCT : http://www.tbs-sct.gc.ca/cee/pubs/guide/dep-epe-eng.asp . La liste de contrôle qui suit résume ces pratiques exemplaires ou nouvelles. Il est cependant à noter que les différents points ne sont pas tous des éléments requis. (Veuillez vous reporter à la liste de contrôle précédente pour les éléments requis de la Politique d'évaluation .)

*  Aux termes de la Politique d'évaluation , les rapports d'évaluation doivent être publiés.

3.3  Renforcement de la capacité d'évaluation interne

Le concept de renforcement de la capacité est semblable aux concepts du perfectionnement organisationnel, de l'efficacité organisationnelle ou du rendement organisationnel.

Le renforcement de la capacité suppose un éventail d'activités, dont celles qui suivent :

• combler les écarts de l'infrastructure en déterminant et en fournissant les outils et la formation nécessaires;
• fournir les mesures d'encouragement qui permettent de reconnaître et de renforcer les nouveaux comportements;
• mettre l'accent sur les personnes et veiller à ce que des stratégies soient instaurées pendant la période de transition;
• appuyer la collaboration avec d'autres organismes et partenaires;
• mettre en place d'autres méthodes de gestion du rendement organisationnel, y compris l'approche de la carte de pointage équilibrée, les principes de changement organisationnel, le changement culturel et l'apprentissage organisationnel.

3.3.1  Étapes du renforcement de la capacité d'évaluation

Le renforcement de la capacité au sein d'une organisation suit habituellement les trois étapes de base suivantes :

Premi̬re ̩tape РD̩termination des ̩carts

Déterminer les écarts et les enjeux liés à la capacité d'évaluation.

Deuxième étape – Élaboration des stratégies

Déterminer les changements ou les stratégies qui s'imposent pour combler ces écarts.

Troisi̬me ̩tape РFormulation d'un plan d'action du changement

3.3.2  Stratégies de renforcement de la capacité d'évaluation

L'encadré qui suit contient des exemples sur la manière dont certains petits organismes ont renforcé leur capacité de mesure du rendement et d'évaluation.

Nous vous donnons ci-dessous un aperçu de quelques-unes des approches de renforcement de la capacité qui ont été proposées lors de l'exercice d'élaboration de modèles de mesure du rendement et d'évaluation qui a été mené dans les petits organismes :

• renforcer l'engagement et soutenir le changement culturel dans une organisation;
• nommer un « champion Â» de l'évaluation;
• fournir la formation et le perfectionnement appropriés aux employés (par exemple, mentorat);
• travailler de concert avec un organisme central ou un grand ministère pour repérer les enseignements tirés qui peuvent être adaptés à l'environnement d'un petit organisme;
• reconnaître l'importance de la planification de l'évaluation, préciser les objectifs de la fonction d'évaluation et établir des liens entre celle-ci et d'autres fonctions de l'organisme;
• obtenir des conseils et du soutien externes (par exemple, SCT, Centre d'excellence, Réseau des administrateurs de petits organismes, Société canadienne de l'évaluation) [7] ;
• déterminer ou mettre à profit d'autres ressources provenant de sources externes et internes;
• élaborer ou perfectionner la formation en leadership dans l'organisme de sorte que le rôle de l'évaluation dans un environnement de gestion axée sur les résultats soit bien compris.

Il faut avoir des habiletés de gestion générale des projets pour planifier, mettre en œuvre et gérer efficacement les évaluations. Ainsi, les projets d'évaluation ne se distinguent pas beaucoup de nombreux autres projets que les gestionnaires de la fonction publique devront planifier et mettre en œuvre dans un environnement axé sur les résultats. La liste de contrôle qui suit sert de guide générique à ceux qui désirent renforcer et surveiller la capacité dans le domaine de la gestion de projet.

Principaux ouvrages de référence

Site Web de la collectivité des petits organismes, .

London School of Economics and Political Science, Juggling On a Unicycle: A Short Guide to Organizing A Small Agency , 1999.

Forum sur le rendement et la planification, Making Change Personal: Why we don't know what we know , novembre 2003.

Secrétariat du Conseil du Trésor du Canada, Modèles d'évaluation et de mesure du rendement des petits organismes, Rapport sommaire , 2003.

Secrétariat du Conseil du Trésor du Canada, Changer la culture de gestion : modèles et stratégies pour réaliser cet objectif , 2003.

Secrétariat du Conseil du Trésor du Canada, Politique d'évaluation et normes , 2001.

Secrétariat du Conseil du Trésor du Canada, Les pratiques de la fonction de contrôleur : vers l'excellence en gestion , 2003.

Secrétariat du Conseil du Trésor du Canada, Examen des approches adoptées par d'autres administrations. Enseignements tirés de l'expérience internationale en matière de mesure du rendement et d'évaluation dans les petits organismes , 2003.

Quatrième section : Cycle d'évaluation

Aperçu du cycle de vie de l'évaluation

La présente section présente un aperçu d'une évaluation depuis la préparation d'un CGRR jusqu'à la collecte de l'information et à la rédaction du rapport. Le graphique qui suit illustre le cycle d'évaluation.

La section porte sur les trois premières étapes, à savoir planifier, mettre en œuvre et communiquer l'information. Plus précisément, elle est présentée comme suit :

Rédaction du plan au niveau du programme (ou CGRR)

• décrire le projet
• préparer le modèle logique
• préparer la stratégie de mesure du rendement
• élaborer une stratégie d'évaluation.

 Exécution de l'évaluation

• recueillir l'information
• analyser l'information.

Rédaction du rapport

La quatrième étape du cycle de vie global de l'évaluation, c'est-à-dire l'utilisation des résultats de l'évaluation, sera abordée à la Sixième section.

4.1  Planification de l'évaluation

Afin que l'évaluation soit un produit utile, il faut préciser les détails au début du cycle de vie de l'évaluation. Il importe d'abord de faire comprendre les motifs de l'exécution de l'évaluation. Vous trouverez ci-après une liste de contrôle qui vous aidera à planifier votre évaluation au niveau du programme.

4.2  Cadre de gestion et de responsabilisation axé sur les résultats (CGRR) : Outil de planification

Comme le Cadre de gestion et de responsabilisation axé sur les résultats (CGRR) est un outil commun de planification des évaluations au gouvernement fédéral, la présente sous-section décrit ce cadre et ses composantes. Elle met l'accent sur le profil, le modèle logique et la stratégie d'évaluation, mais ne fournit qu'une description de haut niveau de la stratégie de mesure continue du rendement.

La section précédente traitait du plan global d'évaluation d'un organisme, mais la présente sous-section met l'accent sur la planification de l'évaluation d'un programme précis . La composante du cadre d'évaluation du CGRR devrait toutefois être liée au plan d'évaluation de l'organisme.

4.2.1  Foire aux questions sur les CGRR

4.2.2  Établissement du profil du programme

Il importe de bien comprendre l'organisation et le programme pour être en mesure de guider les activités de surveillance et d'évaluation. Le profil type comprend un résumé du contexte, des objectifs, des intervenants et bénéficiaires principaux, des structures organisationnelles ainsi que la structure de gouvernance et des ressources. Il devrait indiquer clairement les objectifs que le programme tente d'atteindre et comment il prévoit le faire.

*  Par le passé, les profils de programme ont habituellement compris les résultats prévus et la stratégie de prestation. Ces composantes font maintenant partie de la section, Résultats prévus et théorie du programme (modèle logique).

4.2.3 Élaboration du modèle logique

Composantes d'un modèle logique

Si l'apparence des modèles logiques peut varier considérablement, ils comptent habituellement trois composantes principales, à savoir les activités, les extrants et les résultats.

Certains modèles logiques comportent d'autres caractéristiques, dont celles qui suivent :

• Portée – À quels groupes ou clients cibles les activités s'adressent-elles?
• Intrants – Quelles ressources ont été utilisées?
• Facteurs internes et externes – Quels sont les facteurs sur lesquels l'influence ou le contrôle peut ou non être exercé?

Un exemple : Projet relatif à des subventions à la recherche

TYPE 1 : Organigramme ou modèle logique classique

L'organigramme ou le modèle logique classique illustre la séquence des résultats qui découlent (ou proviennent) des activités et des extrants. Il s'agit d'un modèle logique très souple tant que les trois composantes centrales sont présentées, à savoir les activités, les extrants et les résultats. Vous pouvez avoir n'importe quel nombre de niveaux de résultats pour vous assurer que votre modèle logique représente la séquence des résultats, et ce, de manière satisfaisante.

Les liens de cause à effet peuvent être expliqués par des énoncés comme « si… alors Â». Par exemple, si l'activité est instaurée, alors les extrants seront produits. Si le résultat immédiat est atteint, alors il mènera vers le résultat intermédiaire, et ainsi de suite.

TYPE 2 : Modèle à enchaînement de résultats

Ce type de modèle est également désigné par l'expression « enchaînement du rendement Â». Semblable au modèle à organigramme, il n'isole toutefois pas les activités, les extrants ou les résultats précis. L'enchaînement de résultats ne donne donc pas les mêmes précisions concernant la séquence causale des extrants et des résultats.

Cependant, les deux types de modèles logiques servent de structure pour décrire les attentes d'un programme et de fondement aux rapports sur le rendement. À l'instar du modèle à organigramme, il s'appuie sur la justification ou la théorie du programme.

Source :   Six étapes faciles, Gestion axée sur les résultats, Guide à l'intention des gestionnaires , avril 2003, Division de l'évaluation, ministère des Affaires étrangères et du Commerce international.

Autres facteurs à considérer

• L'élaboration de l'enchaînement des résultats prend moins de temps.
• Le modèle logique à organigramme fait mieux comprendre comment des activités précises peuvent aboutir à des résultats.
• Vous pouvez élaborer un, deux ou trois niveaux de résultats selon ce qui convient à votre programme ou organisation.

4.2.Élaboration du plan de surveillance de la gestion du rendement d'un CGRR

Bien que le guide porte sur l'évaluation, les CGRR qui y sont mentionnés exigent en outre un plan de surveillance. La présente stratégie pourrait créer en permanence un flux d'information en temps opportun, et ce, à l'appui du processus décisionnel. Il importe de signaler que certaines données exigées à des fins d'évaluation peuvent être recueillies continuellement dans le cadre du système de mesure du rendement.

Les indicateurs de la stratégie de mesure du rendement sont établis à partir des extrants et des résultats du modèle logique. Il faut indiquer la source de données, la méthode de collecte, l'échéancier et la fréquence de la collecte des données ainsi que la responsabilité en matière de mesure du rendement se rapportant à chacun des indicateurs.

4.2.5  Élaboration de la stratégie d'évaluation

Aperçu d'une stratégie d'évaluation

La stratégie d'évaluation comporte les éléments suivants :

• enjeux et questions de l'évaluation;
• indicateurs correspondants;
• sources de données (y compris rapports sur la mesure du rendement);
• méthode de collecte des données;
• échéancier;
• coûts estimatifs des activités d'évaluation.

La stratégie d'évaluation peut être présentée sous forme de tableau comme dans l'exemple qui suit.

Énonciation efficiente et efficace de la stratégie pour combler les besoins de l'organisme

La stratégie d'évaluation devrait faire l'équilibre entre la nécessité d'obtenir des données en temps opportun et crédibles, d'une part, et le côté pratique, d'autre part. Établir de bons liens entre l'évaluation et la mesure du rendement permettra que l'information sur le rendement soit utilisée à titre de source d'information pour les évaluations. Pour leur part, les liens entre la planification et l'évaluation assureront le ciblage adéquat de la stratégie et son orientation vers les besoins en information.

Voici quelques points à prendre en considération lors de l'élaboration d'une stratégie d'évaluation.

• Songer à adopter une approche de méthodes mixtes équilibrée pour concevoir l'évaluation, ce qui devrait renforcer la conception et accroître la crédibilité des constatations.
• Accorder suffisamment d'importance aux besoins en information (par exemple, les enjeux du processus) et au caractère pratique, ce qui permettra d'orienter l'élaboration de votre stratégie d'évaluation.
• Faire porter les questions de l'évaluation sur les préoccupations d'évaluation les plus urgentes.
• Ne recueillir que l'information se rapportant aux questions.
• Songer, dans la mesure du possible, à des stratégies qui intègrent l'information provenant des activités de mesure du rendement et d'évaluation aux autres renseignements de gestion.
• Songer à utiliser, le cas échéant, les données existantes à titre de source d'information éventuelle pour l'évaluation.

Élaboration des enjeux et des questions de l'évaluation

Les enjeux de l'évaluation désignent les grands secteurs à examiner dans le cadre d'une évaluation, tandis que les questions de l'évaluation renvoient à des questions plus précises de recherche auxquelles il faut répondre pour être en mesure de traiter de chaque enjeu de l'évaluation.

La détermination des enjeux et des questions de l'évaluation sert à guider l'élaboration de la stratégie qui veillera à ce que tous les enjeux essentiels soient abordés lors de l'évaluation ultérieure. Les enjeux servent à établir une série d'indicateurs et de stratégies de collecte des données qui, une fois mis en œuvre, veilleront à ce que l'information nécessaire pour l'évaluation soit disponible au besoin. Ainsi, la stratégie d'évaluation doit être liée à la stratégie de mesure continue du rendement puisque certaines données d'évaluation seront recueillies par l'entremise des activités continues de mesure du rendement.

Pour savoir comment dresser une liste précise d'enjeux et de questions, veuillez consulter l'annexe E du présent guide. En ce qui a trait aux principaux secteurs visés par les enjeux de l'évaluation, reportez-vous au diagramme qui suit.

Établissement des indicateurs appropriés

Le tableau qui suit donne un exemple de divers indicateurs. Veuillez vous reporter à l'annexe E pour savoir comment établir des indicateurs pour votre organisme.

Source : Adaptation de Auto-̩valuation par les Premi̬res Nations de leurs programmes communautaires РGuide d'̩valuation du rendement .

Aperçu des conceptions de l'évaluation

 La conception de l'évaluation est un processus de réflexion sur ce que vous voulez faire et comment vous voulez procéder pour le faire.

La manière la plus pratique pour établir la conception de l'évaluation est de prendre en compte vos besoins en information (c'est-à-dire les questions de l'évaluation) et de vous en servir comme guide. Les principaux éléments à prendre en considération sont la faisabilité et le caractère pratique .

Les conceptions de l'évaluation sont habituellement classées dans les trois catégories suivantes :

• les conceptions expérimentales qui supposent la comparaison de clients et un groupe de contrôle (les personnes sont assignées au hasard. Ce type de conception est rarement utilisé dans le cadre des évaluations au gouvernement fédéral);
• les conceptions quasi expérimentales qui supposent la comparaison de clients et un groupe de contrôle, mais sans recourir à l'assignation aléatoire des personnes;
• les conceptions implicites qui supposent la mesure des effets d'un programme après sa mise en œuvre. Les groupes de contrôle et de comparaison ne sont pas utilisés.  

La conception implicite est la forme la plus utilisée de conception des évaluations. À la fonction publique, elle représente souvent la seule forme pouvant être utilisée lorsqu'aucune mesure antérieure au programme n'existe et qu'aucun groupe de contrôle évident n'est disponible, ou qu'il n'est pas raisonnable d'attribuer les interventions de manière aléatoire. Ce genre de conception est souple et sa mise en œuvre est pratique.  

Il convient cependant de signaler qu'il est passablement plus difficile d'attribuer les impacts à des interventions spécifiques lorsque nous passons des conceptions expérimentales (les meilleures au titre de l'attribution des impacts) aux conceptions implicites.

Aperçu des méthodes de collecte des données

Le tableau qui suit donne un aperçu des diverses méthodes de collecte des données que peuvent utiliser les évaluateurs. Il convient de signaler que ces méthodes visent des données soit primaires soit secondaires. L'enquêteur recueille directement les données primaires, tandis que les données secondaires sont recueillies et inscrites par une autre personne ou une autre organisation, parfois à des fins différentes.

Au moment de choisir les méthodes appropriées de collecte des données, vous pouvez tenir compte des éléments suivants :

• les besoins en information et les besoins décisionnels;
• les utilisations satisfaisantes, le pour et contre des méthodes de collecte des données;
• les coûts et le caractère pratique de chaque méthode;
• une approche équilibrée, un habile dosage de méthodes quantitatives et qualitatives.

Veuillez vous reporter à l'annexe E pour en savoir davantage sur le choix des méthodes appropriées de collecte des données.

4.3 Collecte de l'information

4.3.1  Collecte des données

La collecte des données devrait suivre les plans qui ont été élaborés à l'étape précédente. Les employés à qui ont été confiées les diverses tâches de collecte de données doivent avoir reçu une formation approfondie sur les exigences et la procédure connexes.

Des procédures satisfaisantes de contrôle de la qualité doivent être instaurées et maintenues au cours de l'étude d'évaluation. Si vous gérez une évaluation, vous devez être au courant des progrès de la collecte des données et de toute autre préoccupation s'y rapportant.  

Pour faciliter l'analyse, l'information recueillie dans le cadre d'une évaluation doit :

• recourir aux méthodes adaptées pour organiser et consigner l'information recueillie (par exemple, répartitions de la fréquence, catégories, tableaux);
• mettre en œuvre des procédures efficaces de contrôle de la qualité pour assurer l'exactitude de l'information consignée, ainsi que l'étiquetage et la protection de l'information originale.

4.3.2  Analyse des données

Les données recueillies doivent être analysées et interprétées. L'analyse peut prendre de nombreuses formes, depuis la description de base jusqu'à l'analyse statistique complexe selon le genre de données et la complexité des enjeux. Veuillez vous reporter à l'annexe E pour en savoir davantage sur la manière d'analyser les données.

Déductions de la cause et de l'effet

Les questions de l'évaluation et la conception de l'évaluation (c'est-à-dire expérimentale ou implicite) influent sur le choix des techniques d'analyse. À titre d'exemple, les conclusions tirées quant à la causalité dépendent de la conception de l'évaluation plutôt que de la technique d'analyse.  

Généralisation des constatations

Le seul moyen valide de généraliser les constatations pour une population entière ou une population cible (lorsqu'il est impossible de sonder ou d'étudier tous les membres) consiste à se servir des constatations provenant d'un échantillon aléatoire et statistiquement représentatif de la population à étudier. Il faut donc faire montre de prudence au moment d'analyser les données d'un échantillon qui n'est pas aléatoire.

Analyse qualitative et quantitative

L'analyse qualitative des données suppose des techniques efficaces de synthèse et d'interprétation. L'information qualitative peut notamment être utilisée pour fournir de l'information contextuelle, expliquer le fonctionnement d'un programme ou cerner les obstacles de la mise en œuvre. Les données qualitatives peuvent être analysées afin de déceler les tendances et les thèmes qui pourraient s'appliquer aux questions de l'évaluation. Le matériel qualitatif peut être présenté en catégories ou en tableaux, ce qui facilite le repérage des tendances, des écarts et des thèmes.  

L'analyse des données quantitatives attribue des valeurs numériques à l'information, qui passent des statistiques descriptives simples (par exemple, fréquence, portée, rang centile, moyenne) à l'analyse statistique plus compliquée (par exemple, test t, analyse des écarts). Des progiciels comme Statistical Package for Social Sciences (SPSS), Minitab et Mystat peuvent être utilisés pour les analyses plus compliquées. L'analyse des données quantitatives suppose elle aussi la maîtrise de techniques d'interprétation. Les constatations quantitatives devraient être prises en compte dans le contexte du programme.  

*  Lorsqu'il utilise des techniques avancées de collecte des données, l'évaluateur doit calculer la probabilité que les constatations ne soient pas « accidentelles Â». Les épreuves de signification lui permettent de déterminer quelle doit être la solidité des résultats pour qu'il soit raisonnablement certain que les résultats ne sont pas aléatoires.

4.4 Rédaction du rapport d'évaluation

Un bon rapport d'évaluation répond efficacement aux questions de l'évaluation. Les recommandations et enseignements doivent être concluants, concis et pratiques. Le sommaire devrait résumer le rapport dans son ensemble. Il représente souvent la section la plus lue du rapport et devrait donc contenir assez de détails pour que le lecteur ait une bonne idée des faits saillants de l'évaluation.

4.4.1  Table des matières

Le rapport d'évaluation contient habituellement les sections suivantes :

• Sommaire;
• Introduction et contexte;
• Portée et objectifs de l'évaluation;
• Approche et méthodologie;
• Constatations;
• Conclusions;
• Recommandations.

4.4.2  Établissement de liens entre les constatations, les conclusions et les recommandations

Il faut établir des liens clairs entre les constatations, l'analyse, les conclusions et les recommandations. Du point de vue pratique, les constatations peuvent ne pas répondre de manière concluante aux questions précises d'évaluation. Les conclusions regroupent les meilleurs éléments de preuve recueillis. La collecte de différents types d'éléments de preuve se rapportant à la même question d'évaluation peut accroître la crédibilité. Les recommandations devraient être liées à l'analyse et aux conclusions.

Principaux ouvrages de référence

ACDI, Direction générale de l'examen du rendement, Guide de l'évaluation à l'ACDI , 2004.

Société canadienne de l'évaluation, Evaluation Methods Sourcebook , 1991.

National Science Foundation, A User-friendly Guide to Mixed Method Evaluations , 1997.

Projet de Forest Research Extension, Conducting Project and Project Evaluations:  A Primer for Natural Resource Project Managers in British Columbia , 2003.

Gray & Guppy, Successful Surveys: Research Methods and Practice , 2003.

McLaughlin et Jordan, Logic Models: A Tool for Telling Your Program's Performance Story , 1999.

Stufflebeam, D.L., A Checklist Organizer. Guidelines for Choosing and Applying Evaluation Checklists : http://www.wmich.edu/evalctr/checklists/checklistorganizer.htm .

Secrétariat du Conseil du Trésor du Canada, Politique d'évaluation et normes , 2001.

Secrétariat du Conseil du Trésor du Canada, Art et méthode de rédaction de rapports d'évaluation , 2004.

Secrétariat du Conseil du Trésor du Canada, Guide pour l'examen des rapports d'évaluation , janvier 2004. http://www.tbs-sct.gc.ca/cee/tools-outils/grer-gere-fra.asp .

Secrétariat du Conseil du Trésor du Canada, Principes pour l'évaluation des programmes par les ministères et organismes fédéraux , 1984.

Secrétariat du Conseil du Trésor du Canada, Élaboration et utilisation des cadres de gestion et de responsabilisation axés sur les résultats , avril 2004.

Secrétariat du Conseil du Trésor du Canada, Méthodes d'évaluation des programmes : Mesure et attribution des résultats des programmes.

Secrétariat du Conseil du Trésor du Canada, Outil d'apprentissage en ligne de la GAR .

Cinquième section : Gestion des évaluations

5.1 Moment opportun pour utiliser les ressources externes

La présente sous-section décrit les lignes directrices permettant de déterminer le moment opportun pour utiliser les ressources externes. Les deux questions fondamentales qui suivent doivent être posées afin de déterminer quand doit-on recourir à des ressources externes dans le cadre d'un projet d'évaluation :

Le premier facteur se rapporte à la disponibilité des ressources internes en évaluation. L'organisme qui ne possède pas l'expérience ou les connaissances précises requises pourrait vouloir sous-traiter le volet de l'évaluation en question. Il pourrait alors être utile d'établir le contrat de sorte qu'un certain degré de connaissances soit transféré à l'organisme. Par ailleurs, les ressources de l'organisme pourraient être insuffisantes pour la tenue d'activités telles que des sondages téléphoniques. Enfin, l'organisme pourrait tout simplement ne pas disposer des ressources internes qui lui permettraient d'exécuter le projet d'évaluation et devrait recourir à des ressources externes.

En ce qui a trait au second facteur, l'organisme se doit d'examiner l'utilisation et l'auditoire prévus du rapport ainsi que le risque associé au recours à des ressources internes par opposition aux ressources externes. La participation des employés à certaines tâches d'évaluation pourrait fausser les résultats (par exemple, groupes de discussion, administration d'une enquête sur la satisfaction des clients). Dans le cas de ces tâches particulières, l'organisme pourrait vouloir mettre à profit des ressources externes. Pour les programmes controversés à l'égard desquels le rapport servira d'outil de reddition de comptes au public, le recours à des ressources externes pourrait atténuer les risques.

Source :  Adaptation de Who Should Conduct Your Evaluation? http://www.bja.evaluationwebsite.org/guide/documents/chapter_3_housing.htm

Si vous avez répondu « oui Â» à la question 1 et « non Â» à toutes les autres questions, vous aurez alors vraisemblablement besoin d'aide de l'extérieur pour mener votre évaluation. Si vous avez répondu « non Â» à la question 1 et « oui Â» à la plupart des autres questions, il pourrait alors être valable de mener l'évaluation à l'interne.  

5.2  Préparation de l'évaluation

La présente sous-section décrit deux étapes importantes pour la préparation d'une évaluation, c'est-à-dire :

• l'établissement des rôles et les responsabilités;
• la préparation du mandat.

5.2.1  Rôles et responsabilités

Coordonnateur du projet

Vous devez décider qui sera le coordonnateur du projet avant de commencer l'évaluation. Si ce dernier doit gérer le travail d'un expert-conseil de l'extérieur, il devra bien connaître le projet, comprendre les fondements de l'évaluation et posséder de bonnes techniques de gestion de projet.  

Comité consultatif

Vous pouvez également devoir former un comité consultatif, composé de représentants de l'organisme et d'autres intervenants, qui s'intéressent au projet ou à l'organisation soumise à l'examen. Il convient cependant de signaler que, dans le cas d'un petit organisme, la formation d'un comité consultatif chaque fois que le besoin se fait sentir peut mobiliser des ressources très importantes. Il faut donc peser avec beaucoup de soin la nécessité de former un tel comité. Le cas échéant, le petit organisme peut vouloir songer à confier une capacité de consultation aux équipes de travail existantes.

Comité directeur

Le comité directeur est habituellement composé de gestionnaires supérieurs et peut comprendre des représentants d'organismes centraux et, le cas échéant, des représentants régionaux. Si vous désirez attribuer des pouvoirs décisionnels au comité consultatif (c'est-à-dire le dernier mot sur les produits à livrer de l'évaluation), vous devriez alors songer à mettre en place un comité directeur.

5.2.2 Préparation du mandat de l'évaluation

Le mandat donne un aperçu de l'évaluation et rend explicites les exigences et les attentes initiales de la direction en ce qui a trait à l'évaluation. Il est un outil utile pour la haute direction parce qu'il guide le processus jusqu'à ce que le plan de travail de l'évaluation devienne le document principal.

Le mandat sert de nombreuses fins :

• obtenir l'engagement des gestionnaires supérieurs et veiller à ce que l'évaluation tienne compte de leurs exigences;
• aider à gérer l'évaluation;
• obtenir l'engagement des membres nécessaires parmi les intervenants;
• élaborer le plan de travail de l'évaluation.

Lorsque vous préparerez le mandat, vous pourriez tenir compte des éléments suivants :

• les motifs de l'évaluation;
• les enjeux à aborder;
• les ressources disponibles pour la tenue de l'évaluation;
• les coûts prévus;
• l'expertise requise pour exécuter l'évaluation;
• le calendrier d'achèvement.

Le mandat sert de fondement à la prochaine étape du processus, à savoir le choix de l'évaluateur ou de l'équipe d'évaluation. Les évaluateurs sont choisis au moyen d'un procédé contractuel établi.  

La passation d'un marché externe pour le choix d'une équipe d'évaluation suppose les quatre étapes suivantes :

Les soumissionnaires ont souvent des questions à poser à propos du mandat. Vous devriez nommer une personne-ressource chargée de coordonner la réponse à ces questions. Vous devez également vous assurer de fournir la même information à tous les candidats et que vous ne dévoilez pas l'origine de la question. Pour ce faire, vous pourriez envoyer les réponses par télécopieur ou courriel à tous les soumissionnaires éventuels.

Lignes directrices relatives à la budgétisation

La budgétisation de l'évaluation devrait faire partie intégrante de la planification initiale. Il importe d'indiquer dans le mandat un montant ou une fourchette se rapportant au budget. Vous aurez ainsi la possibilité de juger des propositions qui présentent la meilleure valeur.

La budgétisation suppose la répartition de l'évaluation en composantes ou tâches ainsi que l'établissement de prévisions pour chaque composante. Vous pourriez envisager les coûts en fonction du personnel d'évaluation, des experts-conseils, des déplacements, des communications, de l'impression et de la photocopie, des fournitures et du matériel ainsi que de la traduction et de la révision.

Optimisation des ressources pour l'évaluation

Les petits organismes peuvent augmenter leurs ressources restreintes en optimisant leurs besoins et leurs ressources. Toutes les stratégies ne s'appliquent pas forcément à votre organisme, mais les suggestions suivantes pourraient vous être utiles.

• Regrouper le plus possible les nombreux exercices de collecte et d'analyse de données externes et internes pour éviter la redondance et réaliser des économies d'échelle.
• Demander des fonds supplémentaires aux fonctions des organismes centraux qui veulent que les activités soient liées à des enjeux ou des groupes spéciaux (par exemple, enjeux touchant les femmes ou projets pilotes de l'amélioration des services et du Gouvernement en direct).
• Effectuer le travail d'évaluation de concert avec d'autres organismes touchés par les mêmes enjeux ou initiatives.
• Utiliser des équipes de projet composées de ressources en détachement, y compris celles provenant de groupes de clients ou de partenaires provinciaux.
• Collaborer avec les organismes partenaires afin de préqualifier des experts-conseils qui formeront un bassin de ressources chevronnées, ce qui réduira les fardeaux administratifs de la passation de marchés et assurera la qualité et l'utilité des produits.

Préparation de l'énoncé des travaux

 L'énoncé des travaux représente le principal document entre le gestionnaire et l'expert-conseil. Ce dernier donne suite à ce document en élaborant un plan de travail qui décrit l'objet et les objectifs de l'étude, l'approche, les méthodes de collecte des données et les tâches. Si un CGRR ou un cadre d'évaluation doit être préparé, il peut servir de guide pour la préparation de l'énoncé des travaux. Vous vous souviendrez que le CGRR décrit les sources d'information et les méthodes de collecte des données pour chacune des questions de l'évaluation.

Une des principales décisions à prendre porte sur le niveau de précision que vous voulez indiquer dans la présente section. Vous pouvez choisir un énoncé des travaux moins détaillé et laisser au candidat le soin de proposer des approches et des méthodologies particulières. Il est cependant utile de préparer un énoncé des travaux détaillé puisque vous donnez ainsi une meilleure idée de vos attentes aux candidats. Il importe également de se rappeler que les candidats peuvent proposer d'apporter des changements à l'approche et aux méthodes. Il est utile de demander aux candidats de fournir un exposé sur les défis et solutions éventuels en matière de méthodologie, ce qui peut vous aider à évaluer l'expertise des candidats et contribuera à renforcer le plan de travail proposé.

5.3  Options en matière de passation de marchés

Si vous décidez de recourir à des ressources externes, vous devrez alors envisager les options en matière de passation de marchés. Vous pouvez consulter à ce sujet la Politique sur les marchés sur le site Web du SCT à l'adresse :
http://www.tbs-sct.gc.ca/pubs_pol/dcgpubs/Contracting/contracti n gpol_2_f.asp

Voici quelques-unes des options possibles :

• Offre à commandes du SCT pour les services en évaluation aux petits organismes (en cours de préparation au moment de l'impression).
• Appels de propositions sur le MERX – le service d'appels d'offres électroniques officiel du Canada.
• Appels d'offres sélectifs – l'exigence de demander des soumissions peut être mise de côté lorsque le coût total du contrat (y compris la TPS) ne dépasse par 25 000 $. En pareils cas, lorsqu'un procédé concurrentiel complet ne serait pas vraiment rentable, il est possible de recourir à des appels d'offres sélectifs. Pour ce faire, au moins trois entreprises à partir d'une liste de sources sont invitées à présenter une soumission. Cette façon de procéder est utile lorsqu'il s'agit d'optimiser les ressources et de donner accès en concurrence aux marchés publics. Où pouvez-vous trouver des sources? Songez à la mémoire corporative de la direction et au répertoire des entrepreneurs ainsi qu'à la mémoire corporative de l'autorité contractante, au répertoire et aux listes abrégées obtenus d'autres ministères et organismes. Dans un tel cas, il n'est pas nécessaire de diffuser une demande de proposition (DP).
• Fournisseur unique – utilisé lorsqu'une seule personne ou une seule entreprise peut effectuer le travail.
• Offre à commandes – peut être utilisée pour les services de nature répétitive.

Il faudrait remarquer que le Règlement sur les contrats du gouvernement contient uniquement quatre exceptions qui permettent à l'autorité contractante de mettre de côté l'exigence de soumissionner.

Nota : Vous pourriez choisir de retenir les services de Conseils et Vérification Canada (CVC). Dans le cas des organismes du gouvernement fédéral, un protocole d'entente plutôt qu'un marché est conclu. Les règles sur la passation des marchés du gouvernement fédéral ne s'appliquent pas lorsque cette option est retenue.

5.4 Choix des experts-conseils

Le mandat sert de fondement pour le choix de l'expert-conseil. Il est important d'élaborer les critères de sélection au cours des étapes de la planification (avant d'émettre la demande de proposition).

Exigences obligatoires et cotées

Les critères qui ont été retenus pour sélectionner la proposition devraient tenir compte des exigences du projet particulier. Habituellement, la demande de propositions contient une série d'exigences obligatoires et cotées. Seules les propositions respectant les exigences obligatoires qui ont été énoncées dans la demande de proposition seront étudiées. Les exigences obligatoires établissent les exigences minimales à respecter pour qu'une soumission puisse être étudiée. L'évaluation des exigences est simple : elles sont respectées ou elles ne le sont pas. Le libellé des exigences contient des termes clairs et forts comme « doit Â» et « devra Â». Lorsque vous utilisez des exigences obligatoires, vous devez indiquer clairement dans la demande de proposition que les soumissions qui ne respectent pas un des critères obligatoires seront réputées non conformes et rejetées.

Les propositions respectant les exigences obligatoires peuvent être cotées en regard d'autres critères et être tenues d'atteindre une cote minimale au titre des exigences cotées pour que leur examen se poursuive (par exemple, au moins 70 points sur 100 pour passer à la prochaine étape du processus d'évaluation). Chaque critère doit être associé à des critères de cotation (qui servent de fondement à la cotation). Les entrepreneurs peuvent être priés de fournir des preuves de leur capacité de satisfaire à un critère donné (par exemple, curriculum vitæ).

Lorsque vous établissez les exigences cotées à inclure dans votre demande de proposition, vous pourriez tenir compte des facteurs les plus importants qui influeront sur la qualité du travail à exécuter (par exemple, expertise en la matière, expérience de la méthodologie, titres universitaires).

Les échelles de cotation quantitatives représentent un outil décisionnel utile. Toutefois, vous devez les établir avec beaucoup de soin et les pondérer afin de vous assurer de choisir le bon expert-conseil. La cote attribuée à chaque critère devrait tenir compte de son importance.

5.4.1  Méthodes de sélection

Les méthodes qui suivent sont le plus souvent utilisées pour évaluer les proposition. La méthode retenue doit être expliquée dans la demande de proposition.

5.4.2 Critères à prendre en considération lors de l'examen des propositions

Lorsque vous examinez la proposition, vous devez vous poser la question suivante : L'évaluateur a-t-il montré qu'il avait la capacité de fournir les résultats et de respecter les attentes? D'autres critères sont énumérés dans la liste de contrôle qui suit.

5.5  Pratiques exemplaires en matière de gestion des experts-conseils

Le succès d'un projet repose d'abord sur l'établissement d'attentes claires. La présente sous-section traite des pratiques exemplaires au chapitre de la portée du travail, de la gestion du projet et du suivi.  

La liste de contrôle qui suit donne un aperçu du processus de gestion depuis les étapes initiales jusqu'à la présentation du rapport sur les constatations.

5.5.1  Définition de la portée du travail

La première réunion de planification ou la réunion initiale de démarrage est essentielle pour clarifier les attentes et le plan de travail de l'évaluation. Le gestionnaire de projet devrait également s'assurer que l'expert-conseil possède toute l'information dont il a besoin pour s'acquitter du projet, à savoir les documents pertinents et les coordonnées de la personne-ressource.  

Lors de la réunion de démarrage, vous devriez prendre les mesures suivantes :

• vous assurer que le ou les évaluateurs ont entièrement accès aux dossiers, rapports, publications et autres renseignements pertinents;
• vous assurer de l'existence de soutien administratif et logistique suffisant tout au long de l'évaluation;
• établir les attentes en matière de gestion de projet et de communication de l'information (fréquence et format, c'est-à-dire par écrit ou oralement);
• indiquer les principaux enjeux et les priorités.

5.5.2  Préparation du plan de travail

Le plan de travail de l'évaluation ou le rapport sur la méthodologie sera vraisemblablement le premier produit à livrer que fournira l'expert-conseil. Le plan de travail devrait décrire clairement ce que l'équipe d'évaluation doit faire, ainsi que où, quand, comment et pourquoi elle doit le faire. Le plan de travail approfondit la proposition et l'énoncé des travaux. Certains changements au premier projet de plan de travail peuvent être proposés compte tenu de la nouvelle information disponible ou d'autres éléments à prendre en considération.

Voici quelques éléments principaux du plan de travail :

• contexte du projet;
• description détaillée de la méthodologie proposée;
• calendrier de travail précis;
• mécanismes de collecte des données (par exemple, guide des entrevues, questions de l'enquête).

5.5.3  Surveillance des opérations quotidiennes des experts-conseils

Les liens qui unissent l'expert-conseil et le gestionnaire de l'évaluation sont des liens de partenariat en ce sens que vous apportez l'expertise en la matière et qu'il apporte l'expertise en évaluation. Toutefois, le rôle principal du gestionnaire de l'évaluation est de veiller à ce que l'expert-conseil suive le plan de travail convenu et fournisse du travail de qualité satisfaisante. Le gestionnaire de l'évaluation doit traiter en outre des questions que l'expert-conseil peut soulever lorsqu'il prépare et met en œuvre le plan de travail. Bien qu'il n'existe pas de stratégie idéale pour gérer les experts-conseils, la liste de contrôle qui suit présente quelques facteurs utiles à prendre en considération.

5.5.Gestion des suivis

Dans les trois à six mois qui suivront l'achèvement du rapport d'évaluation, il se peut que vous vous soyez fait une meilleure idée de l'utilité de l'évaluation. Vous pourriez envisager la possibilité de donner une rétroaction à l'évaluateur quant à l'utilité de l'évaluation. Cette information permet de renforcer la capacité de l'évaluateur et profite à l'organisme, car elle améliore le bassin de ressources disponibles.

Principaux ouvrages de référence

Société canadienne de l'évaluation, Evaluation Methods Sourcebook , 1991.

Secrétariat du Conseil de gestion financière, T.N.-O., Working Well With Consultants , 
http://www.gov.nt.ca/FMBS/documents/dox/Consultant%20Guide.pdf .  

DRHC, Les outils de l'évaluation, Guide de passation de marchés pour les études d'évaluation de DRHC , 1999.

Secrétariat du Conseil du Trésor du Canada, Politiques sur l'adjudication des marchés du SCT , 2003.

FNUP, Bureau des services de contrôle interne et d'évaluation, Planification et gestion des évaluations , 
http://www.unfpa.org/monitoring/toolkit/tool5_4.doc.  

Sixième section : Utilisation des évaluations

La présente section donne des précisions au sujet des stratégies de communication et d'utilisation des constatations provenant des évaluations. Par ailleurs, nous traiterons également des stratégies d'amélioration de l'utilisation des résultats.

6.1  Communication des constatations de l'évaluation

Une des premières mesures à prendre pour communiquer les constatations d'une évaluation est d'élaborer une stratégie de communications. Vous pourriez envisager les étapes suivantes au moment de l'élaborer.  

• Quel est le but de la communication concernant l'évaluation?
• Quel est l'auditoire visé? Quels sont les principaux messages de l'évaluation? Qui doit savoir quoi?
• Quelle est la manière optimale de joindre l'auditoire visé?
  • Quels sont ses besoins en information?
  • Avec quel élément l'auditoire pourra-t-il s'identifier et que pourra-t-il comprendre?
• Comment partagerez-vous les résultats délicats ou négatifs?
  • Présenter à la fois le positif et le négatif.
  • Préconiser une approche de résolution de problèmes.

6.1.1  Communication avec les gestionnaires

Au moment de communiquer les résultats aux gestionnaires, il faut tenir compte de leurs besoins uniques en matière d'information et du processus décisionnel. Les communications peuvent porter sur les points suivants :

• le rendement global du programme;
• les raisons pour lesquelles le programme donne ou ne donne pas des résultats;
• le rendement de la direction;
• le degré de satisfaction des employés ou des clients et des intervenants;
• les cibles ratées ou les échecs au chapitre des réalisations et les raisons de ces constatations.

Les gestionnaires doivent avoir une bonne idée des points de vue et des opinions des différents groupes d'intervenants. Il importe donc de signaler les constatations en tenant compte des caractéristiques de ces différents groupes.

Il serait également souhaitable de recourir à un exposé pour communiquer les constatations préliminaires aux gestionnaires de programmes. L'exposé offre à l'évaluateur des renseignements supplémentaires qui lui permettent de mieux faire part des constatations. De plus, il aide à préparer la réponse de la direction à l'évaluation.

6.1.2  Communication avec les intervenants

Les groupes d'intervenants peuvent comprendre le grand public, les groupes d'intérêt, les partenaires, les tiers fournisseurs, d'autres ministères ou organismes fédéraux ainsi que des administrations provinciales ou municipales.

Les intervenants peuvent vouloir de l'information concernant l'incidence plus vaste du programme ou du projet (par exemple, sur la société) ou l'optimisation des ressources. Ils peuvent également vouloir comprendre le lien unissant le projet et les buts et activités globaux du gouvernement (par exemple, des dédoublements existent-ils?).

Les assemblées générales, les séminaires, les conférences, les sites Web et les rapports annuels sont autant de stratégies efficaces pour la diffusion à large échelle des résultats aux intervenants.

6.1.3  Communication avec les gestionnaires supérieurs [8]

En général, les gestionnaires supérieurs ont besoin d'information stratégique « de plus haut niveau Â». Ils doivent comprendre comment les constatations sont liées aux objectifs stratégiques. Les éventuelles préoccupations concernant les lois, règlements et politiques doivent leur être rapidement communiquées. Il pourrait également convenir d'accorder plus d'importance aux constatations liées aux valeurs et à l'éthique lorsqu'ils communiquent avec les membres de la haute direction.

Il ne faut pas oublier que les évaluations sont soumises ordinairement à l'approbation du comité d'évaluation.

6.2  Utilisation des constatations des évaluations

Vous vous souvenez du cycle d'évaluation et de gestion de programme présenté à la deuxième section? Il faut intégrer un système efficace de rétroaction au cycle de gestion du programme ou du projet. Les constatations de l'évaluation devraient servir idéalement à la prise de décisions éclairées. Ce n'est toutefois pas ce qui se produit dans la réalité. Pourquoi en est-il ainsi?

Il arrive parfois que l'absence d'utilisation de cet élément soit le fait d'une piètre diffusion des constatations de l'évaluation. D'autres fois, le rapport d'évaluation peut ne pas convenir aux besoins en matière d'information et de prise de décisions du gestionnaire.

Les stratégies efficaces d'utilisation des rapports d'évaluation commencent dès la planification. Une bonne conception de l'évaluation doit correspondre aux besoins en information. Il sera plus facile de communiquer et d'utiliser les résultats dans l'organisme si les décideurs jugent que les questions de l'évaluation sont pertinentes.

Plan d'action de la gestion

Une réponse efficace de la direction au rapport d'évaluation constitue également une étape critique pour s'assurer que l'évaluation est utilisée judicieusement. Le plan d'action devrait traiter convenablement des constatations et des recommandations du rapport. Il devrait indiquer les mesures requises, les échéanciers et les responsables des mesures. Le chef de l'évaluation peut jouer un rôle en matière de surveillance et de mise en œuvre du plan d'action.

Principaux ouvrages de référence

Annie E. Casey Foundation, Baltimore, Maryland, Getting Smart, Getting Real: Using Research and Evaluation Information to Improve Projects and Policies , septembre 1995. http://www.aecf.org/publications/data/getsmartgetreal.pdf

National Institute of Justice, Washington, D.C., Using Evaluation Findings for Decision Making , 1989. http://www.bja.evaluationwebsite.org/guide/documents/chapter_5_nij_guide.htm

National Institute of Law Enforcement and Criminal Justice, Washington, D.C., Achieving Utilization of Evaluation Findings , 1975. http://www.bja.evaluationwebsite.org

Secrétariat du Conseil du Trésor du Canada, Politique d'évaluation et normes, 2001.

ONU-HABITAT, Guide de surveillance et d'évaluation , 2003.

Annexe A – Types de petits organismes

Organisme de réglementation : organisme qui consent des approbations ou des permis et licences en appliquant des critères énoncés dans une loi ou un règlement.

Organisme judiciaire  : tribunal présidé par des juges nommés par le gouvernement fédéral. (Veuillez prendre note qu'en raison de la récente fusion de la Cour fédérale et la Cour de l'impôt afin de former les Services administratifs des tribunaux judiciaires, la Cour suprême demeure le seul organisme du genre.)

Tribunal quasi judiciaire : organisme chargé d'entendre la preuve sous serment et de prendre des décisions en se fondant sur cette preuve ainsi que sur les lois et précédents qui s'appliquent mais sans tenir compte de la politique gouvernementale.

Organisme d'enquête : organisme chargé d'enquêter sur une plainte ou une demande de renseignements et de présenter un rapport ou de formuler des recommandations sur ses constatations.

Organisme parlementaire (agent du Parlement) : organisme relevant directement du Parlement (c'est-à-dire le Commissariat à l'information, le Commissariat à la protection de la vie privée, le Commissariat aux langues officielles, le Bureau du vérificateur général et le Bureau du directeur général des élections).

Organisme d'élaboration de politiques et de consultation  : organisme chargé d'élaborer des politiques et de formuler des recommandations au gouvernement sur des questions dans le domaine de la santé, de l'économie ou de l'environnement, par exemple.

Autres : petits organismes qui ne satisfont pas aux critères des catégories susmentionnées.

Annexe B – Initiatives horizontales

Les initiatives horizontales désignent des efforts qui font intervenir des activités coordonnées de plusieurs ministères ou organismes fédéraux et qui ciblent des objectifs précis d'intérêt national. Elles doivent être dotées d'un CGRR et des plans et stratégies d'évaluation connexes à l'égard desquels tous les partenaires doivent communiquer de l'information et même parfois affecter des ressources.  

Les initiatives de ce genre peuvent fournir aux petits organismes la possibilité de partager de l'information ou de renforcer la capacité d'évaluation interne (par exemple, grâce aux études de cas ou aux étapes d'examen par les pairs prévues dans la conception de l'évaluation, grâce à l'information interne existante et en tirant profit de l'expertise en évaluation ou en consultation qui est fournie ou payée par d'autres partenaires). Les initiatives horizontales permettent également de grouper les organismes pertinents afin d'établir des indicateurs communs et de partager l'expérience acquise en matière de mesure et d'évaluation du rendement.  

Pour obtenir des conseils généraux sur la conception de cadres de gestion et de responsabilisation axés sur les résultats, veuillez consulter le site Web du SCT à l'adresse http://www.tbs-sct.gc.ca/cee/pubs/guide/sarmaf-ascgrr-eng.asp.

Parmi les types d'initiatives horizontales, il y a les suivants :

• partenariats avec d'autres administrations;
• promotion de la santé;
• sécurité publique et antiterrorisme;
• le changement climatique;
• emploi des jeunes;
• initiatives pangouvernementales telles que :
• l'infrastructure;
  • Gouvernement en direct (GED);
  • langues officielles;
  • approvisionnement auprès des entreprises autochtones.

• le besoin de minimiser le nombre d'indicateurs de rendement;
• la difficulté de recueillir de l'information dans diverses bases de données, organismes ou ministères;
• la coordination des activités.

Annexe C – Obtention des conseils et du soutien externes

Il est important de disposer de conseils et de soutien satisfaisants lorsqu'il s'agit de renforcer la capacité d'évaluation. Vous pourriez envisager d'avoir recours aux sources de soutien qui suivent.

Soutien accordé aux petits organismes par le SCT et le CEE

Aux termes de la Politique d'évaluation du CT, le Secrétariat du Conseil du Trésor du Canada doit donner l'orientation générale de l'évaluation, utiliser les résultats de l'évaluation, le cas échéant, pour prendre des décisions au niveau central, établir des normes et surveiller les services d'évaluation au gouvernement.

Pour ce faire, SCT a mis sur pied le Centre d'excellence en évaluation (CEE) dont le mandat est le suivant :

• assurer le leadership pour la fonction d'évaluation au gouvernement fédéral;
• prendre l'initiative en matière de défis partagés au sein de la collectivité, notamment élaborer le cadre des ressources humaines pour les besoins à long terme dans le domaine du recrutement, de la formation et du perfectionnement;
• fournir du soutien pour le renforcement de la capacité, l'amélioration des pratiques et le renforcement de la collectivité de l'évaluation au sein de la fonction publique du Canada.  
• Le CEE a pour sa part créé une équipe de portefeuille chargée des petits organismes à qui il a confié les tâches suivantes :
  • fournir de la rétroaction aux secteurs de programmes du SCT sur les évaluations et les CGRR soumis dans le cadre des présentations au CT;
  • surveiller la fonction de l'évaluation dans les petits organismes;
  • lancer des projets de soutien des fonctions et des activités d'évaluation de la collectivité des petits organismes;
  • fournir des conseils et de l'orientation aux petits organismes dans les domaines suivants :
    • fonction d'évaluation et capacité;
    • plans d'évaluation;
    • études d'évaluation;
    • CGRR
    • activités de mesure du rendement.

Parmi les autres secteurs qui revêtent une importance particulière pour le SCT, il y a ceux chargés des fonctions de changement associées à la modernisation de la fonction de contrôleur, à la vérification interne, à la gestion axée sur les résultats, à la présentation de rapports horizontaux et à la présentation de rapports sur les dépenses. Pour de plus amples renseignements à ce sujet, veuillez consulter le site Web à l'adresse : http://www.tbs-sct.gc.ca/cee/about-apropos-fra.asp .

Société canadienne de l'évaluation (SCE)

Dans le domaine de l'évaluation, la SCE favorise le leadership, la connaissance, la promotion des intérêts et le perfectionnement professionnel. Elle donne accès sur son site Web à une collectivité d'évaluateurs, à des conférences annuelles, à la Série sur les compétences essentielles en évaluation et à des ressources réservées ( http://www.evaluationcanada.ca/ ). Par ailleurs, elle compte de nombreuses sections provinciales en plus de celle de la capitale nationale.

Le Réseau des administrateurs de petits organismes (RAPO)

La mission du RAPO consiste à fournir des occasions de partager de l'information et des pratiques, à discuter de sujets de préoccupation communs et à donner une seule tribune aux organismes centraux et aux organismes de services communs en ce qui concerne les questions touchant les petits organismes. Pour en savoir davantage à ce sujet, veuillez consulter le site Web à l'adresse : http://www.cso - cpo.gc.ca/RAPO-rapo/charter_f.html .

Annexe D – Les sept critères du Comité d'examen des dépenses

Les dépenses de programmes seront évaluées par rapport aux critères suivants :

Annexe E – Renseignements sur la planification et l'exécution des évaluations

1.0  Élaboration du modèle logique

Le graphique qui suit présente un aperçu des trois étapes de l'élaboration du modèle logique.

Étape 1a :  Préparation de l'élaboration du modèle logique
Détermination de la capacité interne

Étape 1b :  Préparation de l'élaboration du modèle logique
Collecte des renseignements pertinents

Il convient de signaler que l'importance des consultations avec les groupes susmentionnés est fonction de vos besoins en information et de vos contraintes en matière de ressources. Vous devriez cependant noter que les points de vue de nombreux intervenants vous permettent de mieux comprendre le programme.

Étape 2 :  Élaboration du modèle logique

Il existe différentes stratégies d'élaboration d'un modèle logique, dont les deux options suivantes :

• commencer par élaborer une ébauche de modèle et la présenter aux fins de discussion dans le cadre d'une séance de travail;
• élaborer l'ébauche du modèle logique dans le cadre de la séance de travail.

La première option présente un avantage clé, à savoir qu'elle assure parfois un déroulement plus efficace de la séance parce que les éléments centraux du modèle logique sont élaborés au préalable. Si vous avez peu de temps pour mener une séance de travail, vous devriez songer à élaborer une ébauche du modèle logique avant celle-ci.

La seconde option présente également des avantages en ce sens que l'élaboration du modèle logique est faite par les intervenants. Elle permet de renforcer non seulement la capacité interne relative à l'élaboration du modèle logique et aux processus collectifs mais aussi de mieux faire comprendre l'initiative. Enfin, cette approche pourrait également renforcer l'engagement des intervenants à l'égard du processus.

Lorsque vous prenez une décision, vous devriez tenir compte des préférences des intervenants et des facilitateurs ainsi que de l'échéancier.

Étape 3 :  Validation du modèle logique

Consultez les groupes de travail et les intervenants. Il est souvent utile d'obtenir les commentaires de personnes qui connaissent bien le programme, mais qui n'ont pas pris part à la séance de travail, afin de s'assurer que tous les éléments nécessaires sont représentés dans le modèle.

Faites connaître le modèle logique. Le groupe de travail ou l'employé peut faire connaître le modèle de manière informelle en s'y référant lors de ses conversations avec les employés et les intervenants. La direction et les équipes de programmes peuvent se servir du modèle à titre de référence uniforme pour tous les volets du cycle de gestion : la planification, la surveillance et les rapports. Une plus grande connaissance du modèle se traduira par des commentaires et des opinions sur la manière de l'améliorer.

Le modèle ne pourra jamais être parfait. Servez-vous des commentaires obtenus lors des consultations et ceux qui ont été faits lorsque la direction l'a utilisé pour le mettre à jour . N'oubliez pas que la logique sous-jacente est appelée à changer au fur et à mesure de l'évolution du contexte du programme.

Principaux ouvrages de référence

Outil d'apprentissage en ligne de la GAR du Secrétariat du Conseil du Trésor du Canada .

2.0  Formulation des questions de l'évaluation

3.0  Détermination des indicateurs de rendement appropriés

Première étape :  Examen du modèle logique

Examiner chaque rangée du modèle logique (à l'exception de la rangée des activités) et déterminer quel élément d'information spécifique ou quelle donnée particulière serait nécessaire pour évaluer si l'extrant a bien été produit ou si le résultat a bien été atteint. La séance de travail est l'endroit idéal où tenir le remue-méninges sur les indicateurs.

Deuxième étape : Établissement de l'ordre de priorité

Pour chacune des composantes, déterminer les éléments qu'il faut connaître et ceux qu'il serait bon de connaître.

Après avoir déterminé un ensemble complet d'indicateurs de rendement et les stratégies de mesure connexes, il faut cerner un sous-groupe des indicateurs les plus appropriés. Comparer les premiers indicateurs de la liste avec les critères de sélection décrits.

Troisième étape : Comparaison avec les critères

4.0  Choix de la conception appropriée de l'évaluation

La conception de l'évaluation désigne le processus de réflexion sur ce que vous désirez faire et comment vous entendez le faire.

Considération des menaces à la validité lors du choix de la conception de l'évaluation

Au moment d'élaborer la conception de l'évaluation, vous devez vous demander si d'autres facteurs influent sur les résultats du programme. Il est particulièrement important de tenir compte de ces facteurs ou des menaces à la validité lorsque vous tentez de déterminer les effets ou l'efficacité. Ces facteurs peuvent découler de changements réels de l'environnement ou de changement des participants au programme.

• Les changements de l'environnement qui surviennent en même temps que ceux du programme et modifieront les résultats du programme (par exemple, l'état de l'économie peut influer sur les résultats d'un programme).
• Les changements de particuliers qui participent au programme (par exemple, les changements attribuables au vieillissement ou les changements psychologiques qui ne résultent pas de l'intervention).
• L'évaluation en soi peut influer sur les résultats (par exemple, les effets de la prise d'un test préalable sur les tests ultérieurs, le manque de cohérence en ce qui a trait aux observateurs, interviewers, cotes ou instruments de mesure).

Aperçu des conceptions de l'évaluation

Tant les conceptions quasi expérimentales que les conceptions expérimentales font intervenir un genre quelconque de pré-essai qui est suivi d'un post-essai. Les deux genres de conceptions conviennent à l'éxécution d'évaluations sommatives, mais il faut également tenir compte du caractère pratique et des coûts.

Principaux ouvrages de référence

Secrétariat du Conseil du Trésor du Canada, Méthodes d'évaluation des programmes : Mesure et attribution des résultats des programmes , 1998.
http://www.tbs-sct.gc.ca/cee/pubs/meth/pem-mep00-fra.asp

5.0  Choix des méthodes appropriées de collecte des données

Pour choisir une méthode appropriée de collecte des données, vous pourriez tenir compte des éléments suivants :

• les besoins en matière d'information et de prise de décisions;
• les utilisations appropriées, le pour et le contre des méthodes de collecte des données;
• les coûts et le caractère pratique de chaque méthode;
• l'adoption d'une approche équilibrée, y compris un habile dosage de méthodes quantitatives et qualitatives.

Pour plus de précisions à ce sujet, veuillez vous reporter aux deux tableaux suivants qui établissent une comparaison entre les méthodes quantitatives et qualitatives et décrivent également les méthodes précises de collecte des données qui peuvent être utilisées pour les évaluations.

Comparaison entre les méthodes quantitatives et qualitatives

Source : Adaptation du Coffre à outils de surveillance et d'évaluation du gestionnaire de programme, numéro 5, partie III : Planifier et gérer l'évaluation – le processus de collecte des données , mai 2001 ( www.unfpa.org , Fonds des Nations Unies pour la population, Bureau de surveillance et d'évaluation ).

Aperçu des méthodes de collecte des données

Source :   Adaptation de l' Outil d'apprentissage en ligne de la GAR du SCT

Principaux ouvrages de référence

Outil d'apprentissage en ligne de la GAR du Secrétariat du Conseil du Trésor du Canada.

6.0  Conception d'un questionnaire de sondage

Lorsque vous devez obtenir de l'information concernant un grand groupe ou une vaste population, vous menez habituellement un sondage. La stratégie d'échantillonnage devrait faire en sorte que l'information recueillie d'un échantillon soit représentative de la population entière. Plus l'échantillon est représentatif, plus vous pouvez vous fier aux constatations. La représentativité est en général liée à la taille de l'échantillon et à l'absence de biais.

Première étape :  Procédures d'échantillonnage

Définition nette de l'objet du sondage

Afin d'élaborer les procédures d'échantillonnage, vous devez préciser clairement l'objet du sondage. La stratégie d'échantillonnage doit être conçue pour fournir des réponses aux questions de l'évaluation.

• À quelles questions principales de l'évaluation le sondage peut-il répondre?
• Quelles sont les priorités du sondage?
• Quelles sont les caractéristiques de la population générale que vous voulez sonder (par exemple, sexe, âge)?

Taille de l'échantillon

En déterminant la taille de l'échantillon, vous pourrez établir le type de sondage à utiliser.  

Les points suivants peuvent être pris en considération au moment d'établir la taille de l'échantillon :

• le budget;
• le niveau de précision requis et l'étendue des comparaisons des sous-populations;
• le recours à un échantillon plus petit s'il y a lieu de croire à un effet considérable;
• le taux prévu de non-réponse – vous pouvez augmenter d'autant la taille de l'échantillon;
• le recours à un échantillon plus vaste pour suivre les répondants au fil des ans (afin de tenir compte des personnes qui ne veulent plus participer au sondage).

Si vous désirez tirer des conclusions sur la population entière, vous devrez établir un échantillon d'une certaine taille en vous fondant sur des paramètres statistiques. Par exemple, lorsque les sociétés de sondage affirment qu'un échantillon est exact avec une marge d'erreur de 5 %, 90 % du temps, cette affirmation est fondée sur un échantillon d'une certaine taille. La taille de l'échantillon requis se rapporte à la taille de votre population, au niveau de confiance requis et à la marge d'erreur permise. À titre d'exemple, si vous avez une population de 1 000 personnes à partir de laquelle vous avez besoin d'un échantillon représentatif et que vous avez besoin d'un niveau de confiance de 95 % avec une marge d'erreur de 5 %, vous aurez alors besoin d'un échantillon d'au plus 278 personnes. Dans le domaine de la recherche en sciences sociales, un niveau de confiance de 95 % et une marge d'erreur admissible de 5 % sont habituellement indiqués. Vous pourriez consulter un spécialiste de la statistique concernant le choix de la taille appropriée de l'échantillon.

Techniques d'échantillonnage

Vous pouvez utiliser de nombreuses méthodes différentes pour choisir un échantillon. Vous désirez idéalement que l'échantillon représente l'ensemble du groupe de sorte que vous puissiez généraliser les constatations relatives au programme. L'échantillonnage aléatoire simple, l'échantillonnage aléatoire stratifié, l'échantillonnage systématique et l'échantillonnage en grappes sont autant de genres d'échantillonnage.

Dans le cas de l'échantillonnage aléatoire simple, une liste de toutes les personnes (c'est-à-dire la population du sondage) est dressée, puis des particuliers sont choisis au hasard pour faire partie de l'échantillon. L'échantillonnage aléatoire donne à tous les membres du groupe cible la même chance de faire partie de l'étude. Un des défis associés à cette méthode est l'obtention d'une liste complète des membres du groupe. Vous trouverez ci dessous les étapes des procédures d'échantillonnage :

Bases d'échantillonnage

Les bases d'échantillonnage désignent des listes de personnes qui représentent la population visée ou y correspondent plus ou moins. Ils devraient être complets et représentatifs, et la liste ne devrait pas contenir de biais.

Vérification de l'existence de biais

Voici quelques biais communs :

• listes des seuls candidats approuvés et non rejetés (lorsque la base d'échantillonnage est une liste de candidats);
• listes périmées.

Évaluation préalable du potentiel de la source d'échantillonnage

• Vérifier si les coordonnées des personnes-ressources sont disponibles (par exemple, pour l'ensemble des provinces, des villes, des services).
• Vérifier s'il existe de l'information sur le moment de la réception du service.
• Minimiser le biais de rappel.
• Exécuter le sondage le plus rapidement possible après la prestation du service.
• Si vous mesurez le degré de satisfaction à l'égard d'un produit, vous devez laisser assez de temps aux clients pour qu'ils puissent s'en servir.

Que faire en l'absence de coordonnées sur les personnes-ressources? Voici quelques options.

• Mener des sondages sur place.
• Demander aux clients à la fin d'une transaction s'ils aimeraient participer à un sondage sur la satisfaction des clients.

Que faire en cas d'information restreinte sur les répondants éventuels?

• Établir l'échantillon pendant la réalisation du sondage.
• Demander quels services ils ont reçus, où ils les ont reçus et quand ils les ont reçus.
• Leur demander de répondre en pensant à une période précise ou à un mode particulier, etc.

Exemples de technique d'échantillonnage aléatoire

• Échantillonnage systématique – choisir chaque énième numéro en veillant à ce qu'il n'existe pas de tendances cachées dans la liste de la population.
• Système d'appel aléatoire – utilisé pour les sondages téléphoniques, permet aux interviewers de composer des numéros non classés, nouveaux et qui viennent d'être changés.

Deuxième étape : Établissement du format du sondage

• Voici quelques éléments à prendre en considération au moment d'établir le format approprié du sondage (en direct, par courrier, par téléphone, en personne) :
  • le genre d'information que le répondant est censé fournir;
  • le budget – les entrevues téléphoniques peuvent être plus coûteuses; les enquêtes postales sont plus économiques si vous avez un vaste échantillon ou si votre échantillon couvre un grand secteur géographique;
  • la taille de l'échantillon;
  • la vitesse – les sondages en direct et par téléphone sont les plus rapides;
  • la durée du sondage – dans le cas des longs sondages (qui durent plus d'une heure), songer aux sondages en personne;
  • le sujet – si les questions sont personnelles ou si elles exigent de la réflexion, songer à utiliser un sondage autoadministré (par courrier, en direct).

Troisième étape : Élaboration du questionnaire du sondage

Un des principaux éléments à prendre en compte au moment d'élaborer le questionnaire est la détermination des types de questions à utiliser. Si les questions ouvertes permettent d'obtenir des renseignements détaillés, il faut beaucoup de temps pour les consigner et les analyser. Si le groupe à sonder est grand, le questionnaire devrait essentiellement contenir des questions fermées.

Vous devriez en outre préparer un script et des instructions pour les interviewers (si le sondage est mené au téléphone ou en personne). Le script devrait indiquer comment accueillir le répondant, comment l'inviter à participer, comment répondre à ses questions, comment garder le répondant en ligne, comment remercier le répondant, quel code attribuer à chaque enquête (terminée, aucune réponse, etc.).

Quatrième étape :  Prétest du questionnaire

Les sondages peuvent faire l'objet d'un prétest, puis d'un rajustement. Les essais pilotes visent à cerner et à régler les problèmes et les lacunes des méthodes de collecte de l'information ou de la forme ainsi que l'utilité de l'information recueillie. En vous fondant sur les résultats du prétest, vous pourrez apporter les rajustements requis. En tenant un petit nombre d'entrevues
(environ 10), vous pouvez augmenter la qualité des résultats du sondage.

Vous devriez établir les questions sur lesquelles porteront votre prétest. Par exemple, il peut tenter de déterminer ce qui suit :

• Les répondants peuvent-ils répondre aux questions?
• Quelle a été la durée de l'entrevue? Le budget est-il respecté?
• Le répondant a-t-il eu de la difficulté à interpréter ou à comprendre les questions?
• Les résultats de votre analyse des constatations préliminaires ont-ils du sens?

Cinquième étape :  Mise en œuvre du sondage

Lors de la mise en œuvre du sondage, vous devez faire ce qui suit :

• suivre périodiquement les progrès;
• surveiller le taux de réponse (un taux supérieur se traduit par des résultats de plus grande qualité étant donné que l'autosélection et les autres biais sont minimisés grâce au suivi des clients originaux qui ont été sondés).

Si vous vous attendez à ce que vos résultats soient comparables aux résultats existants provenant d'analyse comparative, il faut que la conception de la recherche, le questionnaire et l'administration soient très semblables voire identiques. Il est possible d'apporter des améliorations par rapport à l'itération précédente, mais plus les changements sont nombreux, moins les résultats sont comparables.

Vous devriez veiller à ce que des procédures existent pour assurer le suivi des non-réponses et la compensation des faibles taux de réponse. Il est habituellement inévitable que la composition initiale d'un échantillon change pendant une étude d'évaluation. Les particuliers peuvent décider d'abandonner et d'autres peuvent fournir des renseignements incomplets. Ces changements peuvent fausser l'étude s'ils ne sont pas abordés.

Principaux ouvrages de référence

Goss Gilroy Inc., Designing Effective Client Satisfaction Surveys , Strategic Management Conference, Montréal, 2003.

SPSS BI Survey Tips, A Handy Guide to Help You Save Time and Money as You Plan, Develop and Execute Your Surveys . http://www.spss.com/uk/SurveyTips booklet.pdf

7.0  Analyse des données

Première é tape : Examen préalable des objectifs de l'évaluation

Lorsque vous analysez les données, quel que soit leur genre, examiner le but de l'évaluation, ce qui vous aidera à organiser les données et à cibler votre analyse.

Deuxième étape : Examen de la pertinence, de l'intégralité et de la cohérence

Troisième étape : Résumé et organisation des données

• Description et dénombrement – Il s'agit de deux des techniques d'analyse les plus communes. Elles servent souvent de fondement ou de contexte pour l'analyse plus approfondie des données. Tous les genres de données qualitatives et quantitatives aux stades de l'intrant, de l'extrant et du résultat peuvent être décrits et dénombrés. Les données sont recueillies de diverses sources au moyen des méthodes de collecte déjà décrites. Les données qualitatives peuvent être décrites de manière narrative ou dénombrées et analysées au moyen d'un éventail de techniques statistiques. Les données quantitative peuvent également servir à décrire le programme ou l'objet et sont faciles à dénombrer et à coder aux fins de l'analyse.
• Agrégation et désagrégation –   L'agrégation désigne le processus de groupement des données au moyen de l'identification des caractéristiques ou des tendances qui semblent les lier. La désagrégation désigne la répartition de l'information en unités plus petites. Les données sont agrégées pour déterminer si des liens existent entre les différentes variables en fonction d'une théorie (hypothèse) existante ou de tendances qui ont été perçues dans les données. Les données désagrégées peuvent être examinées de différentes façons (par exemple, au fil des ans, selon différentes populations, entre deux groupes comparatifs).
• Comparaison – La comparaison couvre un éventail de méthodes qui peuvent être utilisées pour tirer des conclusions sur le lien entre les données et formuler des généralisations sur une population plus grande. Il s'agit de comparer une personne ou une population à elle-même, à un autre groupe de comparaison ou à une norme, le plus souvent après un événement ou la mise en œuvre d'un programme.

Généralisation des constatations

Le seul moyen valide de généraliser les constatations pour une population entière ou cible (lorsqu'il est impossible de sonder ou d'étudier tous les membres) consiste à se servir des constatations qui ont été obtenues d'un échantillon aléatoire de la population à étudier. Il faut donc faire preuve de prudence au moment d'analyser les données d'un échantillon non aléatoire.

Analyses qualitatives et quantitatives

L'analyse des données qualitatives suppose des techniques efficaces de synthèse et d'interprétation. L'information qualitative peut être utilisée pour fournir de l'information contextuelle, expliquer le fonctionnement d'un programme ou cerner les obstacles de la mise en œuvre. Les données qualitatives peuvent être analysées afin de déceler les tendances et les thèmes qui pourraient s'appliquer aux questions de l'évaluation. Le matériel qualitatif peut être organisé en catégories ou en tableaux, ce qui facilite le repérage des tendances, des écarts et des thèmes.  

L'analyse des données quantitatives fournit des valeurs numériques de l'information, qui passent des statistiques descriptives simples (par exemple, fréquence, portée, rang centile, moyenne) à l'analyse statistique plus compliquée (par exemple, test t, analyse des écarts). Des progiciels comme Statistical Package for Social Sciences (SPSS), Minitab et Mystat peuvent être utilisés pour les analyses plus compliquées. L'analyse des données quantitatives suppose elle aussi des techniques d'interprétation. Les constatations quantitatives devraient être prises en compte dans le contexte du programme.  

Au sujet des données quantitatives

La fr̩quence, la port̩e, le centile et l'̩cart standard sont utilis̩s pour les statistiques descriptives. Les mesures des tendances centrales Рmoyenne, m̩diane ou mode Рsont ̩galement calcul̩es.

Exemples de statistiques déductives :

• Les coefficients de corrélation servent à déterminer la force du lien unissant deux variables.  
• Les tests t servent à déterminer les écarts entre les cotes moyennes de deux groupes.
• Le modèle d'analyse de la variance détermine les écarts entre les cotes moyennes de trois groupes ou plus.

Principaux ouvrages de référence

Outil d'apprentissage en ligne de la GAR du Secrétariat du Conseil du Trésor du Canada.

Annexe F – Modèle de mandat

Coffre à outil : Modèles
Modèle du plan de vérification et d'évaluation de l'organisme [9]

Introduction et contexte

• Identifier les besoins en information de la direction du client et des intervenants.
• Décrire comment la vérification (le cas échéant), la gestion du risque et l'évaluation seront utilisées dans l'organisme
• Établir un lien entre l'évaluation et les préoccupations stratégiques (résultats stratégiques de l'AAP, inventaire des programmes et mesures du rendement)
• Consulter la Politique d'évaluation et la Politique de vérification interne du CT.

Méthodologie ou approche

• Méthodologie servant à déterminer les projets
• Tenir compte de l'établissement des priorités et de l'approche de gestion du risque
• Établir un lien entre les services, les secteurs d'activité et les priorités stratégiques de l'organisme.

Justification

• Indiquer la portée et le champ d'application du plan d'évaluation, de vérification et de gestion du risque
• Raison d'être de l'inclusion de l'étude dans le plan – éléments considérés au moment de choisir les projets de vérification et d'évaluation
• Donner une indication de la part de l'univers de vérification de l'organisme que les projets de l'année courante représentent
• Le cas échéant, tenir compte des évaluations entre les administrations.
• Sommaire du plan d'évaluation et de vérification
• Indiquer les projets prévus pour l'exercice
• Estimer les coûts d'achèvement de chaque projet ou les dépenses prévues pour l'exercice courant
• Dépenses totales pour l'évaluation, fonds reçus pour l'évaluation et la vérification qui s'ajoutent aux services votés.

Plan d'évaluation et de vérification détaillé

• Indiquer le titre du projet, l'objectif, le client, l'état du projet (par exemple, prévu, en cours)
• Indiquer les équipes de projets et les calendriers
• Indiquer les principales hypothèses pour la réalisation des produits livrables conformément au plan
• Tenir compte des normes du SCT lors de l'élaboration du plan.

Annexes

• Peuvent comprendre l'ébauche du mandat, les énoncés des travaux des projets proposés ou les dépenses.

Annexe G – Glossaire

Activité (Activity) – Opération ou processus opérationnel exécuté à l'intérieur d'une organisation qui est destiné à produire des extrants précis (p. ex., des produits ou services). Les activités constituent le premier chaînon de la progression vers l'atteinte des résultats.

Attribution (Attribution) РAssertion voulant que des ̩v̩nements ou des conditions ont, dans une certaine mesure, ̩t̩ caus̩s ou influenc̩s par d'autres ̩v̩nements ou conditions. Cela signifie qu'il est possible d'̩tablir un lien raisonnable entre un r̩sultat particulier et les mesures et extrants d'une politique, d'un programme ou d'une initiative du gouvernement.

But (Goal) – Énoncé général des résultats à atteindre au cours d'une période donnée. Le terme « but Â» est approximativement équivalent à « résultat stratégique Â». Par souci de précision technique, le Secrétariat du Conseil du Trésor du Canada recommande d'utiliser plutôt résultat stratégique au lieu de but (voir aussi Objectif).

Cadre de gestion et de responsabilisation ax̩ sur les r̩sultats (CGRR) (Results-based Management and Accountability Framework (RMAF)) РDocument qui fait ̩tat des strat̩gies de suivi du rendement, de l'̩valuation et de pr̩sentation de rapports visant une politique, un programme ou une initiative.

Cadre de responsabilisation de la gestion (CRG) (Management Accountability Framework (MAF)) – Série d'attentes à l'égard de la gestion de la fonction publique moderne. Il a pour objet de dresser une liste claire des attentes de la gestion dans un cadre global en vue d'un rendement organisationnel supérieur.

Des résultats pour les Canadiens et les Canadiennes : un cadre de gestion pour le gouvernement du Canada (Results for Canadians: A Management Framework for the Government of Canada) – Document clé publié au début de 2000 qui décrit le cadre de gestion du gouvernement du Canada. On y expose les quatre engagements du gouvernement fédéral en matière de gestion : l'accent sur les citoyens, les valeurs, les résultats et les dépenses judicieuses.

Efficacité (Effectiveness) – Mesure dans laquelle une organisation, une politique, un programme ou une initiative produit les résultats prévus. (Terme connexe : efficacité en fonction du coût – Mesure dans laquelle une organisation, une politique, un programme ou une initiative produit les résultats prévus par rapport à la dépense en ressources.)

Efficience (Efficiency) – Mesure dans laquelle une organisation, une politique, un programme ou une initiative produit les extrants prévus par rapport à la dépense en ressources.

Enchaînement des résultats (synonymes : modèle logique axé sur les résultats, séquence de résultats) (Results Chain) – Relation déterminante ou logique entre les activités, les extrants et les résultats d'une politique, d'un programme ou d'une initiative que ceux-ci sont censés produire. Habituellement présenté sous forme d'organigramme.

Engagement en matière de service (Service Commitment) – En règle générale, les engagements ou normes en matière de service qui établissent les objectifs de rendement à l'égard de la prestation des services ou de la remise des produits gouvernementaux au public. Ces engagements précisent la qualité ou le niveau de service auquel s'engage un ministère ou un organisme ou que les clients sont en droit d'attendre de ce ministère ou de cet organisme.

Énoncé de mission (Mission Statement) – Déclaration formelle et publique exposant la raison d'être d'une organisation. L'énoncé de mission est utilisé par la haute direction pour fixer les orientations et les valeurs de l'organisation.

Évaluation (Evaluation)   – Collecte et analyse systématiques de l'information sur le rendement d'une politique, d'un programme ou d'une initiative permettant de porter des jugements sur sa pertinence, ses progrès et succès, et son efficacité en fonction du coût ou d'éclairer des décisions sur la conception et la mise en œuvre de programmes futurs.

Extrant (Output) – Produit ou service direct provenant des activités d'une politique, d'un programme ou d'une initiative, et livré à un groupe ou à une population cible.

Fiabilité (Reliability) – Constance ou fidélité des données. La notion est simple : si un même critère, questionnaire ou procédé d'évaluation est utilisé une seconde fois ou par une autre équipe de recherche, donnerait-il les mêmes résultats? Dans l'affirmative, le test est fiable. Lors de la conception d'une évaluation ou d'une recherche, les données recueillies ne sont utiles que si les mesures utilisées sont fiables.

Gestion axée sur les résultats ( Results-based Management ) – Une approche à la gestion qui est à la fois globale et basée sur le cycle de vie. Elle intègre la stratégie d'ensemble, les gens, les processus et les mesures pour améliorer la prise de décisions ainsi que pour influencer le changement. Elle se concentre sur la conception d'un bon plan (tôt dans le processus), la mise en œuvre des mesures de rendement, l'apprentissage et l'adaptation ainsi que les rapports sur le rendement.

Groupe cible (Population cible) (Target Group (Target Population)) РEnsemble des personnes sur lesquelles une activit̩ est cens̩e exercer une influence.

Impact (synonymes : répercussion, incidence) (Impact) – Impact est un synonyme de résultat, bien que les impacts présupposent habituellement une relation plus directe. Les deux termes sont couramment utilisés, mais aucun d'eux n'a de caractère technique. Par souci de précision technique, le Secrétariat du Conseil du Trésor du Canada recommande d'utiliser résultat plutôt que impact.

Indicateur (Indicator) РParam̬tre ou statistique qui, lorsqu'il est suivi dans le temps, renseigne sur l'̩volution d'un ph̩nom̬ne et porte une signification qui d̩borde celle qui est associ̩e aux propri̩t̩s de la statistique m̻me.

Intrant (Input) – Ressources (p. ex., humaines, matérielles, financières, etc.) utilisées pour exécuter des activités, produire des extrants ou atteindre des résultats.

Mesures du rendement (Performance Measure) – Indicateur fournissant de l'information (quantitative ou qualitative) servant à déterminer jusqu'à quel point une politique, un programme ou une initiative atteint ses résultats.

Mod̬le logique (Logic Model) Р(̩galement appel̩ mod̬le logique ax̩ sur les r̩sultats) Illustration de l'enchąnement des r̩sultats ou de la mani̬re dont les activit̩s d'une politique, d'un programme ou d'une initiative aboutiront aux r̩sultats finaux. Habituellement pr̩sent̩ sous forme d'organigramme. Voir Enchąnement des r̩sultats.

Objectif (Objective) – Bénéfice durable et à long terme vers lequel les efforts sont déployés.

Port̩e (Reach) РConcept repr̩sentant les personnes et les organisations cibl̩es et directement touch̩es par une politique, un programme ou une initiative.

Rapport ministériel sur le rendement (RMR) (Departmental Performance Reports (DPR)) – Rapport déposé chaque année à l'automne par le président du Conseil du Trésor au nom de tous les ministères et organismes du gouvernement fédéral désignés dans les annexes I, I,1 et II de la Loi sur la gestion des finances publiques et faisant partie du processus du Budget des dépenses et du processus d'attribution des crédits. Il explique ce que le gouvernement a réalisé grâce aux ressources et autorisations qui lui ont été fournies par le Parlement. L'information sur le rendement contenue dans ces rapports aide les députés à conseiller le gouvernement en matière d'affectation des ressources en préparation du processus annuel d'établissement du budget et d'attribution des crédits qui se déroule au printemps.

Rapport sur le rendement (Performance Reporting) – Présentation d'information sur le rendement fondée sur les faits. Le rapport sur le rendement sert à éclairer les décisions et à rencontrer les exigences de responsabilisation et constitue le point de départ pour l'engagement des citoyens et citoyennes et pour le dialogue des parlementaires sur le rendement.

Rapport sur les plans et les priorit̩s (RPP) (Reports on Plans and Priorities (RPP)) РRapport faisant partie du Budget principal des d̩penses qui renferme de l'information sur les plans et le rendement attendu des minist̬res sur une p̩riode de trois ans. Il est d̩pos̩ au Parlement chaque ann̩e au printemps, apr̬s les discussions sur l'attribution des ressources. On y trouve g̩n̩ralement de l'information sur la mission ou le mandat, les strat̩gies ainsi que sur les r̩sultats strat̩giques et les engagements pr̩cis en mati̬re de rendement.

Rendement (Performance) РMesure dans laquelle une organisation, une politique, un programme ou une initiative atteint les r̩sultats pr̩vus en regard des cibles, des normes ou des crit̬res. En gestion ax̩e sur les r̩sultats, le rendement est mesur̩ et analys̩, communiqu̩ et utilis̩ comme fondement des d̩cisions en mati̬re de gestion.

Responsabilisation (synonymes : reddition de comptes, imputabilité) (Accountability) – Obligation de démontrer et d'assumer ses responsabilités relatives au rendement en fonction des attentes convenues. Ce concept diffère de la responsabilité, qui est l'obligation d'agir, alors que la responsabilisation est l'obligation de répondre d'une action.

Résultat (Result) – Conséquence attribuable aux activités d'une organisation, d'une politique, d'un programme ou d'une initiative. Ce terme général peut inclure à la fois les extrants produits et les résultats atteints par l'organisation, la politique, le programme ou l'initiative. Dans le plan fédéral de gestion axée sur les résultats et dans le document Des résultats pour les Canadiens et les Canadiennes , le terme résultat est plus spécifique et n'inclut pas les extrants.

R̩sultat (Outcome) РCons̩quences externes attribuables aux activit̩s d'une organisation, d'une politique, d'un programme ou d'une initiative En r̬gle g̩n̩rale, ce concept inclut souvent les extrants produits rapport aux engagements. Les r̩sultats peuvent alors ̻tre d̩crits comme imm̩diats, interm̩diaires ou finaux, directs ou indirects, voulus ou fortuits.

Résultat final (Final Outcome) – Il s'agit en règle générale des résultats dont l'atteinte nécessite plus de temps, qui sont soumis à des influences extérieures à la politique, au programme ou à l'initiative et qui peuvent se produire à un niveau plus stratégique.

R̩sultat horizontal (Horizontal Result) РR̩sultat r̩alis̩ par l'apport d'au moins deux minist̬res ou organismes, comp̩tences ou organisations non gouvernementales.

Résultat prévu (Cible) (Planned Results (Targets)) – Énoncé clair et concret des résultats (comprenant les extrants et les résultats) à atteindre au cours d'un cycle de planification et de rapport de rendement parlementaire et ministériel (d'un an à trois ans), permettant la comparaison avec les résultats réels.

Résultat stratégique (Strategic Outcomes) – Bénéfice durable et à long terme pour les Canadiens et les Canadiennes qui découle du mandat, de la vision et des efforts du ministère. Ces résultats représentent la contribution que le ministère veut apporter à la population canadienne et doivent être mesurables. L'atteinte des résultats ou le progrès à cet égard ne pourra se faire qu'avec le leadership soutenu d'un ministère ou d'un organisme fédéral, conformément aux attentes des Canadiens et des Canadiennes, surtout en ce qui a trait à la conclusion de partenariats et d'alliances avec d'autres intervenants et organisations.

Les Canadiens et les Canadiennes s'attendent également à ce que les ministères recherchent l'excellence en établissant des résultats stimulants qui relèvent de leur sphère de compétence ou d'influence. Ces résultats seront à la base des normes servant à évaluer le rendement du ministère grâce à des mesures ministérielles dérivées.

Stratégie de mesure du rendement (Performance Measurement Strategy) – Sélection, développement et utilisation continue des mesures du rendement pour guider les décisions ministérielles. L'étendue des informations provenant d'une stratégie de mesure du rendement peut inclure : la portée, les extrants et les résultats, les mesures de rendement, les sources de données, la méthodologie et les coûts.

Structure des ressources et des résultats de gestion (SRRG) – Remplace la Structure de planification, de rapport et de responsabilisation (SPRR) à titre de régime de présentation de rapports. Elle vise ce qui suit :

• définir clairement les résultats stratégiques qui conviennent;
• constituer un répertoire complet des programmes qui lie tous les programmes ministériels et toutes les activités de programmes pour les rendre conformes aux résultats stratégiques;
• établir les normes de rendement pour chaque niveau de l'architecture du ministère;
• veiller à ce que soit en place une structure de gouvernance ministérielle qui définit la prise de décisions et la reddition de comptes par résultat stratégique et par programme. ( Management of Resources and Results Structure (MRRS) ).

Suivi du rendement (Performance Monitoring) РProcessus continu de collecte d'information permettant d'̩valuer la progression vers l'atteinte des r̩sultats strat̩giques et, s'il y a lieu, d'̩mettre une mise en garde si le progr̬s n'est pas tel que pr̩vu.

Système d'information sur la gestion des dépenses (SIGD) (Expenditure Management Information System (EMIS)) – Cadre d'information commun à l'appui du Comité d'examen des dépenses et des évaluations ministérielles portant sur le cadre de responsabilisation de la gestion. L'Architecture des activités de programmes et le SIGD serviront de fondement aux documents suivants :

• Mise à jour annuelle des niveaux de référence (MJANR)
• Budget des dépenses
• Rapports sur les plans et les priorités (RPP)
• Rapports ministériels sur le rendement (RMR).

Validité (Validity) – Mesure dans laquelle les questions ou les procédures mesurent réellement ce qu'elles prétendent mesurer. Autrement dit, les données valides sont non seulement fiables mais aussi vraies et exactes. Les mesures servant à recueillir des données concernant une variable dans une étude d'évaluation doivent être à la fois fiables et valides pour que l'évaluation globale puisse produire des données utiles.

Source : SCT, Guide d'élaboration des cadres de gestion et de responsabilisation axés sur les résultats .
http://www.tbs-sct.gc.ca/cee/tools-outils/rmaf-cgrr/guide00-fra.asp

Annexe H РLiens concernant l'̩valuation

1.  http://www.tbs-sct.gc.ca/pol/doc-fra.aspx?id=15024

Lien vers la Politique d'évaluation du Conseil du Trésor.

2.  http://www.oecd.or g /dataoecd/29/21/2754804.pdf

Lien vers un glossaire complet des principaux termes relatifs à l'évaluation et la gestion axée sur les résultats.

3.  http://www.wkkf.org/Pubs/Tools/Evaluation/Pub770.pdf

Lien vers un guide pratique de l'évaluation de Kellogg.

4.  http://www.evaluatio n canada.ca

Lien vers la page d'accueil de la Société canadienne d'évaluation. Ce site contient de l'information sur les cours et les événements spéciaux, diverses ressources relatives à l'évaluation ainsi que des documents non publiés à l'intention des évaluateurs.

5.  http://www.phac-aspc.gc.ca/ncfv-cnivf/violencefamiliale/html/fvprojevaluation_f.html

Lien vers le document intitulé Guide d'évaluation de projet : Une démarche participative que la Direction de la santé de la population de Santé Canada a préparé en 1996. Le guide fournit un cadre complet facile à utiliser aux fins de l'évaluation des projets. Ce cadre peut être utilisé pour renforcer les compétences et les connaissances en évaluation, ce qui aidera à élaborer et à mettre en œuvre des évaluations de projets efficaces.

6.  http://www.mapnp.org/library/evaluatn/fnl_eval.htm#anchor1585345

Lien vers un guide fondamental de l'évaluation des programmes qui fournit des directives en vue de la planification et de la mise en œuvre d'un procédé d'évaluation pour les organismes à but non lucratif et à but lucratif.

7.  http://www11.hrdc-drhc.gc.ca/pls/edd/toolkit.list_fr?p_site=EDD

Lien vers la Série : Les outils de l'évaluation de DRHC qui a été mise au point par la Direction générale de l'évaluation et du développement des données. Cette série de publications fournit de l'information pertinente sur la conception, la planification et la tenue d'une évaluation. Voici quelques-unes des publications comprises :

• Les outils de l'évaluation : groupe de discussion – Guide permettant de comprendre le recours aux groupes de discussion à titre d'outil de collecte de l'information.
• Évaluation quasi expérimentale – Résumé des éléments fondamentaux de la recherche d'évaluation mettant l'accent sur la conception « quasi expérimentale Â».
• Guide de passation de marchés pour les études d'évaluation de DRHC à l'intention des utilisateurs – Résumé des dispositions de la Politique sur les marchés du Secrétariat du Conseil du Trésor (SCT) du Canada et des lignes directrices sur la passation de marchés et des pratiques administratives de DRHC qui s'appliquent aux services liés à l'évaluation.

Modèles logiques

8.  http://www.ed.gov/teachtech/logicmodels.doc

Lien vers le document Logic Models: A Tool for Telling Your Program's Performance Story , qui décrit en détail le procédé des modèles logiques et la manière de se servir de ces modèles pour élaborer et présenter le rendement d'un programme.

9.  http://national.unitedway.org/outcomes/resources/mpo/

Lien vers le manuel intitulé Measuring Program Outcomes: A Practical Approach , qui est une bonne source d'information sur l'élaboration de modèles logiques et d'indicateurs de rendement.

10. http://www.wkkf.org/Pubs/Tools/Evaluation/Pub3669.pdf

Lien vers le Logic Model Development Guide de la W.K. Kellogg Foundation qui donne un bon aperçu de l'élaboration de modèles logiques et fournit de l'information sur les différents genres de modèles logiques.

11. http://www.impactalliance.org/file_download.php/prevent+1.pdf?URL_ID=2744&filename=10196046740prevent_1.pdf&filetype=application%2Fpdf&filesize=646378&name=prevent+1.pdf&location=user-S/

Prevention Works! A Practitioner's Guide to Achieving Outcomes

12. http://www.insites.org/documents/logmod.htm

Tout ce que vous voulez vraiment savoir sur les modèles logiques mais n'osiez pas demander.

13. http://www.calib.com/home/work_samples/files/logicmdl.pdf

Lien vers un document qui décrit les modèles logiques et traite de leurs utilisations dans la planification et l'évaluation des services de traitement.

14. http://www.uwex.edu/ces/lmcourse/

Lien vers le site du cours autodidacte en ligne de l'Université du Wisconsin intitulé Enhancing Program Performance with Logic Models , une excellente ressource.

15. http://www.gse.harvard.edu/hfrp/content/pubs/onlinepubs/rrb/learning.pdf

Lien vers des modèles logiques et un exemple de partenariat entre une famille et une école.

Liens relatifs au CGRR

16. http://www.tbs-sct.gc.ca/cee/tools-outils/rmaf-cgrr/guide00-fra.asp

Lien vers le Guide d'élaboration des cadres de gestion et de responsabilisation axés sur les résultats d'août 2001 qui contient les lignes directrices de l'élaboration du profil, du modèle logique, de la stratégie de mesure du rendement, de la stratégie d'évaluation et de la stratégie de présentation de rapports.

17. http://www.tbs-sct.gc.ca/cee/tools-outils/comp-acc00-fra.asp

Lien vers le guide d'accompagnement aux fins de l'élaboration des CGRR des initiatives horizontales. Ces dernières doivent souvent intégrer les obligations verticales et horizontales de reddition de compte, divers groupements de ressources ainsi qu'une variété de mandats, de stratégies de mesure du rendement et de structures de présentation des rapports des ministères. Le guide se veut le complément du Guide d'élaboration des cadres de gestion et de responsabilisation axés sur les résultats et traite des défis uniques que doivent relever les différents organismes qui travaillent ensemble à atteindre des objectifs communs. Bien qu'il ne fournisse pas de réponse à toutes les questions, il procure des directives fondées sur les enseignements les plus importants tirés à ce jour.

18. http://www.tbs-sct.gc.ca/cee/pubs/guide/sarmaf-ascgrr-fra.asp

Lien vers le document Conseils pour une approche stratégique aux CGRR qui complète le Guide d'élaboration des cadres de gestion et de responsabilisation axés sur les résultats d'août 2001. Ce document a pour but d'aider les gestionnaires à adapter les CGRR à des circonstances particulières, en tenant compte de facteurs comme le risque global, la complexité des programmes et les exigences de compte rendu, et ce, afin que les CGRR continuent de répondre aux besoins changeants.

19. http://www.tbs-sct.gc.ca/res_can/rc_f.asp

Lien vers le document Des résultats pour les Canadiens et les Canadiennes – Un cadre de gestion pour le gouvernement du Canada qui décrit ce que les gestionnaires de la fonction publique doivent faire pour améliorer l'efficience et l'efficacité de leurs programmes. Le CGRR est un important outil de gestion qui permet d'atteindre les quatre objectifs du cadre Des résultats pour les Canadiens et les Canadiennes , à savoir l'accent sur les citoyens dans le cadre de toutes les activités gouvernementales, l'accent sur les valeurs, l'atteinte des résultats et l'utilisation judicieuse des fonds publics.

20. http://www.tbs-sct.gc.ca/pol/doc-fra.aspx?id=12257

Lien vers la Politique sur les paiements de transfert du Conseil du Trésor qui formalise l'exigence en matière de CGRR à titre d'élément d'une présentation au CT comportant des paiements de transfert.

[1] .  Voir le site Web du SCT à : l' http://www.tbs-sct.gc.ca/cee/tools-outils/model-fra.asp .

[2] .  Secrétariat du Conseil du Trésor du Canada, Modèles d'évaluation et de mesure du rendement des petits organismes , 2003.

Secrétariat du Conseil du Trésor du Canada, Évaluation provisoire de la Politique de l'évaluation , 2002.

[3] .  Secrétariat du Conseil du Trésor du Canada, Modèles d'évaluation et de mesure du rendement des petits organismes , 2003.

[4] .  Secrétariat du Conseil du Trésor du Canada, Élaboration et utilisation des cadres de gestion et de responsabilisation axés sur les résultats , avril 2004.

[5] .  Voir le site Web du SCT à : http://www.tbs-sct.gc.ca/cee/ .

[6] .  Secrétariat du Conseil du Trésor du Canada, Modèles d'évaluation et de mesure du rendement des petits organismes , 2003.

[7] .  Pour obtenir plus d'information sur les organisations susmentionnées, veuillez vous reporter à l'annexe C.

[8] .  Les petits organismes peuvent être dotés d'un seul niveau de gestion.

[9] .  Beaucoup de petits organismes soumettent un plan annuel de vérification et d'évaluation. Le modèle intègre tant la vérification que l'évaluation. Des plans de vérification interne doivent être présentés lorsque des priorités de vérification interne ont été identifiées.

Remerciements

Le Guide d'évaluation des petits organismes a vu le jour grâce aux conseils et aux avis des membres du Comité directeur interinstitutions. Nous aimerions donc offrir nos remerciements aux personnes suivantes :

Sylvie Charbonneau , Commissariat aux langues officielles

Pierre Couturier , Commission nationale des libérations conditionnelles

Annette Ducharme , Comité des griefs des Forces canadiennes

Yolaine Gauthier , Comité des griefs des Forces canadiennes

Michael Glynn , Tribunal canadien des droits de la personne

Janine Sherman , École de la fonction publique du Canada

Robert Sauvé , Comité d'examen des prix des médicaments brevetés

Greg Smith , Tribunal canadien des droits de la personne

Sharon Watts , vice-présidente, Services ministériels et adjudication, Conseil de contrôle des renseignements relatifs aux matières dangereuses

Ils ont fourni des conseils, ont revu les ébauches et ont offert des commentaires afin d'aider l'équipe de consultation à comprendre le contexte des petits organismes.

Nous tenons à remercier plus particulièrement Glenn Crone, Kim Cronkwright et Zeljka Spasojevic, du Centre d'excellence en évaluation, du Secrétariat du Conseil du Trésor du Canada pour l'appui qu'ils nous ont fourni durant la réalisation du présent guide.

Les membres du Comité directeur interinstitutions ont travaillé en étroite collaboration avec Zelda Yule, Sandy Moir, Celine Pinsent et Simon Roy, de la société Goss Gilroy Inc.