Pour soutenir des évaluations efficaces : Guide d’élaboration de stratégies de mesure du rendement

6.0 Cadre de stratégie de mesure du rendement

6.1 Aperçu du cadre de stratégie de mesure du rendement

Le cadre de stratégie de MR définit les indicateurs nécessaires aux fins de la surveillance et de l'évaluation d'un programme. Son objet est d'aider les gestionnaires de programmes:

à surveiller et à évaluer systématiquement les résultats du programme, de même que l'efficacité de la gestion du programme;
à prendre des décisions éclairées et à adopter des mesures appropriées en temps voulu par rapport au programme;
à fournir des rapports ministériels utiles et pertinents sur le programme;
à s'assurer que l'information réunie permettra bel et bien d'appuyer une évaluation.

Les gestionnaires de programmes doivent consulter les chefs de l'évaluation sur la sélection des indicateurs afin de s'assurer que les indicateurs choisis permettront effectivement d'évaluer le programme. On trouve à la section 2.3 du présent guide davantage d'information sur les rôles et les responsabilités des gestionnaires de programmes et des chefs de l'évaluation.

6.2 Contenu du cadre de stratégie de mesure du rendement du programme

Le table 3 résume les principaux éléments du cadre de stratégie de MR. Le cadre devrait comprendre les éléments de l'AAP qui sont directement liés au programme, notamment l'activité de programme, la sous-activité ou la sous-sous-activité ainsi que le titre du programme (comme il apparaît dans la case correspondante de l'AAP). Le tableau devrait également indiquer les extrants, les résultats immédiats et les résultats intermédiaires du programme (comme ils sont définis dans le modèle logique) de même qu'un ou plusieurs indicateurs pour chaque extrant et chaque résultat. Pour chaque indicateur, fournir:

les données de référence;
les cibles;
les échéances pour atteindre la cible;
la ou les sources de données;
les méthodes de collecte de données;
la fréquence de la collecte des données;
les responsabilités pour la collecte et l'analyse des données;
le système de gestion des données utilisées.

***Tableau 3 : Exemple de tableau illustrant le cadre de stratégie de mesure du rendement - Éléments de l'AAP liés au programme:***
Extrants et résultats du programme	Indicateur	Données de référence	Cible	Échéances pour atteindre la cible	Source de données	Méthodes de collecte de données	Fréquence de la collecte des données	Responsa-bilité pour la collecte des données	Système de gestion des données
Extrant 1	Indicateur 1
Extrant 2 D'autres extrants peuvent être insérés plus bas	Indicateur 2 Indicateur 3
Résultat 1	Indicateur 4 Indicateur 5
Résultat 2 D'autres extrants peuvent être insérés plus bas	Indicateur 6
	Indicateur 7
	Indicateur 8

6.3 Les cadres de mesure du rendement et le cadre de stratégie de MR

La Politique sur la structure de la gestion, des ressources et des résultats (SGRR) exige l'élaboration d'un cadre de mesure du rendement (CMR) ministériel établissant les résultats attendus et les mesures de rendement qui feront l'objet d'un rapport pour les programmes relevés dans l'AAP. Le CMR ministériel sert à communiquer le cadre général à l'aide duquel un ministère entend recueillir et surveiller les renseignements sur le rendement qui sont associés aux résultats attendus du ministère et de ses programmes. Les indicateurs du CMR ministériel sont limités en nombre et ont pour objet de soutenir la surveillance et la production de rapports au sein du ministère.

Le cadre de stratégie de MR sert à déterminer l'information sur le rendement qui servira à assurer de façon systématique la surveillance et l'évaluation du programme et à planifier la collecte de cette information. Il a pour objectif de soutenir plus efficacementla surveillance et l'exécution d'un programme au quotidien, ainsi que l'évaluation finale de ce programme. Par conséquent, le cadre de stratégie de MR peut être assorti de résultats attendus, d'extrants et d'indicateurs de rendement connexes au-delà des limites fixées pour les résultats attendus et les indicateurs de rendement du CMR de la SGRR (voir la figure 2 ci-dessous). Contrairement au CMR de la SGRR, il n'y a pas de limites imposées au nombre d'indicateurs qui peuvent être inclus dans un cadre de stratégie de MR; toutefois, la stratégie de MR est plus susceptible d'être mise en oeuvre si le nombre d'indicateurs est raisonnable.

Figure 2: Comparaison des exigences de mesure du rendement du CMF de la SGRR et du cadre de stratègie de MR

Figure 2 : Version textuelle

Comme l'indique la figure 2, les indicateurs définis dans le cadre de stratégie de MR ont pour objet de soutenir systématiquement les activités de surveillance et d'évaluation du programme. Par conséquent, ils s'harmonisent aux indicateurs figurant dans le CMR ministériel de la SGRR du ministère, en plus de venir les compléter. Dans les cas où le programme figure comme un programme distinct dans l'AAP et que des indicateurs ont été définis dans le CMR, le cadre de stratégie de MR devrait inclure au moins les indicateurs du CMR ministériel. Lorsqu'une stratégie de MR est élaborée pour un nouveau programme qui ne figure pas dans l'AAP du ministère, il conviendrait d'envisager d'inclure dans la SGRR du ministère les résultats, les extrants et les indicateurs connexes élaborés pour le cadre de stratégie de MR.^[10]

6.4 Obligations redditionnelles et production de rapports

Le cadre de stratégie de MR devrait être accompagné d'un court texte qui décrit:

les exigences en matière de rapports et la façon dont elles seront respectées, y compris qui analysera les données et rédigera les rapports, à qui les rapports seront destinés, à quelle(s) date(s) ils seront présentés, les renseignements qu'ils comprendront, leur objet et la façon dont ils seront utilisés pour améliorer le rendement;
si cela est pertinent, les défis que pourraient représenter les activités de collecte des données et de production de rapports, de même que les stratégies pour relever ces défis (p. ex. il est possible qu'il n'y ait pas de système pouvant être utilisé pour la gestion des données).

6.5 Points à prendre en considération au moment d'élaborer le cadre de stratégie de mesure du rendement

Le tableau ci-dessous montre comment le cadre de stratégie de MR peut être élaboré.^[11]

Étape	Description	Commentaires
1.	Commencer par le CMR de la SGRR : Examiner le cadre de mesure du rendement (CMR de la SGRR) du ministère élaboré à l'appui de la Politique sur la structure de la gestion, des ressources et des résultats. S'il y a lieu, inclure les indicateurs de rendement dans le cadre de stratégie de MR.	Le cadre de stratégie de MR ne devrait pas être élaboré isolément. Conformément à la Politique sur la structure de la gestion, des ressources et des résultats, tous les programmes d'un ministère doivent contribuer aux résultats stratégiques définis dans l'AAP ministérielle. À ce titre, au moment de l'élaboration du cadre de stratégie de MR, les indicateurs de rendement devraient venir compléter ceux qui sont déjà prévus dans le CMR ministériel.
2.	Définir les indicateurs de rendement : élaborer ou sélectionner au moins un indicateur pour chaque extrant et chaque résultat (immédiat, intermédiaire et ultime) figurant dans le modèle logique du programme. Ne pas oublier qu'en plus de servir à la surveillance du programme au quotidien, les indicateurs de rendement seront également utilisés aux fins de l'évaluation. Il est donc recommandé que les gestionnaires de programmes envisagent aussi les questions fondamentales^[12] à prendre en compte dans les évaluations (c'est-à-dire pertinence et rendement) et qu'ils consultent les chefs de l'évaluation au moment d'établir les indicateurs de rendement.	Il y a deux genres d'indicateurs, les indicateurs qualitatifs et les indicateurs quantitatifs. Les indicateurs quantitatifs se composent d'un nombre et d'une unité. Le nombre fournit la magnitude (combien) et l'unité fournit au nombre sa signification (quoi), par exemple, le nombre de plaintes reçues par écrit. Les indicateurs qualitatifs prennent la forme d'un énoncé, par exemple une évaluation de la qualité de la recherche. Dans la mesure du possible, les indicateurs qualitatifs devraient être résumés à l'aide d'une échelle de notation, par exemple la qualité de la recherche est cotée « excellente », « moyenne » ou « inférieure à la moyenne ». On pourra ainsi effectuer des comparaisons dans le temps. Il est essentiel de choisir les bons indicateurs de rendement si on veut évaluer et surveiller efficacement les progrès d'un programme. Les bons indicateurs devraient être: valables - les indicateurs mesurent ce qu'ils sont censés mesurés; fiables - les données recueillies doivent être les mêmes si elles ont été recueillies de façon répétée, dans les mêmes conditions et au même moment; abordables - des méthodes de collecte (et d'analyse) des données d'un bon rapport coût efficacité peuvent être élaborées; accessibles - les données sont facilement et systématiquement accessibles pour suivre les changements dans l'indicateur; pertinents - l'indicateur est clairement relié aux résultats du programme. Limiter la quantité d'indicateurs à un nombre gérable - un petit nombre de bons indicateurs de rendement sera plus vraisemblablement mis en oeuvre qu'une longue liste d'indicateurs.
3.	Déterminer les sources des données : indiquer les sources des données et le système qui servira à la gestion des données.	Les données peuvent provenir de diverses sources possibles: données administratives - information déjà recueillie par le biais des dossiers du programme ou de bases de données, ou qui pourrait être recueillie moyennant des rajustements aux processus réguliers de programmation ou aux ententes de financement; données sur le rendement primaires - information recueillie dans le cadre d'exercices spécialisés de collecte de données, comme les groupes de discussion, les panels d'experts ou des enquêtes dans le cadre desquelles de l'information doit être recueillie; données secondaires - information recueillie par d'autres organismes, comme des statistiques nationales sur la santé ou la situation économique (p. ex. Statistique Canada). Utiliser de l'information facilement accessible. Tirer profit de toutes les sources d'information disponibles.
4.	Définir la fréquence et responsabilité de la collecte des données: Indiquer la fréquence à laquelle les données seront recueillies et la ou les personnes ou le bureau responsable de cette activité.	Indiquez à quelle fréquence l'information sur le rendement sera recueillie. Selon l'indicateur de rendement, il peut être avantageux de recueillir des données systématiquement, mensuellement, trimestriellement, annuellement ou sur une base différente. Au moment de planifier la fréquence et le calendrier de la collecte des données, le besoin de la direction en matière d'information rapide à des fins de prise de décisions représentent un important facteur à prendre en considération. Au moment d'attribuer les responsabilités, il est important de prendre en considération non seulement les parties qui ont accès plus facilement aux données ou aux sources de données, mais également les capacités et les systèmes qui devront être mis en place pour faciliter la collecte de données.
5.	Établir les données de référence, les cibles et l'échéancier	Les données sur le rendement ne peuvent être utilisées à des fins de surveillance et d'évaluation que s'il existe des points de comparaison. Un plan de référence sert de point de départ à la comparaison. Les cibles de rendement sont nécessaires pour évaluer la contribution relative du programme et de veiller à ce que l'information appropriée soit recueillie. Des données de référence pour chacun des indicateurs devraient être fournies par le programme au moment de l'élaboration du cadre de stratégie de MR. Généralement, et selon des indicateurs associés à des résultats de niveau supérieur, cette information aura déjà été recueillie par les gestionnaires de programmes à titre d'évaluation initiale de leurs besoins et pour soutenir l'élaboration de leur plan de mise en oeuvre. Les cibles peuvent être qualitatives ou quantitatives, selon l'indicateur. Voici des sources utiles pour la définition de cibles et de données de référence: des données de référence basées sur le rendement antérieur ou des itérations précédentes du programme; les réalisations d'autres programmes qui accomplissent un travail semblable et qui sont considérés comme des leaders dans le domaine (analyse comparative); les normes généralement acceptées de l'industrie ou du champ d'activité; des cibles publiquement énoncées (p. ex. établies par le gouvernement, annoncées dans le budget). S'il n'y a pas moyen d'établir une cible ou si le programme n'est pas en mesure dès le départ d'établir des données de référence, il conviendrait d'indiquer des échéances explicites au moment où les cibles et les données de référence seront établies ainsi que la personne ou les personnes responsables de leur établissement.
6.	Consulter et vérifier. À la dernière étape, les gestionnaires de programmes devraient tenir des consultations^[13], faire valider les indicateurs de rendement auprès de chefs de l'évaluation ou d'autres spécialistes de la mesure du rendement et s'assurer que les ressources requises pour la collecte des données sont prévues au budget. Des consultations avec d'autres intervenants intéressés (p. ex. le personnel de la gestion de l'information) sont aussi encouragées. Cette étape est conforme à la Directive sur la fonction d'évaluation, selon laquelle les chefs de l'évaluation doivent « examiner les stratégies de mesure du rendement pour toutes les dépenses de programmes directes nouvelles et en cours, y compris tous les programmes de subventions et de contributions permanents, pour s'assurer que ces stratégies appuient efficacement l'évaluation de la pertinence et du rendement, et fournir des conseils à ce sujet » (section 6.1.4, alinéa a). Il est fortement recommandé que les gestionnaires de programmes travaillent avec le chef de l'évaluation du ministère pour veiller à ce que les indicateurs de rendement qui seront recueillis soient adéquats pour soutenir une évaluation du programme. Le choix du mécanisme de consultation revient au gestionnaire de programmes et au chef de l'évaluation.	Voici des questions clés à prendre en considération pendant le stade de consultation et de confirmation: Les indicateurs choisis s'harmonisent-ils aux indicateurs figurant dans le CMR ministériel, en plus de venir les compléter? Les indicateurs sont-ils des mesures valables des extrants et des résultats (c'est-à-dire mesurent-ils ce qu'ils sont censés mesurer)? Les indicateurs sont-ils fiables (c'est-à-dire les données seraient-elles notées de la même façon si elles étaient recueillies de façon répétée, dans les mêmes conditions et au même moment)? Est-il probable que les données nécessaires soient fournies en temps opportun? Le coût est-il raisonnable et est-il clairement prévu dans le budget? Si la réponse à l'une de ces questions est « non », des rajustements doivent être apportés aux indicateurs ou aux ressources attribuées à la mise en oeuvre de la stratégie de MR.

Mise en oeuvre

Les pleins avantages du cadre de stratégie de mesure du rendement ne pourront se concrétiser que si le cadre est mis en oeuvre^[14]. À ce titre, les gestionnaires de programmes devraient veiller à ce que les ressources nécessaires (financières et humaines) et l'infrastructure nécessaire (p. ex. des systèmes de gestion des données) soient en place pour la mise en oeuvre. Dès l'étape de conception du programme, les gestionnaires de programmes devraient commencer à travailler à la création de bases de données, de modèles concis pour les rapports et d'autres outils de soutien nécessaires pour une mise en oeuvre efficace. Au cours de la première année suivant l'élaboration de la stratégie de mesure du rendement, ils devraient entreprendre un examen pour confirmer que l'information appropriée est recueillie et saisie afin de répondre aux besoins du programme et en vue de l'évaluation.

N'oubliez pas que selon la (Directive sur la fonction d'évaluation (section 6.1.4d.)), le chef de l'évaluation doit « présenter au Comité d'évaluation ministériel un rapport annuel sur l'état de la mesure du rendement des programmes à l'appui de l'évaluation ». La mise en oeuvre du cadre de stratégie de mesure du rendement revêt d'autant plus d'importance qu'il représente une source de premier plan d'éléments probants dans le rapport annuel destiné à l'administrateur général.