Secrétariat du Conseil du Trésor du Canada
www.sct-tbs.gc.ca
Manuel des projets de réglementation : Plan de mesure du rendement et d'évaluation
Comment remplir un modèle de plan de mesure du rendement et d'évaluation
Cette section renferme une description des neuf éléments fondamentaux du modèle de PMRÉ (voir l'annexe A). Vous pouvez consulter une liste des définitions de la mesure du rendement dans le Lexique de la gestion axée sur les résultats. L'information tirée du modèle de PMRÉ est reprise dans la section « Mesures de rendement et évaluation » du REIR. Si le projet de réglementation inclut une présentation au CT, les données du PMRÉ devraient correspondre à celles qui figurent dans la présentation au CT (voir le Guide pour la préparation de présentations au Conseil du Trésor).
1. Description et aperçu du projet de réglementation
La composante d'introduction d'un PMRÉ devrait comporter une description détaillée des problèmes et des risques – tels que recensés dans l'énoncé de triage – que le projet de réglementation veut résoudre. Cette section devrait également préciser le public cible visé par le projet, les bénéficiaire ciblés ainsi que les changements de comportement recherchés chez des groupes particuliers. Cet élément du modèle de PMRÉ est lié aux sections « Questions », « Objectifs » et « Description » du REIR.
Les questions auxquelles il faut répondre sont les suivantes :
- Quel problème le projet de réglementation vise‑t‑il à résoudre?
- Quelles sont les preuves de l'existence d'un problème?
- Pourquoi ce problème est‑il important?
- Quels sont les objectifs concrets du projet de réglementation?
- Comment le projet de réglementation permettra‑t‑il d'atteindre les objectifs en vue de résoudre le problème ou de l'atténuer?
- Quels bénéficiaires le projet de réglementation vise-t-il (p. ex., l'ensemble de la population canadienne, des groupes cibles parmi cette population, comme les enfants de moins de 4 ans)?
- Quels sont les publics cibles (p. ex., les particuliers et les organismes touchés par la réglementation) visés par le projet de réglementation?
- Quels sont les changements de comportement du public cible qui doivent être abordés (p. ex., sensibilisation, compréhension, capacité, conformité, etc.)?
Cette section devrait également décrire comment le projet de réglementation s'inscrit dans l'ensemble des activités ministérielles (c'est-à-dire, la nature de sa contribution au programme de réglementation, à l'atteinte des résultats stratégiques du ministère (AAP) ou à d'autres initiatives très importantes). Il faut en outre préciser si les activités de réglementation recoupent les champs de compétence ou d'intervention de divers organismes de réglementation. Enfin, il faut préciser comment l'information résumée et communiquée sera utilisée pour l'amélioration du rendement des activités de réglementation.
2. Modèle logique
Un modèle logique est un graphique accompagné de textes qui relatent l'historique des activités de réglementation. Il établit le lien entre, d'une part, les intrants (ressources) et les activités (ce que l'on fait) et, d'autre part, les extrants (produits ou services que produisent les activités), les groupes touchés (bénéficiaires ou parties touchés par la réglementation) et les résultats prévus de l'initiative (l'ordre de réalisation des changements au sein des groupes qui échappent au contrôle de l'organisme de réglementation). Sous sa forme la plus simple, le modèle logique comporte cinq composantes logiques interdépendantes :
- Intrants : ressources humaines et financières utilisées pour entreprendre les activités de réglementation en vue de produire des extrants (c'est-à-dire, les services et les produits). Les intrants comprennent notamment l'effectif, les installations matérielles, l'équipement, le matériel et le financement. Dans certains cas, pourront également y être inclus les pouvoirs législatifs ou réglementaires requis afin d'entreprendre les activités de réglementation.
- Activités : mesures que le ministère ou l'organisme entreprend afin de produire ses extrants. Ainsi, les organismes de réglementation mettent souvent en place des systèmes d'inspections et de délivrance de permis ou de licences.
- Extrants : produits ou services que produisent les activités de réglementation. Les extrants sont des résultats sur lesquels une organisation exerce un contrôle complet. Les résultats qui dépassent le cadre des extrants sont ceux qui échappent au plein contrôle de l'organisme de réglementation.
- Groupes cibles (groupes joints) : personnes, groupes ou organismes que l'activité de réglementation cherche à atteindre et à influencer. Il y a aussi bien les « réglementés » (c.‑à‑d., assujettis à des règlements) que d'autres groupes clés qui influenceront grandement le succès de l'initiative (p. ex., le secteur public, le secteur privé, certains organismes sans but lucratif, d'autres institutions et des Canadiens).
- Résultats : résultats attribuables à un organisme de réglementation. Ces résultats ne sont pas directement sous le contrôle d'une activité précise de réglementation. Ils sont plutôt touchés par les activités de l'organisme. Ces résultats sont, en outre, qualifiés d'immédiats (ou directs), d'intermédiaires ou d'ultimes, et ils sont liés aux groupes cibles que l'organisme de réglementation cherche à influencer.
Les problèmes ou les risques énumérés à la section 1 du modèle de PMRÉ facilitent l'énonciation des intrants, des activités, des extrants et des résultats dans le modèle logique. Vous voudrez bien vous référer à l'annexe B pour en apprendre plus sur la façon dont l'énoncé des risques et problèmes aident à établir le contexte vital des résultats. Cet élément fait également l'objet d'un cours qui est donné par l'École de la fonction publique du Canada.
Lorsque les organismes de réglementation élaborent l'aspect logique du projet de réglementation, ils peuvent s'inspirer d'autres documents ministériels liés à la SGRR. Dans la mesure du possible, un lien devrait être établi entre le modèle logique de l'activité de réglementation, les programmes connexes et les résultats stratégiques de l'organisme de réglementation.
Les modèles logiques devraient être examinés et être validés par le ministère approprié ou le personnel de l'organisme afin de confirmer l'exactitude de la structure logique du programme et d'obtenir plus facilement l'appui des personnes qui auront un rôle à jouer dans la mise en place et le fonctionnement du système de surveillance continue de la mesure du rendement. Dans le but de favoriser la consultation et la mobilisation permanente des intervenants, nous encourageons les ministères et les organismes, lorsqu'il est approprié de le faire, à inciter les intervenants de l'extérieur qui s'intéressent à l'activité de réglementation à y participer.
3. Indicateurs
Un indicateur est un moyen quantitatif ou qualitatif de mesurer le rendement ou les progrès d'une initiative vers l'atteinte des résultats désirés. Sur le plan opérationnel, les indicateurs décrivent les extrants ou les résultats qui sont recherchés au fil du temps.
Les indicateurs devraient être élaborés à partir du modèle logique qui se trouve dans le modèle de PMRÉ. Ils doivent être énoncés en ordre de priorité et leur nombre devrait être limité lorsqu'ils sont sélectionnés en vue d'être contrôlés. Il est plus efficace de mesurer un petit nombre d'indicateurs cruciaux qu'un grand nombre d'indicateurs de moindre portée. Il importe de préciser un petit ensemble d'indicateurs hautement significatifs[2] afin d'être en mesure d'effectuer le suivi du rendement global à l'égard de l'atteinte des résultats escomptés et des objectifs stratégiques du projet de réglementation (p. ex., la santé, la sûreté, la sécurité, la protection de l'environnement, les entreprises et le commerce, ainsi que la prospérité des Autochtones). Dans la mesure du possible, ces indicateurs devraient être uniformes avec les indicateurs du CMR et, idéalement, les étayer.
Les indicateurs devraient, autant que possible, être exprimés sous forme numérique (par exemple, chiffres bruts, moyennes, pourcentages, taux, ratios ou indices[3]. Si des indicateurs qualitatifs sont utilisés, ils devraient être objectivement vérifiables. Lors de la sélection des indicateurs, il faudrait garder certains critères à l'esprit. Les indicateurs devraient être :
- pertinents et valides;
- énoncés par ordre de priorité et limités en nombre;
- équilibrés et exhaustifs;
- significatifs et intelligibles;
- établis en temps opportun et réalisables;
- d'un bon rapport coût‑efficacité aux fins de mesure[4].
Lors de l'élaboration des indicateurs de rendement, il est utile de se poser la question suivante : Qu'est-ce que vous comprendriez ou que vous constateriez si les résultats escomptés que vous avez décrits étaient atteints? Le simple fait de répondre à cette question devrait vous fournir de bonnes indications sur ce que devrait être l'indicateur de rendement.
Une fois que vous aurez répondu à la question, vous voudrez définir l'indicateur en procédant de la façon suivante :
1. Suggérez l'ampleur du changement, par exemple en nombre, en proportion ou en pourcentage, en taux, en rapport, en montant ou en niveau.
2. Précisez ce qui doit faire l'objet du changement. Il peut s'agir du groupe cible de la population, d'un participant au programme, d'un client, d'un particulier, d'une organisation, d'un organisme ou d'une collectivité. Plus vous décrirez précisément le groupe qui devrait changer ou dont vous espérez une réaction, plus vous formulerez votre indicateur précisément.
3. Précisez ce qui devrait changer ou se produire. Il peut s'agir de modifications touchant la sensibilisation, l'attitude, les connaissances, les compétences, les aspirations, les engagements, les comportements ou les pratiques. Il peut aussi s'agir de simples réactions, comme la perception ou le niveau de satisfaction. Il est à noter que ce n'est pas toujours un changement en tant que tel. Nous recherchons parfois à maintenir les réactions et les comportements existants.
Il faudrait toujours se conformer à un principe clé, soit la logique des résultats prévus d'une initiative, lors de l'élaboration des indicateurs. Vous trouverez ci-dessous quelques exemples.
| Niveaux | Exemples |
|---|---|
| Résultats ultimes Résultats se situant au niveau le plus élevé parmi les résultats pouvant raisonnablement découler d'une politique, d'un programme ou d'une initiative et qui résulte de l'atteinte d'un ou de plusieurs résultats intermédiaires. Il s'agit de résultats qui reflètent un changement de situation de la population cible. |
|
| Résultats intermédiaires Résultats que l'on s'attend logiquement à obtenir après l'atteinte d'un ou de plusieurs résultats immédiats |
|
| Résultats immédiats Résultats directement attribuables aux extrants d'une politique, d'un programme ou d'une initiative |
|
| Extrants Produits ou services directs découlant des activités d'un organisme, d'une politique, d'un programme ou d'une initiative et habituellement contrôlés par l'organisme lui‑même. |
|
4. Mesure et rapports
Après la sélection d'un ensemble d'indicateurs, l'étape suivante vise à mettre au point une approche permettant de mesurer continuellement le rendement et de rendre compte des résultats obtenus. Il est courant de résumer une stratégie de mesure et de rapport sous forme de tableau. Il y aurait notamment une description de l'élément mesuré (extrant ou résultat), l'indicateur en tant que tel, une description de la source de données de l'indicateur et des méthodes employées pour recueillir les données, une description de l'établissement de la base de référence (à partir des données existantes ou d'une nouvelle base établie en fonction de la première mesure), les objectifs de rendement de l'indicateur, une description de la fréquence de mesure de l'indicateur ainsi qu'une description des services ou des personnes chargés des mesures et de la collecte des données. La majeure partie de ces données devrait se retrouver dans l'analyse coûts‑avantages et dans le REIR du projet de réglementation. Le tableau du PMRÉ pourrait également aborder tous les niveaux du modèle logique (p. ex., extrants ainsi que résultats immédiats, intermédiaires et finaux).
En vue de faciliter l'actualisation du CMR, le tableau suivant devrait être utilisé dans le modèle de PMRÉ. Toutefois, ce tableau pourrait aussi être étoffé en y ajoutant d'autres éléments qui vont au‑delà de ce qui est nécessaire pour actualiser le CMR.
| Résultat stratégique/résultat escompté/extrant | Indicateur de rendement | Source de données | Fréquence de la collecte de données | Cible | Date d'atteinte de la cible |
|---|---|---|---|---|---|
Le choix d'une source de données ou d'une méthode de collecte des données dépend du type d'indicateurs de rendement utilisés et du but dans lequel l'information est recueillie. Le choix d'une source de données peut être aussi influencé par le fait que les données sont recueillies régulièrement (à des fins de contrôle continu) ou périodiquement (dans le cadre d'une évaluation). Les données peuvent être recueillies à diverses sources, dont les suivantes :
- Données administratives : information recueillie dans le cadre d'activités courantes, comme le traitement des demandes de permis et de licences, les vérifications, les inspections et les activités d'exécution. Les organismes de réglementation devraient également tenir compte du fardeau administratif que cette cueillette peut représenter pour les entreprises et les particuliers.
- Données primaires : information recueillie dans le cadre d'exercices spécialisés de collecte de données, comme les sondages, les groupes de réflexion, les groupes d'experts ou les études d'évaluation spécialisées.
- Données secondaires : données recueillies par d'autres organismes, telles les statistiques nationales sur la santé ou la situation économique.
Les bases de référence permettent de déterminer des points de référence en fonction desquels l'évolution ultérieure des indicateurs peut être mesurée. Si vous disposez de données chronologiques fiables sur l'indicateur de rendement, vous devriez vous en servir. Sinon, il faut recueillir un ensemble de données de référence dès que possible.
Les cibles de rendement sont des valeurs d'indicateur qui sont projetées sur des périodes données (trimestre, semestre ou année). La cible visée pour le projet de réglementation devrait être rattachée à l'analyse (p. ex., analyse coûts‑avantages et évaluation du risque) sur laquelle la décision de prendre le règlement a été basée au départ. Les cibles peuvent aussi avoir été fixés en vue d'atteindre des niveaux de rendement à long terme. L'information recueillie peut également fournir des indications provisoires quant au fonctionnement d'indicateurs donnés. Elle peut aussi s'avérer utile lors de la préparation de rapports et de budgets annuels. Voici quelques lignes directrices dont vous pouvez vous inspirer pour fixer des cibles :
- les cibles peuvent être fixés en fonction du rendement antérieur (c.-à-d., le niveau auquel le rendement n'est plus considéré problématique);
- les cibles peuvent être fixés en fonction du niveau de rendement le plus élevé atteint jusqu'à maintenant;
- les cibles peuvent être fixés en fonction du niveau de rendement moyen enregistré par le passé;
- les cibles peuvent être fixés en fonction du niveau de rendement atteint par d'autres administration publiques ou par des entreprises privées menant des activités similaires;
- il faut s'assurer que les cibles retenues soient réalistes, compte tenu du budget du programme, du personnel qui y est affecté et des effets anticipés du programme;
- il convient de déterminer les facteurs – internes et externes – qui peuvent influer sur la capacité du programme d'atteindre les résultats escomptés.
Chaque année, les organismes de réglementation ont la responsabilité de rendre compte de leurs activités à la population canadienne au moyen des rapports sur les plans et les priorités (RPP) et des rapports ministériels sur le rendement (RMR). Ils ont ainsi une excellente occasion de récapituler les constatations faites dans le cadre des activités permanentes de mesure du rendement. D'autres instruments de rapport, tels les sites Web, les rapports annuels et les bulletins d'information, constituent également des moyens efficaces de tenir les Canadiens au courant des progrès d'un projet de réglementation, et ce, au moment opportun.
5. Stratégie d'évaluation
Les organismes de réglementation sont tenus d'évaluer leurs activités de réglementation conformément aux échéanciers et aux cycles énoncés dans la Politique d'évaluation où l'évaluation est définie comme « la collecte et l'analyse systématiques de données probantes sur les résultats des programmes afin d'en évaluer la pertinence et le rendement et de trouver d'autres modes de prestation ou d'autres façons d'obtenir les mêmes résultats ». Le plan annuel d'évaluation du ministère devrait faire référence à l'évaluation des activités de réglementation.
La stratégie d'évaluation est un cadre de haut niveau dans lequel sont définies et sont documentées les questions clés de l'évaluation et le type de données requises pour y répondre. La stratégie d'évaluation a pour objet d'atteindre les résultats suivants :
- permettre aux gestionnaires de programmes et au chef de l'évaluation de s'assurer que les données sur le rendement générées par la stratégie de mesure du rendement (MR) seront suffisantes pour étayer l'évaluation;
- fournir aux gestionnaires de programmes et au chef de l'évaluation l'occasion de s'assurer que les données administratives nécessaires aux fins de l'évaluation, en plus de celles qui seront recueillies dans le cadre de la stratégie de mesure du rendement, seront disponibles au moment de l'évaluation;
- permettre au chef de l'évaluation de déterminer quelles données supplémentaires devront être recueillies pour appuyer l'évaluation;
- permettre aux gestionnaires de programmes de prévenir à l'avance le chef de l'évaluation des engagements en matière d'd'évaluation susceptibles d'étoffer le plan d'évaluation ministériel.
La stratégie d'évaluation devrait préciser le calendrier et les responsabilités touchant l'élaboration du cadre d'évaluation ainsi que la date d'achèvement de l'évaluation. Les organismes de réglementation ont la latitude voulue pour déterminer la méthode d'évaluation et fixer un degré d'effort d'évaluation proportionnel aux effets des activités de réglementation qui ont été cernées dans l'énoncé de triage pour autant que l'évaluation aborde les questions fondamentales énoncées dans l'annexe A de la Directive sur la fonction d'évaluation.
Il est prévu que la Stratégie d'évaluation respectera les exigences de la Politique d'évaluation et de la Directive sur la fonction d'évaluation. Le Guide pour l'élaboration de stratégies de mesure du rendement qui appuient efficacement l'évaluation (à venir) est par ailleurs une ressource précieuse pour l'élaboration de la stratégie d'évaluation. De plus, nous encourageons les organismes de réglementation à consulter leur chef de l'évaluation lors de l'élaboration de la stratégie d'évaluation.
6. Lien avec l'architecture des activités des programmes
Il convient de décrire brièvement la façon dont les activités de réglementation s'intègrent à l'architecture des activités des programmes (AAP). Si les activités de réglementation ne s'inscrivent pas déjà dans l'AAP, vous devez indiquer à quel moment celles-ci seront intégrées. Voici un exemple de la façon dont des activités de réglementation peuvent être intégrées à une AAP :
Section 6 Figure - Version textuelle
7. Examen du Secteur des affaires réglementaires
Une ébauche du PMRÉ doit être envoyée à l'analyste de portefeuille du Secteur des affaires réglementaires du Secrétariat qui doit l'examiner afin de confirmer qu'il respecte les exigences du DCRR. Cette mesure doit être prise avant que le PMRÉ ne soit approuvé par le sous-ministre adjoint responsable de l'organisme de réglementation. Le chef de l'évaluation devrait avoir formulé des commentaires avant d'obtenir la confirmation du Secteur des affaires réglementaires du Secrétariat.
8. Approbation du sous-ministre adjoint
Le chef de l'évaluation doit examiner le PMRÉ et convenir qu'il soutient efficacement la réalisation d'une évaluation éventuelle. Le PMRÉ est alors signé par le sous-ministre adjoint (ou son équivalent) qui est responsable du projet de réglementation.
Les critères d'approbation du sous-ministre adjoint (ou son équivalent) sont les suivants :
- la portée et le niveau de détails du PMRÉ sont proportionnels à l'incidence du projet de réglementation;
- le contenu est précis et prend en compte la conception, la mise en œuvre et l'évaluation des activités de réglementation;
- il y a un engagement à faire un suivi et une évaluation du rendement du projet de réglementation et à rendre compte de ce rendement, y compris la mise en œuvre du PMRÉ, en ayant recours aux données sur les progrès accomplis pour appuyer la prise de décisions et la réalisation d'exercices d'évaluation périodiques conformément au plan d'évaluation ministériel;
- les modalités de responsabilisation concernant la collecte d'information sur le rendement, la présentation en temps opportun de rapports connexes et l'exécution des activités d'évaluation sont clairement définies;
- les ressources sont suffisantes pour assurer la mise en œuvre du PMRÉ;
- le chef de l'évaluation a examiné le PMRÉ et convient qu'il soutient efficacement la réalisation d'une évaluation éventuelle.
Il est essentiel d'obtenir toutes les autres approbations requises avant de demander au Secteur des affaires réglementaires du Secrétariat d'approuver le REIR. L'organisme de réglementation doit ensuite envoyer deux exemplaires signés de la version finale du PMRÉ au Secteur des affaires réglementaires.
9. Personne-ressource du ministère
Indiquez les coordonnées de la personne-ressource ou des personnes‑ressources aux fins des demandes de renseignements.
