Secrétariat du Conseil du Trésor du Canada
www.sct-tbs.gc.ca
Modèles d'évaluation et de mesure du rendement des petits organismes, Rapport sommaire
Table des matières
Remerciements
Résumé
1.0 Introduction
2.0 Aperçu de l'approche
3.0 Résultats des entrevues et des études de cas
4.0 Exercice de validation des modèles
5.0 Description des modèles validés
Modèle A : Besoins en renseignements routiniers
Modèle B : Besoins en renseignements routiniers et complexes
Modèle C : Besoins en renseignements complexes
Annexes :
- A : Entrevues avec des sources d'information clés et études de cas
- B : Trousse de l'exercice de validation
- C : Tableaux de données détaillées tirés de l'exercice de validation
Remerciements
Ce rapport est le fruit de l'effort collectif de représentants de petites agences qui ont formé un Comité directeur inter-agences dans le but d'élaborer des modèles de développement et de mettre en application des activités d'évaluation et de mesure du rendement au sein de petits organismes. Nous désirons remercier les personnes suivantes :
- Louise Guertin (présidente du comité), Commissariat aux langues officielles;
- Ronald Pitt, Conseil de contrôle des renseignements relatifs aux matières dangereuses;
- Annette Ducharme, Comité des griefs des Forces canadiennes;
- Robert Sauvé, Conseil d'examen du prix des médicaments brevetés;
- Michael Glynn, Tribunal canadien des droits de la personne;
- Guy Savard, Centre canadien de gestion;
- Pierre Couturier, Commission nationale des libérations conditionnelles.
Ces personnes nous ont guidés, ont examiné les ébauches, nous ont transmis des observations et ont persévéré dans leurs efforts pour aider l'équipe de consultation à comprendre le contexte dans lequel œuvrent les petits organismes.
Nous sommes très reconnaissants envers Robert Lahey, Yolande Andrews et Kim Cronkwright du Centre d'excellence pour l'évaluation du Secrétariat du Conseil du Trésor, pour leur appui continu ainsi qu'envers les administrateurs du Fonds d'innovation pour la fonction de contrôleur moderne, lequel a rendu possible la production de ce rapport.
Les membres du Comité inter-agences ont été appuyés par madame Celine Pinsent de la firme Goss Gilroy Inc.
Résumé
Objectifs
Le présent rapport résume un projet qui a servi à créer divers modèles de fonctions d'évaluation et de mesure du rendement pouvant être adoptés au sein de petits organismes fédéraux. Le but du projet était d'explorer quels types de modèles seraient les plus pertinents, compte tenu des différentes caractéristiques des petits organismes, de leurs besoins et des ressources dont ils disposent. Le projet ne visait aucunement à produire une trousse d'outils pratique montrant aux petits organismes comment mettre en œuvre des fonctions d'évaluation et de mesure du rendement. Au lieu de cela, le but du projet était de créer des modèles qui guideront désormais toute activité de mise en œuvre. En réalité, la création d'une trousse d'outils ou de mesures d'aide à la mise en œuvre pourrait constituer des étapes ultérieures appropriées, fondées sur les modèles mis au point dans le cadre du projet décrit ici.
Contexte et justification
Les petits organismes du gouvernement du Canada sont extrêmement variés à différents points de vue, par exemple leur structure organisationnelle, leur relation avec les ministères et organismes de taille plus importante, la nature de leur travail et la taille de l'organisation. De plus, les petits organismes font face à des défis uniques et ont des caractéristiques distinctes lorsqu'on les compare aux ministères et organismes fédéraux de taille moyenne ou importante. Ces dimensions et caractéristiques contribuent au type et à la nature des renseignements dont ont besoin les petits organismes pour prendre leurs décisions et assurer le respect de l'obligation de rendre compte.
La plupart des petits organismes sont assujettis à la Politique d'évaluation du Secrétaire du Conseil du Trésor (SCT), mais un grand nombre d'entre eux n'ont ni une fonction d'évaluation ni une capacité suffisante pour créer et mener à bien des activités de mesure du rendement1. Il est prévu qu'une fonction d'évaluation ou une capacité de mesure du rendement de taille suffisamment importante contribuera à créer, au sein des petits organismes, un environnement qui améliorera le respect de l'obligation de rendre compte par la présentation de meilleurs comptes rendus des résultats obtenus dans le cadre de différents programmes et de différentes politiques ou initiatives. En outre, l'obtention d'information de qualité au sujet des résultats obtenus aidera les gestionnaires au sein des petits organismes à prendre leurs décisions.
Le Bureau de la fonction de contrôleur moderne du SCT a financé le projet, dont le déroulement a été surveillé par des représentants d'un groupe de petits organismes qui ont formé le Comité directeur du projet. Le Centre d'excellence pour l'évaluation, qui fait partie du SCT, a également fourni de l'aide tout au long du projet.
1 Ce manque de capacité a été signalé dans d'autres rapports et a été confirmé de façon générale durant le projet décrit ici, qui a été réalisé en 2003-2004.Approche au chapitre de l'élaboration des modèles
Dans le cadre du projet, on a tenu compte à la fois de la diversité des petits organismes fédéraux et des différences et défis uniques auxquels ils font face comparativement aux ministères de taille moyenne et importante. L'élaboration des modèles s'est faite en deux phases, la phase initiale incluant une collecte de données (entrevues avec des sources d'information clés, études de cas, examen d'ouvrages spécialisés et examen des approches adoptées dans d'autres administrations). La deuxième phase a consisté à valider les ébauches de modèles auprès de la collectivité des petits organismes, à l'aide d'un exercice d'autoévaluation et d'analyse des écarts.
Aperçu des constatations durant la phase un – Collecte de données
On a réparti, dans deux grandes catégories, les principales constatations provenant des entrevues faites avec des sources d'information clés, des études de cas, d'un examen des ouvrages spécialisés et d'une étude des approches appliquées dans d'autres administrations :
- les caractéristiques des petits organismes qu'il faut comprendre et dont il faut tenir compte lorsqu'on discute des modèles d'évaluation et de mesure du rendement possibles; et
- les approches et les pratiques actuelles d'évaluation et de mesure du rendement appliquées dans les petits organismes.
Les principales constatations concernant les caractéristiques des petits organismes incluaient les suivantes :
- Il y a une variation considérable dans la taille des organismes, ce qui cause des écarts dans la quantité et les types de renseignements nécessaires pour prendre des décisions et rendre compte des activités.
- La capacité de modifier la culture de l'organisme (pour assurer la transition à des processus de mesure axés sur les résultats) varie grandement entre les organismes.
- Souvent, dans le cas des petits organismes, l'administrateur nommé à la tête de ceux-ci à la suite d'une nomination politique n'a pas nécessairement d'expérience au sein de la fonction publique. Un défi particulier que cela peut poser dans certains organismes est qu'il y a un manque de soutien ou de compréhension de la part du dirigeant de l'organisme en ce qui concerne les aspects de l'évaluation et du compte rendu du rendement tels qu'appliqués dans le contexte de la fonction publique.
- Les restrictions auxquelles font face les petits organismes au chapitre des ressources sont évidentes. Ils disposent de très peu de marge de manœuvre dans l'attribution de leurs ressources en vue de la création de nouveaux processus internes qui ne font pas directement partie de leur secteur d'activité (défini dans leur mandat).
- Sur le plan des ressources humaines, il est difficile d'attirer des personnes talentueuses, même lorsque les postes existent.
Les principales constatations concernant les approches appliquées actuellement incluent les suivantes :
- Les petits organismes ne sont pas tous aussi avancés dans les domaines de la mesure du rendement et de l'évaluation et il y a beaucoup de variation entre eux à cet égard.
- Les organismes qui disposaient de la meilleure capacité en matière de mesure du rendement et d'évaluation avaient souvent un « champion » reconnaissable chez eux qui comprenait bien les avantages de la mesure du rendement et de l'évaluation et qui faisait des efforts constants pour y sensibiliser les autres membres de l'organisation.
- La plupart des organismes ont précisé qu'il était nécessaire de bénéficier d'un soutien au niveau de la haute direction pour pouvoir apporter les changements culturels requis au sein de l'organisation, lorsque celle-ci adopte les concepts et les processus de la mesure du rendement et de l'évaluation dans le cadre de ses activités quotidiennes.
Élaboration de modèles
Les résultats de la phase un ont contribué à l'élaboration de trois modèles d'approches différents pour ce qui est de l'évaluation et de la mesure du rendement dans les petits organismes. La question de savoir quel modèle est le plus approprié pour un organisme particulier dépend des réponses à deux questions sous-jacentes qui sont fondamentales dans le cadre de l'évaluation et de la mesure du rendement :
- Quels types de décisions les gestionnaires prennent-ils dans les organismes?
- Quels types de renseignements doivent-ils avoir pour prendrem ces décisions?
Certains types de décisions nécessitent parfois de l'information très complexe, tandis que d'autres requièrent de l'information relativement simple. Les trois modèles dépendent de la complexité de l'information devant être fournie par la fonction d'évaluation et de mesure du rendement au sein d'une organisation (simple, de complexité moyenne et complexe). Pour définir les besoins en matière d'information, on a utilisé quelques caractéristiques communes, comme le nombre de secteurs d'activité, le niveau de risque associé aux décisions, le nombre et les types d'intervenants, la prévisibilité de la charge de travail, la taille de l'organisme, la nature des textes législatifs liés à celui-ci, la proportion du budget attribuée aux subventions et aux contributions, le nombre de bureaux et l'importance comparative accordée aux processus et aux impacts au sein de l'organisme.
Chacun des trois modèles comprend trois grandes composantes :
- justification de la fonction d'évaluation et de mesure du rendement en fonction des besoins en information;
- conception et prestation de la fonction d'évaluation et de mesure du rendement dans un organisme particulier, comprenant par exemple les activités de planification de l'évaluation, d'élaboration d'indicateurs, de capacité interne par opposition à l'utilisation de ressources externes pour la mesure du rendement et d'intégration des activités de la fonction à d'autres activités de gestion;
- résultats de la fonction d'évaluation et de mesure du rendement tels que la fréquence des études d'évaluation, la fréquence de la présentation de rapports internes et leur intégration aux activités de planification, l'intégration des activités à la présentation de rapports externes et l'utilisation de l'information pour appuyer la prise des décisions.
Aperçu des constatations de la phase deux – Validation des modèles
L'objectif de la phase deux consistait à valider les modèles dans la collectivité des petits organismes. La majorité des petits organismes qui ont participé à l'exercice de validation ont indiqué qu'ils avaient à la fois des besoins en renseignements relativement routiniers et un ou deux aspects qui nécessiteraient éventuellement des renseignements plus spécialisés ou complexes. Comme on pouvait s'y attendre en examinant les résultats de la phase un, la plupart des répondants ont indiqué qu'il y avait des écarts entre les activités actuelles de leur organisation et les activités décrites dans les modèles appropriés.
Les observations faites par les répondants en ce qui concerne les modèles étaient favorables, la vaste majorité des répondants indiquant que ceux-ci étaient pertinents, à la fois dans le cas de leur organisme et pour la collectivité des petits organismes en général. Une observation faite par un certain nombre d'organismes était que les modèles constituaient un point de départ raisonnable, mais que l'exercice n'a pas permis de savoir quelles sont les mesures à prendre pour réduire les écarts ou mettre en œuvre les activités décrites dans les modèles. Tel que mentionné ci-dessus, cet aspect allait au-delà du mandat du projet décrit ici, mais il s'agit d'une bonne indication à savoir que la prochaine étape du processus devrait consister à aider les petits organismes à mettre en œuvre ces activités.
1.0 Introduction
Le présent rapport comprend le résumé d'un projet dans le cadre duquel on a élaboré différents modèles précisant comment les divers types de petits organismes fédéraux pourraient assurer le respect de l'obligation de rendre compte et accomplir les activités de mesure du rendement. Ce projet a tenu compte de la diversité que l'on trouve dans la collectivité des petits organismes fédéraux ainsi que des différences et défis uniques auxquels font face ces petits organismes comparativement aux ministères et organismes de taille moyenne et importante.
Le projet avait pour but de répondre à un objectif lié à la modernisation de la fonction de contrôleur consistant à élaborer, à renforcer et à mettre en œuvre de meilleurs cadres de responsabilisation dans les petits organismes en renforçant les fonctions d'évaluation et de mesure du rendement dans ceux-ci. La plupart des petits organismes sont assujettis à la Politique d'évaluation du Secrétariat du Conseil du Trésor, mais un grand nombre d'entre eux n'ont ni fonction d'évaluation ni capacité suffisante pour créer et mener à bien des activités de mesure du rendement. Il est prévu qu'une fonction d'évaluation ou une capacité de mesure du rendement de taille suffisamment importante contribuera à créer un environnement qui améliorera le respect de l'obligation de rendre compte par la présentation de meilleurs comptes rendus à propos des résultats obtenus dans le cadre de différents programmes et différentes politiques ou initiatives. En outre, une information de qualité au sujet des résultats obtenus aidera les gestionnaires des petits organismes à prendre leurs décisions.
Les petits organismes au gouvernement du Canada sont extrêmement divers à différents points de vue, tels leur structure organisationnelle, leur relation avec les ministères et organismes de taille plus importante, la nature de leur travail et la taille de l'organisation. Ces dimensions et caractéristiques contribuent au type et à la nature des renseignements dont ont besoin les petits organismes pour prendre leurs décisions et assurer le respect de l'obligation de rendre compte.
De plus, les petits organismes font face à des défis uniques et ont des caractéristiques distinctes lorsqu'on les compare aux ministères et organismes fédéraux de taille moyenne ou importante. Une différence est que les petits organismes ont souvent un ou deux secteurs d'activité, alors que les ministères de taille moyenne et importante ont fréquemment de multiples secteurs d'activité comprenant de nombreux programmes. Une autre différence est que comparés aux organismes et ministères plus importants, les petits organismes ont moins de souplesse au chapitre des ressources financières. En raison de ces différences, il est possible que les modèles utilisés pour respecter l'obligation de rendre compte et remplir les exigences en matière de rendement dans les ministères de taille moyenne et importante ne puissent s'appliquer aux petits organismes.
Le projet a été amorcé et mené par un groupe de petits organismes dirigés par le Commissariat aux langues officielles. Le groupe a reçu des fonds du Bureau de la fonction de contrôleur moderne du Secrétariat du Conseil du Trésor pour réaliser son projet. Goss Gilroy Inc., une entreprise de consultation en gestion, a été retenue pour collaborer avec le groupe de petits organismes à l'élaboration de modèles appropriés.
Le rapport est divisé en cinq grandes sections. La courte introduction au projet est suivie d'une description de l'approche générale utilisée pour mettre au point les modèles (section 2.0). La section 3.0 renferme les résultats des différentes méthodes employées pour réunir des renseignements ayant ensuite servi à l'élaboration des modèles. Dans la section 4.0, on trouve une description de l'exercice qui a été mené pour valider les modèles auprès des petits organismes. Finalement, la section 5.0 renferme des descriptions des trois modèles et de leurs différentes composantes.
2.0 Aperçu de l'approche
L'équipe chargée du projet a utilisé une approche en deux phases dans le cadre de celui-ci. La phase initiale a consisté à consulter des sources d'information clés par le biais d'entrevues, à mener des études de cas et à examiner les approches appliquées dans d'autres administrations pour respecter l'obligation de rendre compte et assurer la mesure du rendement. En se servant de l'information obtenue de ces sources, l'équipe chargée du projet a élaboré des ébauches de modèles montrant les façons dont les différents types de petits organismes pourraient respecter l'obligation de rendre compte et satisfaire aux exigences de mesure du rendement.
La phase deux a consisté à créer et à mener un exercice de validation des modèles élaborés durant la phase un et à présenter l'information provenant des deux phases dans le présent rapport.
La figure 1 illustre l'approche globale adoptée dans le cadre du projet.
Figure 1:
3.0 Résultats des entrevues et des études de cas
Le but des entrevues des sources d'information clés et des études de cas était de réunir de l'information qui aiderait à élaborer des ébauches de modèles permettant de respecter l'obligation de rendre compte et de satisfaire aux exigences de mesure du rendement dans les petits organismes. Le lecteur est invité à consulter l'annexe A, où il trouvera des précisions concernant les participants aux entrevues de sources d'information clés et aux études de cas, les instruments de collecte de données utilisés et de courtes descriptions des 15 études de cas individuelles.
L'information qui a été réunie dans le cadre de ces activités se classait dans deux grandes catégories.
- Caractéristiques de la collectivité – Il s'agissait notamment de cerner des caractéristiques propres à la collectivité des petits organismes. Il s'agissait de renseignements importants puisque le but global du projet était d'élaborer des modèles qui seraient pertinents pour cette collectivité et non pas juste des adaptations de modèles utilisées par des ministères et des organismes de taille importante ou moyenne. Parmi les caractéristiques que l'on a examinées, il y avait les besoins en renseignements, la structure organisationnelle, les mandats et la taille des organismes, la marge de manœuvre au chapitre des ressources, les défis actuels et les exigences législatives.
- Approches actuelles utilisées pour respecter l'obligation de rendre compte et satisfaire aux exigences de mesure du rendement – Ce type d'information était particulièrement utile pour cerner toute pratique exemplaire ou leçon apprise parmi les organismes qui ont participé aux études de cas, ainsi que tout écart ou secteur qui présentait des difficultés particulières. Cette information a été utilisée directement dans le processus d'élaboration afin que les modèles tiennent compte des approches qui avaient fourni de bons résultats dans certains organismes et pour combler les lacunes observées dans certains autres.
3.1 Caractéristiques de la collectivité
Les entrevues avec des sources d'information clés et les études de cas ont fourni de l'information à propos de différentes caractéristiques de la collectivité des petits organismes. Voici une brève description de ces caractéristiques.
Taille des organismes
La taille des petits organismes est extrêmement variée. Selon la définition de « petit », la taille des organisations peut aller de moins de dix équivalents temps plein (ETP) jusqu'à plus de 1 000.
Il semble que la quantité et les types de renseignements requis pour prendre des décisions et rendre compte des activités dans un organisme qui compte sept employés sont considérablement différents
de ceux qui sont requis pour gérer un organisme comptant plus de 800 employés.
Modifications de la culture de l'organisme
Dans certains organismes, le roulement et les mutations d'employés sont faibles en comparaison à ceux de nombreux ministères et organismes de taille importante ou moyenne. Pour ces organismes, il
peut être assez difficile de mettre en œuvre des approches qui ne font pas déjà partie de la culture de l'organisme. Toutefois, de nombreux répondants ont également fait valoir que l'un des
avantages d'être petit est que souvent un changement de culture peut être appliqué assez rapidement.
Mandat assurant l'autonomie
De nombreux organismes ont été créés par voie législative en tant qu'organismes indépendants (c.-à-d. quasi judiciaires). Aux termes de leur mandat, il ne peut y avoir de lien de dépendance entre eux
et les ministères ou les autres organismes dans le cadre de l'exécution de leurs responsabilités. En raison de cela, le potentiel de partenariats et de mise en commun de ressources est quelque peu
limité pour de nombreux organismes.
Soutien accordé par le dirigeant de l'organisme
Dans le cas des petits organismes, il arrive souvent que l'administrateur nommé à la tête de l'organisme à la suite d'une nomination politique ne possède pas nécessairement d'expérience au sein de la
fonction publique. Un défi particulier que cela peut causer dans certains organismes est qu'il y a un manque de soutien ou de compréhension de la part du dirigeant de l'organisme en ce qui concerne
les aspects de l'évaluation et du compte rendu du rendement tels qu'appliqués dans le contexte de la fonction publique. Dans les organisations où le chef connaît et appuie les activités
d'amélioration de la mesure du rendement, il est peu surprenant que l'organisme soit assez avancé dans sa capacité de respecter l'obligation de rendre compte et de satisfaire aux exigences de mesure
du rendement.
Souplesse limitée au chapitre des ressources
Les restrictions auxquelles font face les petits organismes au chapitre des ressources sont évidentes. Ils ont très peu de marge de manœuvre dans l'attribution de leurs ressources pour la
création de nouveaux processus internes qui ne font pas directement partie de leur secteur d'activité (défini dans leur mandat). Contrairement à la situation dans les ministères de taille moyenne et
importante, où souvent il y a possibilité de mettre en œuvre des projets pilotes, d'engager à contrat des experts de l'extérieur ou d'apporter des changements aux systèmes d'information, les
petits organismes n'ont souvent aucune marge de manœuvre dans l'attribution des ressources.
Facteurs liés aux ressources humaines
Durant les études de cas et les entrevues avec des sources d'information clés, un certain nombre d'observations ont été formulées en ce qui concerne les questions liées aux ressources humaines dont
il faut tenir compte lorsqu'on élabore des modèles de respect de l'obligation de rendre compte et des exigences de mesure du rendement. Voici certains de ces commentaires :
- Il est difficile d'attirer des personnes talentueuses, même lorsque les postes existent. Il y a une pénurie reconnue, dans l'ensemble du secteur fédéral, d'évaluateurs ayant suivi une formation et de spécialistes de la mesure du rendement. Les petits organismes ont encore plus de difficulté à attirer de tels professionnels lorsqu'ils font concurrence à des ministères de taille moyenne et importante.
- Il y a de fortes chances que les personnes engagées par de petits organismes doivent posséder des compétences plus poussées à de nombreux égards. La raison est que les employés des petits organismes sont souvent appelés à jouer plusieurs rôles (p. ex., évaluation, mesure du rendement, planification stratégique, vérification, etc.). Le recrutement de professionnels à ce niveau dans un petit organisme peut être problématique à cause d'un manque de possibilités d'avancement professionnel, d'un manque de possibilités de collaborer avec d'autres évaluateurs, etc.
3.2 Approches actuelles et écarts
On a réuni de l'information à partir d'études de cas et au moyen d'entrevues faites avec des personnes qui représentent des sources d'information clés pour savoir quelles sont les approches appliquées actuellement en vue de respecter l'obligation de rendre compte et de satisfaire aux exigences de mesure du rendement et pour savoir quelles sont certaines des lacunes que l'on trouve dans la collectivité des petits organismes.
Diversité au sein de la collectivité
Les petits organismes ne sont pas tous aussi avancés les uns que les autres dans les domaines de la mesure du rendement et de l'évaluation. Certains organismes commencent à peine à examiner les
concepts de la mesure du rendement et à déterminer comment ils s'appliquent à leur organisme. Au sein de ceux-ci, la mesure du rendement et l'évaluation ne sont pas des concepts avec lesquels les
gestionnaires sont familiers, et il y a une nécessité reconnue, dans ces organismes, de commencer à comprendre leurs besoins en renseignements et la façon dont ils peuvent respecter l'obligation de
rendre compte et remplir les exigences de mesure du rendement. À l'autre bout de ce continuum, on trouve les organismes qui sont fort avancés dans l'application des concepts de la mesure du rendement
et de l'évaluation de leur organisation. On a créé et mis en œuvre des cadres de responsabilisation; on assure la surveillance continue en utilisant des indicateurs du rendement établis et on
effectue des évaluations périodiques.
Processus d'examen externe obligatoire
Pour certains organismes, la législation qui régit leurs activités prévoit un processus d'examen externe. On a reconnu que tout modèle utilisé pour respecter l'obligation de rendre compte et mesurer
le rendement devrait tenir compte de ce processus. Ainsi, pourrait-il être nécessaire de mettre des données de qualité sur le rendement à la disposition d'examinateurs externes ou il pourrait y avoir
une réduction du besoin d'évaluations périodiques internes.
Besoin de nommer un « champion »
Dans le cadre des études de cas, l'équipe chargée du projet a constaté que les organismes qui possédaient la meilleure capacité de mesure du rendement et d'évaluation avaient souvent, dans leur
effectif, une personne reconnaissable qui comprenait les avantages de la mesure du rendement et de l'évaluation et qui faisait des efforts constants pour les expliquer à d'autres membres de
l'organisation. En disposant ainsi d'un « champion » précis, les organismes semblent non seulement accroître l'acceptation de ces concepts, mais améliorer également considérablement leur capacité
interne par la mise sur pied de groupes de travail, l'organisation de séances de planification, etc. Dans certains cas, ce « champion » était un directeur ou un gestionnaire; dans d'autres cas, il
s'agissait du chef de l'organisme.
Soutien venant de la haute direction
Même si le chef de l'organisme ne doit pas nécessairement agir comme « champion » au sein de celui-ci, la plupart des organismes participant aux études de cas étaient d'avis qu'il faut bénéficier
d'un soutien de la haute direction afin d'intégrer les activités de mesure du rendement et d'évaluation à l'ensemble des activités de l'organisme. Le soutien venant de la haute direction a souvent
été mentionné comme nécessaire pour apporter les changements culturels globaux requis dans une organisation lorsqu'elle intègre les concepts et les processus de la mesure du rendement et de
l'évaluation à ses activités quotidiennes.
Accent mis sur les processus
Pour plusieurs organismes qui ont participé aux études de cas, il était très important de comprendre et d'évaluer les divers processus au sein des organismes et d'en rendre compte. L'équipe chargée
du projet pensait que c'était en raison de la nature du travail qu'accomplissent un grand nombre de ces organismes, travail qui souvent est de nature judiciaire, quasi judiciaire ou consiste à mener
des enquêtes. Il peut s'agir d'une importante différence par rapport à un grand nombre de ministères et d'organismes de taille importante et moyenne où l'accent est mis sur la prestation des
programmes ou sur des interventions. Les types d'activités de mesure du rendement et d'évaluation qui sont les plus appropriés dans le cadre de ces activités spéciales peuvent différer
considérablement des types de renseignements dont on a besoin pour gérer des « programmes ».
Difficulté d'évaluer la « raison d'être »
Un grand nombre d'organismes ont de la difficulté face au concept de l'évaluation de la « raison d'être ». De nombreux organismes ont un secteur d'activité qui leur est imposé par un texte législatif
particulier. Leur raison d'être est définie par la législation. Cependant, l'évaluation de la raison d'être d'un programme ou d'une politique spécifique dans un ministère de taille importante ou
moyenne est différente, en ce sens qu'on peut réorienter le programme, le réduire, l'étendre, etc. Un grand nombre de petits organismes qui n'ont qu'un secteur d'activité imposé par législation n'ont
pas ces options. Par conséquent, ces organismes ont tendance à mettre davantage l'accent sur l'évaluation et le compte rendu des processus (voir le point ci-dessus).
Mesure du rendement en tant que première étape
Un grand nombre d'organismes ont indiqué que dans le contexte des efforts visant à satisfaire aux exigences globales liées à l'obligation de rendre compte, ils commencent par mettre l'accent sur la
création d'une capacité de mesure du rendement dans leurs organisations respectives. Cela consiste notamment à dresser un cadre qui établit des liens entre les activités et les résultats prévus, les
indicateurs du rendement et les stratégies de collecte des données. Ils ont l'intention, une fois qu'un système solide de mesure du rendement aura été créé, de se tourner vers le besoin d'évaluations
périodiques concernant différents aspects de leur organisation.
Approches concernant l'amélioration des capacités
Les participants aux entrevues et aux études de cas ont proposé différentes approches pour améliorer les capacités au sein de leurs organismes. Nombre d'entre eux étaient d'avis que cette
amélioration des fonctions de mesure du rendement et d'évaluation doit se faire dans le contexte du programme général de modernisation de la gestion. Si on la fait séparément, les gens auront de la
difficulté à comprendre la raison d'être des processus et seront plus portés à voir les activités de mesure du rendement et d'évaluation comme celles qui sont « présentement en vogue ». Parmi les
approches efficaces d'amélioration des capacités mentionnées par les participants, il y avait les suivantes :
- Identification et communication continues des pratiques exemplaires et des leçons apprises au sein de la collectivité des petits organismes. De nombreux répondants ont indiqué qu'il faut éviter de continuellement « réinventer la roue » dans chaque petit organisme.
- Création de projets témoins qui permettent à divers petits organismes d'observer et de participer. Cette approche d'apprentissage favorisant la participation permet à de petits organismes, dont les capacités varient, d'observer la conception et la mise en œuvre de différents processus dans le domaine de la mesure du rendement et de l'évaluation dans d'autres petits organismes.
- Pour améliorer les capacités des employés, il ne suffit pas d'offrir des ateliers. Souvent, il faut offrir de l'aide pour leur permettre de créer les éléments voulus, du moins les premières fois.
- Il faut s'assurer que les employés et les gestionnaires voient rapidement les résultats des fonctions de mesure du rendement et de l'évaluation (p. ex., planification plus aisée, rapports, etc.). S'il n'y a pas d'évidence relativement rapide d'un quelconque « avantage », l'intérêt et la capacité créés s'estomperont probablement assez vite.
Accès à l'expertise
Durant les études de cas et les entrevues, de nombreux participants ont fait savoir que l'un des principaux défis auxquels ils font face lorsqu'ils tentent d'élaborer des approches au chapitre de la
mesure du rendement et de l'évaluation dans leurs organisations est qu'ils n'ont pas facilement accès à de l'expertise dans ces secteurs. Ces spécialistes doivent également comprendre le contexte
dans lequel travaillent les petits organismes et s'y adapter.
4.0 Exercice de validation des modèles
Un des principaux éléments de la phase deux du projet était la création et la mise en œuvre d'un exercice de validation des modèles. Une fois que de l'information avait été obtenue au moyen de recherches ayant pour but de définir les approches adoptées dans d'autres administrations et au moyen d'entrevues de personnes représentant des sources d'information clés et d'études de cas, l'équipe chargée du projet, conjointement avec le Comité directeur, a élaboré trois ébauches de modèles d'approches de mesure du rendement et d'évaluation pour la collectivité des petits organismes. Dans le cadre de la phase deux, il était nécessaire de créer et de mettre en œuvre un exercice de validation de ces ébauches.
4.1 Description de l'exercice
L'exercice de validation comportait quatre grands volets. Le volet initial consistait à décrire brièvement le projet et les ébauches des modèles. Le deuxième volet consistait à évaluer brièvement les besoins en renseignements de l'organisation afin de déterminer lequel des modèles lui convenait le plus. Une fois qu'un modèle approprié avait été choisi, le participant passait à la troisième étape, consistant à effectuer une courte analyse des écarts, pour savoir quels aspects du modèle existaient déjà au sein de l'organisme, lesquels étaient prévus et lesquels ne s'appliquaient pas. Finalement, le quatrième volet encourageait le participant à fournir des commentaires à l'équipe chargée du projet au sujet de la pertinence des modèles, des résultats d'une évaluation des besoins en renseignements et des lacunes repérées.
Les petits organismes qui n'ont pas participé aux études de cas ont été informés initialement de l'exercice de validation par la présidente du Comité directeur au moyen d'une lettre. Environ trois jours plus tard, ils ont reçu une trousse de validation (voir l'annexe B, qui renferme un exemplaire de la trousse de validation). Puis, chaque petit organisme ayant reçu une trousse de validation a fait l'objet d'un appel téléphonique pour confirmer réception de la trousse. Durant cet appel, on lui offrait également de l'aider à remplir la trousse. À la fin de juillet 2003, l'équipe chargée du projet recevait de 22 petits organismes des trousses de validation remplies. Cela représentait un taux de réponse d'environ 50 %.
4.2 Aperçu des résultats de l'exercice de validation
Dans la présente section, le lecteur trouvera un aperçu des résultats de l'exercice de validation.
Les organismes qui ont participé à l'exercice de validation présentaient des caractéristiques variées. La taille de l'organisme allait de moins de 50 ETP à plus de 150. Leur connaissance de la mesure du rendement et de l'évaluation des organismes, selon les résultats d'une auto-évaluation, allait de « débutant » à « avancé ». Les réponses étaient mixtes en ce qui concernait la mesure dans laquelle l'accent était mis sur les processus par opposition à l'impact des activités de l'organisation.
La majorité des petits organismes qui ont participé à l'exercice de validation ont indiqué qu'ils avaient à la fois des besoins en renseignements relativement routiniers et ont remarqué un ou deux aspects qui nécessiteraient éventuellement des renseignements plus spécialisés ou complexes (modèle B). La plupart des répondants ont indiqué qu'il y avait des écarts entre ce que faisait leur organisation à ce moment précis et les activités décrites dans les modèles appropriés. Là où il y avait des écarts, dans la plupart des cas, l'organisme a projeté de mettre en œuvre l'activité spécifique dans les trois prochaines années.
Les observations faites par les répondants au sujet des modèles étaient favorables, la vaste majorité de ceux-ci indiquant que les modèles étaient pertinents à la fois dans le cas de leur organisme et pour la collectivité des petits organismes en général. En ce qui concernait l'utilité de l'évaluation des besoins en renseignements et l'analyse des écarts, les organismes qui avaient des activités relativement bien établies en mesure du rendement et en évaluation trouvaient l'exercice moins utile, mais avaient tendance à affirmer qu'il s'agissait d'une bonne confirmation de leurs propres analyses. Les organismes qui avaient des activités de mesure du rendement et d'évaluation moins poussées tendaient à trouver que l'exercice était utile.
Une observation qui a été faite par un certain nombre d'organismes était que les modèles constituaient un point de départ raisonnable, mais que l'exercice n'a pas permis de savoir quelles sont les mesures à prendre pour réduire les écarts ou mettre en œuvre les activités décrites dans les modèles. Il convient de noter que le volet de mise en œuvre n'était pas du ressort du projet décrit ici, mais il est probable qu'il s'agit de la prochaine étape essentielle, alors que les petits organismes continuent d'améliorer ces activités dans le contexte des modèles découlant du projet.
5.0 Description des modèles validés
Les trois modèles élaborés sont les suivants :- Modèle A – Besoins en renseignements routiniers
- Modèle B – Besoins en renseignements routiniers et complexes
- Modèle C – Besoins en renseignements complexes
- Justification des activités d'évaluation et de mesure du rendement
- Conception et prestation d'activités d'évaluation et de mesure du rendement
- Résultats des activités d'évaluation et de mesure du rendement
Pourquoi un organisme investirait-il dans des activités d'évaluation et de mesure du rendement? Quelle est leur raison d'être au sein de l'organisme? En bref, si ces activités sont bien conçues et bien appliquées, elles fournissent à la direction l'information dont elle a besoin pour prendre des décisions.
Ainsi, les deux questions sous-jacentes qui ont été posées tout au long de l'élaboration des modèles d'évaluation et de mesure du rendement étaient les suivantes :
- Quels types de décisions les gestionnaires prennent-ils dans les organismes?
- Quels types de renseignements doivent-ils avoir pour prendre ces décisions?
Les activités utiles d'évaluation et de mesure du rendement sont celles qui répondent aux besoins en renseignements des gestionnaires dans un environnement axé sur les résultats. Pour savoir quel genre de renseignements devraient être fournis par ces activités, un organisme doit définir clairement les types de décisions que prennent les gestionnaires. Certains types de décisions nécessitent des renseignements très complexes, tandis que d'autres requièrent des renseignements relativement routiniers. Les modèles dépendent de la complexité de l'information devant être fournie par la fonction d'évaluation et de mesure du rendement au sein d'une organisation.
Durant la phase initiale du projet, l'équipe chargée de celui-ci a défini les principales caractéristiques des organismes ayant un lien avec le degré de complexité des renseignements dont ils ont besoin pour prendre des décisions. Il s'agissait notamment des caractéristiques suivantes :
- nombre de secteurs d'activité ou de programmes gérés par l'organisation;
- nombre et types d'intervenants qui collaborent avec l'organisation, tels des organismes ou ministères partenaires, des organisations de prestation, des clients, etc.;
- niveau de risque associé aux différentes décisions ou activités de l'organisation;
- degré de centralisation de l'organisation, d'après le nombre de bureaux régionaux et nationaux;
- fluctuations du budget ou des ressources;
- fluctuations de la charge de travail ou de la demande de services assurés par l'organisation;
- taille de l'organisme (c.-à-d. les ETP);
- proportion du budget qui est attribuée aux subventions et aux contributions;
- accent proportionnel mis sur les processus au sein de l'organisme par opposition aux répercussions des activités de l'organisme;
- nature de la législation associée à l'organisme (p. ex., examens externes obligatoires, activités et justifications précisées dans le mandat, etc.).
En évaluant systématiquement chacune de ces caractéristiques, un organisme devrait pouvoir déterminer dans quelle mesure ces besoins globaux en renseignements sont complexes, routiniers ou situés quelque part entre les deux. Il devra se fonder sur la nature de ses besoins en renseignements pour concevoir et mettre en œuvre ses activités d'évaluation et de mesure du rendement.
Composante 2 : Conception et prestation des activités d'évaluation et de mesure du rendementUne fois qu'une organisation a déterminé le type de renseignements dont elle a besoin (p. ex., complexes, routiniers), elle peut décider comment concevoir et mettre en œuvre les activités d'évaluation et de mesure du rendement au sein de l'organisation. Certains des aspects à examiner incluent les suivants :
- planification de l'évaluation;
- élaboration de modèles logiques;
- élaboration d'indicateurs;
- création d'un système de mesure du rendement;
- capacité interne en ce qui concerne les activités;
- recours à des ressources externes;
- intégration de fonctions d'évaluation et de mesure du rendement à d'autres activités de gestion.
Il devrait y avoir un lien direct entre chacun de ces aspects et le type d'information devant être fournie effectivement par ces activités. Par exemple, la formulation d'indicateurs pourrait aller de la création d'indicateurs à niveaux multiples comprenant plusieurs niveaux de synthèse dans le cas des besoins en renseignements complexes à la collecte systématique de données pour trois ou quatre solides indicateurs, lorsque les besoins en renseignements sont relativement routiniers.
Composante 3 : Résultats des activités d'évaluation et de mesure du rendementLe dernier élément de chacun des modèles est celui des résultats fournis par les activités d'évaluation et de mesure du rendement. Il devrait y avoir un lien direct entre ces résultats et la justification originale des activités (composante 1) et l'évaluation des besoins en information de la direction en vue de la prise des décisions. Les principaux aspects à considérer à l'égard de cette composante sont les suivants :
- fréquence des études d'évaluation;
- fréquence de la présentation de rapports internes et de l'intégration à la planification;
- intégration des activités et de la présentation de rapports externes;
- utilisation de l'information découlant de la mesure du rendement et de l'évaluation pour appuyer les processus décisionnels.
Les diagrammes qui suivent renferment des descriptions détaillées de chacun des modèles, y compris leurs trois composantes.
Modèle A
Besoins en renseignements routiniers
Premier élément - justification
Facteurs externes- Sujets à la politique d'évaluation du SCT.
- Besoin de renseignements pour produire les RMR, RPP et rapports annuels.
- Les attentes des intervenants principaux en matière de rendement sont de modérées à élevées.
- Niveaux peu élevés de visibilité auprès du public.
- Indépendance et autonomie face aux organismes et ministères.
- Énoncé de mission ou les valeurs fondamentales ou organisationnelles contiennent les énoncés de rendement exigés.
- Objectifs de l'organisme incluent des résultats mesurables à différents niveaux et à diverses périodes de temps.
Nombre de secteurs d'activité : nombre restreint de secteurs d'activité ou de programmes (deux ou trois).
Nombre et type d'intervenants : les principaux groupes d'intervenants sont bien définis et en nombre limité (moins de cinq groupes distincts).
Risque associé aux décisions : dans l'ensemble, il existe de faibles niveaux de risques associés aux décisions.
Centralité : un bureau, un emplacement.
Fluctuations dans les budgets et les ressources : le budget a connu de petites fluctuations au cours des trois dernières années (+/- 15 à 30%).
Fluctuation de la charge de travail ou de la demande : la charge de travail ou la demande est assez prévisible; habituellement prévisible pour 12 mois.
Taille : moins de 50 ETP
Part du budget affectée aux subventions et aux contributions : moins de 5%.
Plus grande importance accordée aux processus ou aux impacts : il est très important, au sein de l'organisme, de savoir que les processus sont efficaces et conformes à l'approche choisie.
Lois régissant les activités de l'organisme : l'organisme a été mandaté pour poursuivre certaines activités en vertu de lois, mais il a une certaine souplesse. L'organisme n'est pas nécessairement mandaté pour se soumettre à un processus d'examen externe.
Évaluation des besoins en renseignements
Dans l'ensemble, les besoins en renseignements pour le processus décisionnel de gestion sont assez simples. Les types d'activités d'évaluation et de mesure du rendement entreprises par ces genres
d'organismes devraient refléter ce besoin et être directes, simples et très claires pour ce qui est des résultats obtenus dans le cadre de ces activités.
Besoins en renseignements routiniers
Deuxième élément – conception et prestation
Facteurs externes- L'ensemble des compétences exigées des nouveaux employés potentiels et la concurrence pour ces derniers augmentent et les petites agences pourraient avoir de la difficulté à attirer et à garder les nouveaux employés ayant les compétences nécessaires pour travailler dans un milieu axé sur les résultats.
- Ces agences devront probablement avoir recours à de l'expertise et à des ressources externes pour la conception et la mise en œuvre de ce genre d'activités.
- La capacité interne au sein du personnel actuel devra être une compréhension globale des concepts de MR et d'évaluation ainsi que de la façon dont ces concepts s'appliquent à leur travail.
- Les cadres supérieurs devront appuyer ces activités afin que ces dernières soient entreprises de façon systématique et que les renseignements obtenus soient utilisés dans le processus décisionnel.
- Bien que des ressources extérieures puissent être utilisées aux fins de la conception et de la mise en œuvre, il est important qu'il y ait au moins une personne au sein de l'organisation en mesure de surveiller les activités et de s'assurer que la conception et la mise en œuvre conviennent à l'organisme, etc. Cela représentera vraisemblablement une seule partie des fonctions de cette personne.
Planification des évaluations : études d'évaluation périodiques effectuées en fonction des besoins et portant sur des questions de processus.
Élaboration d'un modèle logique : liaison des activités, des extrants, des résultats selon une perspective d'ensemble de l'organisme (chaîne de résultats).
Élaboration d'indicateurs : un ou deux niveaux d'indicateurs selon les différents niveaux de besoins en renseignements.
Élaboration d'un système de mesure du rendement :
- Plan de mesure du rendement clair, indiquant le type de renseignements requis, le demandeur et l'échéance.
- Besoin d'un système d'information relativement simple afin de surveiller un petit nombre d'indicateurs.
- Capacité interne de planifier et de gérer les études d'évaluation périodiques portant sur les processus.
- Capacité interne de surveiller les activités et de reconnaître le besoin d'adapter la stratégie de mesure du rendement.
- Ressources externes périodiques requises pour mettre en œuvre et exécuter les études d'évaluation ciblées.
- Ressources externes périodiques requises pour fournir une expertise en matière de développement et d'adaptation des cadres de travail et des stratégies de mesure, d'élaboration des paramètres des demandes de propositions (DDP).
Intégration des activités à d'autres activités de gestion : compréhension élémentaire de la façon dont les renseignements de mesure du rendement et les évaluations périodiques peuvent être intégrés à d'autres activités de gestion.
Détermination des écarts dans la conception et la prestation des activités d'évaluation et de mesure du rendement
Les écarts dans la mesure dans laquelle un organisme possède un système suffisant d'évaluation et de mesure du rendement peuvent être évalués selon les exigences énoncées ci-dessus. L'importance
accordée à chacune de ces exigences sera variable d'un organisme à l'autre en fonction d'un certain nombre de facteurs internes et externes.
Besoins en renseignements routiniers
Troisième élément – résultats
Facteurs externes- Exigences relatives à la préparation de rapports concernant les horaires, les calendriers et le contenu.
- Exigences relatives à la préparation de rapports destinés aux groupes d'intervenants.
- Préparation de rapports en fonction d'échelons et de besoins variés (cadres supérieurs et Conseil).
- Besoin d'assurer l'intégration des renseignements découlant des activités de MR et d'évaluation aux autres renseignements de gestion.
Fréquence des études d'évaluation :
- Occasion de déterminer le besoin d'études d'évaluation périodiques au moment opportun.
- Les rapports tirés des études d'évaluation sont pertinents et arrivent au moment adéquat lorsqu'il faut répondre aux besoins de la gestion en matière d'information.
- Rapport sur le rendement selon un calendrier établi (au moins une fois par année).
- Les renseignements sur les activités de mesure du rendement entrent en jeu au moins une fois par année dans le cadre des activités de planification de l'organisme.
- Rapport sur le rendement selon un calendrier établi (au moins une fois par année).
- Identification claire, surveillance et compte rendu des résultats immédiats pour l'organisme.
- Preuve que des renseignements de MR et d'évaluation dignes de foi sont utilisés pour les processus décisionnels internes.
Détermination des écarts dans les résultats des activités d'évaluation et de mesure du rendement
Les écarts dans la mesure dans laquelle un organisme possède un système suffisant d'évaluation et de mesure du rendement peuvent être évalués selon les exigences énoncées ci-dessus. L'importance
accordée à chacune de ces exigences sera variable d'un organisme à l'autre en fonction d'un certain nombre de facteurs internes et externes.
Modèle B
Besoins en renseignements routiniers et complexes
Premier élément – justification
Facteurs externes- Sujets à la politique d'évaluation du SCT.
- Besoin de renseignements pour produire les RMR, RPP et rapports annuels.
- Les attentes des intervenants principaux en matière de rendement sont élevées.
- Niveaux moyens de visibilité auprès du public.
- Nombre limité de partenariats et d'initiatives conjointes avec d'autres organismes.
- Énoncé de mission ou les valeurs fondamentales ou organisationnelles contiennent les énoncés de rendement exigés.
- Objectifs de l'organisme incluent des résultats mesurables à différents niveaux et à diverses périodes de temps.
Nombre de secteurs d'activité : nombre restreint de secteurs d'activité ou de programmes (deux ou trois).
Nombre et type d'intervenants : certains groupes d'intervenants principaux (de 5 à 10) et un ou deux de ces groupes sont des partenaires dans la prestation de certaines facettes des services que vous offrez ou de vos programmes.
Risque associé aux décisions : dans l'ensemble, le niveau de risque associé aux décisions est moyen.
Centralité : un à trois bureaux en plus d'un bureau national.
Fluctuations dans les budgets et les ressources : au cours des trois dernières années, le budget a quelque peu fluctué (+/- 15 à 30%).
Fluctuations de la charge de travail ou de la demande en services : la charge de travail ou la demande en services est assez prévisible; habituellement prévisible pour 6 à 12 mois.
Taille : de 50 à 150 ETP
Part du budget affectée aux subventions et aux contributions : faible proportion du budget affectée aux subventions et aux contributions (5% à 25%).
Plus grande importance accordée aux processus ou aux impacts : il est tout aussi important au sein de l'organisme de savoir l'impact des activités sur les principaux intervenants.
Lois régissant les activités de l'organisme : l'organisme jouit d'une certaine souplesse dans l'exécution des activités pour lesquelles il est mandaté en vertu des lois. L'organisme n'est pas nécessairement mandaté pour se soumettre à un processus d'examen externe.
Évaluation des renseignements exigés
Les renseignements requis pour le processus décisionnel de la gestion se situent entre les besoins complexes et les besoins routiniers. Les activités d'évaluation et de mesure du rendement
entreprises par ces types d'organismes devraient correspondre à ces exigences afin de répondre aux types de renseignements dont les gestionnaires auront besoin dans un milieu qui peut être parfois
routinier et parfois complexe.
Besoins en renseignements routiniers et complexes
Deuxième élément – conception et prestation
Facteurs externes- L'ensemble des compétences exigées des nouveaux employés potentiels et la concurrence pour ces derniers augmentent et les petites agences pourraient avoir de la difficulté à attirer et à garder les nouveaux employés ayant les compétences nécessaires pour travailler dans un milieu axé sur les résultats.
- Ces agences devront probablement avoir recours à l'expertise et à des ressources externes pour la conception et la mise en oeuvre de ce genre d'activités.
- La capacité interne au sein du personnel actuel devra être une compréhension globale des concepts de MR et d'évaluation et de la façon dont ces concepts s'appliquent à leur travail.
- Les cadres supérieurs devront appuyer ces activités afin que ces dernières soient entreprises de façon systématique et que les renseignements obtenus soient utilisés dans le processus décisionnel.
- Bien que l'on puisse avoir recours à des ressources externes en ce qui a trait à la conception et à la mise en œuvre, il est important que l'organisme jouisse d'une certaine capacité pour assurer la surveillance des activités, s'assurer que leur conception et leur mise en œuvre conviennent à l'organisation, etc. Quelques personnes devraient normalement posséder cette capacité au sein de l'organisme et participer à ces activités dans le cadre de leurs fonctions et de leur temps de travail.
- Planification des évaluations qui s'inscrit dans la planification stratégique de l'organisme (peut se faire de façon cyclique ou annuellement).
- Études d'évaluation périodiques et planifiées qui portent sur les impacts et les processus.
- Capacité limitée de répondre à certaines petites demandes d'évaluation particulières, au besoin.
- Liaison des activités, des extrants et des résultats selon une perspective d'ensemble de l'organisme.
- Liaison des activités, des extrants et des résultats pour chaque programme ou secteur d'activité qui peut être résumé dans la perspective de l'organisme.
Élaboration d'indicateurs : de trois à quatre niveaux d'indicateurs selon les différents niveaux de renseignements requis (p.ex. gestionnaires de programme, directeurs, comité de gestion, etc.).
Élaboration d'un système de mesure de rendement :- Rôles et responsabilités clairement définis pour différents aspects de la cueillette et de la compilation des renseignements répartis entre un petit nombre de personnes, d'unités ou de directions ainsi que d'organismes partenaires.
- Un système d'information solide et planifié qui produit un sommaire de renseignements sur une base périodique selon différents niveaux d'indicateurs.
- Capacité interne de concevoir, de planifier et de gérer les études d'évaluation portant soit sur les impacts ou sur les processus.
- Capacité interne de développer et de surveiller les activités liées à la stratégie de mesure du rendement.
- Ressources externes périodiques requises pour mettre en œuvre et exécuter les études d'évaluation.
- Ressources externes périodiques requises pour fournir une expertise en matière de développement et d'adaptation des cadres de travail et des stratégies de mesure.
Intégration des activités à d'autres activités de gestion : processus défini et prévu pour l'intégration périodique de la mesure du rendement et des renseignements d'évaluation à d'autres activités de gestion.
Évaluation des écarts dans la conception et la prestation des activités d'évaluation et de mesure du rendement
Les écarts dans la mesure dans laquelle un organisme possède un système suffisant d'évaluation et de mesure du rendement peuvent être évalués selon les exigences énoncées ci-dessus. L'importance
accordée à chacune de ces exigences sera variable d'un organisme à l'autre en fonction d'un certain nombre de facteurs internes et externes.
Besoins en renseignements routiniers et complexes
Troisième – résultats
Facteurs externes- Rapports externes exigés en ce qui a trait aux horaires, au calendrier, de même qu'au contenu.
- Exigences en matière de préparation de rapports aux groupes d'intervenants.
- Coordination et correspondance des rapports avec les organismes partenaires.
- Préparation de rapports selon les différents niveaux et les différents besoins (cadre supérieur, Conseil).
- Besoin d'intégrer les activités de mesure du rendement à d'autres activités d'évaluation.
- Besoin d'intégrer les renseignements obtenus par l'intermédiaire des activités de mesure du rendement et d'évaluation à d'autres renseignements de gestion.
Fréquence des études d'évaluation :
- Cycle ou plan pluriannuel pour les activités d'évaluation.
- Capacité limitée de répondre aux demandes de petites évaluations particulières.
- Rapports d'évaluation à propos et pertinents pour répondre aux besoins de la gestion en matière de renseignements.
- Plan d'évaluation lié à la planification stratégique pour l'organisme.
- Les renseignements sur les activités de mesure du rendement servent de support d'information sur une base périodique (trimestrielle) pour les activités de gestion à divers niveaux.
Intégration des activités de mesure du rendement et d'évaluation et de rapports externes : preuve que des renseignements dignes de foi en mesure du rendement et en évaluation sont utilisés dans la préparation des rapports externes exigés (RMR, RPP, rapports annuels).
Utilisation des renseignements de mesure du rendement et d'évaluation pour appuyer les processus décisionnels internes :- Preuve que des renseignements de MR et d'évaluation dignes de foi sont utilisés pour les processus décisionnels internes.
- Définition claire, surveillance et compte rendu des résultats immédiats sur une base périodique pour l'organisation.
Évaluation des écarts dans les résultats de l'évaluation et de la mesure du rendement
Les écarts dans la mesure dans laquelle un organisme possède un système suffisant d'évaluation et de mesure du rendement peuvent être évalués selon les exigences énoncées ci-dessus. L'importance
accordée à chacune de ces exigences sera variable d'un organisme à l'autre en fonction d'un certain nombre de facteurs internes et externes.
Modèle C
Besoins en renseignements complexes
Premier élément – justification- Facteurs externes
- Sujets à la politique d'évaluation du SCT.
- Besoin de renseignements pour produire les RMR, RPP et rapports annuels.
- Les attentes des intervenants principaux en matière de rendement sont élevées.
- Niveaux élevés de visibilité auprès du public.
- Susceptibles d'avoir plusieurs partenariats ou initiatives conjointes avec d'autres organismes.
- Énoncé de mission ou les valeurs fondamentales ou organisationnelles contiennent les énoncés de rendement exigés.
- Objectifs de l'organisme incluent des résultats mesurables à différents niveaux et à diverses périodes de temps.
Nombre de secteurs d'activité : plusieurs secteurs d'activités ou de programmes (quatre ou plus).
Nombre et type d'intervenants : plusieurs groupes d'intervenants principaux (plus de 10) et plus de deux de ces groupes sont partenaires dans la prestation de vos secteurs d'activité ou de vos programmes.
Risque associé aux décisions : dans l'ensemble, il existe des niveaux de risque relativement élevés associés aux décisions.
Centralité : plus de trois bureaux dans différents environnements.
Fluctuations dans les budgets et les ressources : le budget a connu de grandes fluctuations au cours des trois dernières années (+/- 30%).
Fluctuations de la charge de travail ou de la demande : la charge de travail ou la demande en services n'est pas prévisible; difficile à prévoir pour plus de trois à quatre mois.
Taille : plus de 150 ETP
Part du budget affectée aux subventions et aux contributions : plus de 25% du budget est affecté aux subventions et aux contributions.
Plus grande importance accordée aux processus ou aux impacts : la question au sein de l'organisme est avant tout de connaître l'impact des activités de celui-ci sur les principaux intervenants.
Lois régissant les activités de l'organisme : l'organisme n'est pas nécessairement mandaté pour poursuivre certaines activités en vertu de lois. L'organisme n'est pas nécessairement mandaté pour se soumettre à un processus d'examen externe.
Évaluation des besoins en renseignements
Les besoins en renseignements pour le processus décisionnel de gestion sont relativement complexes. Les types d'activités d'évaluation et de mesure du rendement entreprises par ces genres d'organisme
devraient refléter ce besoin et être en mesure de répondre aux types de renseignements dont auront besoin les gestionnaires qui travaillent dans un milieu complexe.
Besoins en renseignements complexes
Deuxième élément – conception et prestation
Facteurs externes- L'ensemble des compétences exigées des nouveaux employés potentiels et la concurrence pour ces derniers augmentent et les petites agences pourraient avoir de la difficulté à attirer et à garder les nouveaux employés ayant les compétences nécessaires pour travailler dans un milieu axé sur les résultats.
- Ces agences devront probablement avoir recours à de l'expertise et à des ressources externes pour la conception et la mise en œuvre de ce genre d'activités.
- La capacité interne au sein du personnel actuel devra être une compréhension globale des concepts de MR et d'évaluation ainsi que de la façon dont ces concepts s'appliquent à leur travail.
- Les cadres supérieurs devront appuyer ces activités afin que ces dernières soient entreprises de façon systématique et que les renseignements obtenus soient utilisés dans le processus décisionnel.
- Bien que des ressources extérieures puissent être utilisées aux fins de la conception et de la mise en œuvre, il est important qu'il y ait au moins une personne au sein de l'organisation qui soit en mesure de surveiller les activités et de s'assurer que la conception et la mise en œuvre conviennent à l'organisme, etc.
Planification de l'évaluation :
- Planification annuelle de l'évaluation qui s'inscrit dans la planification stratégique de l'organisme.
- Études d'évaluation prévues portant sur les impacts et les processus.
- Capacité de répondre à des demandes d'évaluation particulières, au besoin.
- Liaison des activités, des extrants, des résultats selon une perspective d'ensemble de l'organisme.
- Liaison des activités, des extrants, des résultats, pour chaque programme ou secteur d'activité qui peut être résumé dans la perspective de l'organisme.
Élaboration d'indicateurs : plusieurs niveaux d'indicateurs selon les différents niveaux de renseignements requis (gestionnaires de programme, directeurs, comité de gestion, comité de direction, etc.).
Élaboration d'un système de mesure du rendement :- Rôles et responsabilités clairement définis pour différents aspects de la cueillette et de la compilation des renseignements répartis entre différentes personnes, unités ou directions et quelques organismes partenaires.
- Un système d'information relativement complexe qui produit un sommaire de renseignements sur une base continue selon différents niveaux d'indicateurs.
- Ressources externes périodiques requises pour mettre en œuvre et exécuter les études d'évaluation.
- Ressources externes périodiques requises pour fournir une expertise en matière de développement et d'adaptation des cadres de travail et des stratégies de mesure.
Intégration des activités à d'autres activités de gestion : détermination de processus formels pour l'intégration continue des renseignements de mesure du rendement et d'évaluation à d'autres activités de gestion.
Détermination des écarts dans la conception et la prestation des activités d'évaluation et de mesure du rendement
Les écarts dans la mesure dans laquelle un organisme possède un système suffisant d'évaluation et de mesure du rendement peuvent être évalués selon les exigences énoncées ci-dessus. L'importance
accordée à chacune de ces exigences sera variable d'un organisme à l'autre en fonction d'un certain nombre de facteurs internes et externes.
Besoins en renseignements complexes
Troisième élément – résultats
Facteurs externes- Exigences relatives à la préparation de rapports concernant les horaires, les calendriers et le contenu.
- Exigences relatives à la préparation de rapports destinés aux groupes d'intervenants.
- Coordination et concordance des rapports avec les organismes partenaires.
- Préparation de rapports en fonction d'échelons et de besoins variés (cadres supérieurs et Conseil).
- Besoin d'assurer l'intégration des activités de mesure du rendement aux activités d'évaluation.
- Besoin d'assurer l'intégration des renseignements obtenus des activités de MR et d'évaluation aux autres renseignements de gestion.
- Plan annuel pour les activités d'évaluation.
- Capacité de répondre aux besoins d'études d'évaluation particulières.
- Rapports d'évaluation à propos et pertinents pour répondre aux besoins en renseignements de la gestion.
- Plan d'évaluation annuel lié à la planification stratégique pour l'organisation.
- Les renseignements de la mesure du rendement servent de support d'information sur une base continue (au moins mensuellement) pour les activités de gestion à divers niveaux.
Utilisation des renseignements de mesure du rendement et d'évaluation pour appuyer le processus décisionnel interne :
- Preuves dignes de foi de l'utilisation et de l'intégration des renseignements de la MR et en évaluation dans les prises de décisions dans le processus décisionnel interne.
- Identification claire, surveillance et compte rendu des résultats immédiats pour l'organisme.
- Preuve que des renseignements de MR et en évaluation sont utilisés dans le processus décisionnel pour l'affectation des ressources.
Détermination des écarts dans les résultats des activités d'évaluation et de la mesure du rendement
Les écarts dans la mesure dans laquelle un organisme possède un système suffisant d'évaluation et de mesure du rendement peuvent être évalués selon les exigences énoncées ci-dessus. L'importance
accordée à chacune de ces exigences sera variable d'un organisme à l'autre en fonction d'un certain nombre de facteurs internes et externes.
Annexe A
Liste des entrevues avec des sources d'information clés
Organisme :Commissariat aux langues officielles
Louise Guertin
Directrice générale, Services corporatifs
Organisme :
Comité des griefs des Forces canadiennes
Annette Ducharme
Consultante
Organisme :
Commission canadienne des droits de la personne
Mike Glynn
Registraire
Organisme :
Conseil d'examen des prix des médicaments brevetés
Robert Sauvé
Directeur, Services généraux
Organisme :
Centre canadien de gestion
Guy Savard
Gestionnaire
Organisme : Secrétariat du Conseil du Trésor
Randy Platt
Gestionnaire de portefeuille
Modernisation de la fonction de contrôleur
Organisme : Secrétariat du Conseil du Trésor
Robert Lahey
Directeur principal, Centre d'excellence pour l'évaluation
Direction de la gestion axée sur les résultats
Organisme :
Secrétariat du Conseil du Trésor
Yolande Andrews
Analyste principale, Centre d'excellence pour l'évaluation
Direction de la gestion axée sur les résultats
Organisme :
Secrétariat du Conseil du Trésor
Elaine MacKay
Coordonnatrice, Petits organismes fédéraux
SOG – Bureau du secrétaire adjoint
Organisme :
Bureau de la sécurité des transports du Canada
Jean Laporte
Directeur, Services intégrés
Études de cas
Les 15 organismes ci-dessous ont participé aux études de cas.
Tribunal canadien des relations professionnelles artistes-producteurs – Le Tribunal a pour mandat de définir les secteurs d'activité culturelle relevant de la compétence fédérale et appropriés aux fins de la négociation collective; d'accréditer les associations d'artistes pour représenter les entrepreneurs autonomes de ces secteurs; de statuer sur les plaintes de pratiques déloyales déposées par des artistes, des associations d'artistes ou des producteurs et prescrire les redressements qu'il juge indiqués dans les cas d'infraction à la Loi sur le statut de l'artiste. Le Tribunal compte environ dix ETP.
Comité des griefs des Forces canadiennes – Le Comité des griefs des Forces canadiennes (CGFC) a été créé le 1er mars 2000 en vertu de mesures législatives modernisant à fond la Loi sur la Défense nationale (LDN). Ces modifications législatives visent à renouveler les Forces canadiennes. L'une des réformes apportées avait pour objet d'instaurer un mécanisme indépendant de révision des griefs avec la création du Comité des griefs des Forces canadiennes. Les ordonnances et règlements royaux qui s'appliquent aux Forces canadiennes et régissent les types de griefs renvoyés au CGFC sont entrés en vigueur le 15 juin 2000. Au moment de l'étude de cas, le CGFC comptait environ 65 ETP.
Secrétariat des conférences intergouvernementales canadiennes – Le Secrétariat a été créé par les premiers ministres fédéral et provinciaux en 1973. Ces derniers ont alors reconnu la nécessité de se doter d'un mécanisme pour servir en permanence les conférences fédérales-provinciales des premiers ministres et le nombre sans cesse croissant de réunions à caractère intergouvernemental. L'organisation est désignée comme ministère fédéral aux fins de la Loi sur la gestion des finances publiques. Néanmoins, il s'agit en réalité d'un organisme des gouvernements fédéral et provinciaux. En effet, non seulement les deux ordres de gouvernement contribuent-ils à son budget, mais son personnel est recruté à la fois chez l'un et chez l'autre. Le secrétaire présente un rapport annuel à tous les gouvernements. Le Secrétariat fonctionne à l'heure actuelle avec environ 22 ETP.
Office des transports du Canada – La mission de l'Office des transports du Canada est d'appliquer la législation touchant les transports ainsi que les politiques du gouvernement en vue de maintenir un réseau de transport efficace et accessible à l'aide de l'éducation, de consultations et d'une réglementation essentielle. L'Office a pour mandat d'administrer les dispositions réglementaires économiques des diverses lois du Parlement touchant tous les modes de transport de compétence fédérale. Il dispose d'un effectif d'environ 270 ETP.
Tribunal de l'aviation civile du Canada – Le mandat principal du Tribunal est de tenir des audiences en révision et en appel à la demande des parties intéressées relativement à certaines décisions administratives prises par le ministre des Transports. L'objectif du programme est de pourvoir le milieu de l'aviation d'un processus indépendant permettant la révision des décisions d'application des règlements ou de délivrance des permis prises par le ministre des Transports. Le Tribunal compte environ huit ETP.
Tribunal de la concurrence – Le Tribunal de la concurrence a été créé en 1986 lorsque le Parlement a procédé à une réforme en profondeur du droit de la concurrence canadienne et a remplacé la Loi relative aux enquêtes sur les coalitions par la Loi sur la concurrence. Le Tribunal est un tribunal spécialisé alliant les domaines de l'économie et des affaires à celui du droit. Il entend et tranche toutes les demandes présentées sous le régime des Parties VII.1 et VIII de la Loi sur la concurrence. Le Tribunal est un organisme strictement décisionnel, indépendant de tout ministère. Il n'est doté d'aucun pouvoir d'enquête et ne s'acquitte d'aucune fonction consultative auprès du gouvernement. Ses fonctions sont limitées à l'audience des demandes et au prononcé d'ordonnances. Le Tribunal dispose d'un effectif d'environ 14 ETP.
Commission du droit d'auteur du Canada – La Commission est un organisme de réglementation économique investi du pouvoir de déterminer, soit de façon obligatoire, soit à la demande d'un intéressé, les redevances à verser pour l'utilisation d'œuvres protégées par le droit d'auteur, lorsque la gestion de ce droit est confiée à une société de gestion collective. La Commission exerce aussi un pouvoir de surveillance des ententes intervenues entre utilisateurs et sociétés de gestion et délivre elle-même des licences lorsque le titulaire du droit d'auteur est introuvable. Elle dispose d'environ 11 ETP.
Secrétariat de l'ALENA – Section canadienne – Le Secrétariat de l'ALENA, qui comprend une section canadienne, une section mexicaine et une section états-unienne, est un organisme unique créé par la Commission du libreéchange en vertu de l'article 2002, chapitre 20, de l'Accord de libre-échange nord-américain (ALENA). Il est chargé de l'administration des dispositions de l'ALENA concernant le règlement des différends. Le Secrétariat offre aussi une aide à la Commission du libre-échange ainsi qu'un soutien à divers comités et groupes de travail dont les activités ne sont pas liées au règlement des différends. La Section canadienne du Secrétariat compte environ sept ETP et œuvre dans les domaines de l'élaboration de politiques et de la réglementation.
Commission nationale des libérations conditionnelles – La Commission nationale des libérations conditionnelles est un des organismes faisant partie du portefeuille du Solliciteur général du Canada, lequel comprend également la Gendarmerie royale du Canada (GRC), le Service canadien du renseignement de sécurité (SCRS) et le Service correctionnel du Canada (SCC). La Commission a une fonction quasi judiciaire et compte environ 283 ETP. Elle s'est dotée d'une fonction d'évaluation et coordonne l'exécution des programmes avec le SCC et la GRC. La Commission présente des rapports annuels sur le rendement au Parlement, rapports qu'elle publie également sur son site Web.
Table ronde nationale sur l'environnement et l'économie – La Table ronde nationale sur l'environnement et l'économie (TRNEE) est un organisme de consultation indépendant qui offre aux décideurs, aux guides d'opinion ainsi qu'aux Canadiennes et aux Canadiens des conseils et des recommandations sur la promotion d'un développement durable. Créée par proclamation d'une loi en 1994, la TRNEE explique et assure la promotion du développement durable. En collaboration avec diverses parties intéressées du Canada, la TRNEE définit les grands dossiers qui entraînent des conséquences à la fois sur l'économie et l'environnement, examine leurs répercussions et recommande des mesures d'équilibre entre la prospérité économique et la sauvegarde de l'environnement. L'organisme emploie 28 ETP qui travaillent dans le domaine de l'élaboration de politiques.
Commissariat aux langues officielles – La commissaire aux langues officielles est la porte-parole du Commissariat aux langues officielles. À titre d'agente du Parlement, elle joue plusieurs rôles clés dans la promotion et la réalisation des objectifs de la Loi sur les langues officielles. Elle doit, entre autres choses, veiller à ce que les institutions fédérales respectent la Loi, protéger les droits linguistiques des Canadiens et Canadiennes et promouvoir la dualité linguistique et le bilinguisme. Le Commissariat compte environ 162 ETP.
Bureau de l'enquêteur correctionnel du Canada – L'Enquêteur correctionnel est chargé, en vertu de la Partie III de la Loi sur le système correctionnel et la mise en liberté sous conditions, d'agir comme ombudsman pour les délinquants sous responsabilité fédérale. Sa fonction première consiste à faire enquête et à s'assurer qu'on donne suite aux plaintes des délinquants. Il a également l'obligation d'examiner les politiques et les pratiques du SCC donnant lieu aux plaintes afin de cerner les carences systémiques et d'y porter une aide; il doit également faire des recommandations en ce sens. Le Bureau compte environ 27 ETP.
Bureau de la Cour canadienne de l'impôt – La Cour canadienne de l'impôt est une cour de justice. La Cour a été établie en 1983 en vertu de la Loi sur la Cour canadienne de l'impôt (article 3) afin d'assurer que justice soit rendue en matière fiscale. La Cour est indépendante de l'Agence des douanes et du revenu du Canada et de tout autre ministère du gouvernement du Canada. La Cour canadienne de l'impôt est une cour supérieure qui donne aux particuliers et aux entreprises la chance de régler leurs différends avec le gouvernement du Canada sur des questions découlant des lois en vertu desquelles la Cour a compétence exclusive. La majorité des appels interjetés devant la Cour sont liés à l'impôt sur le revenu, à la taxe sur les produits et services ou à l'assurance-emploi. Le Bureau de la Cour canadienne de l'impôt compte environ 124 ETP.
Conseil d'examen des prix des médicaments brevetés – Le CEPMB est un organisme quasi judiciaire créé en 1987 en vertu de la Loi sur les brevets afin de protéger les intérêts des consommateurs suivant l'octroi d'une protection accrue aux brevets pharmaceutiques. Il a pour mission de contribuer aux soins de santé de la population canadienne en s'assurant que le prix des médicaments brevetés n'est pas excessif. Il remplit ce mandat avec un effectif d'environ 35 ETP.
Conseil de recherches en sciences humaines du Canada – Le Conseil de recherches en sciences humaines du Canada (CRSH) est un organisme fédéral autonome qui appuie la recherche et la formation avancée en milieu universitaire dans les sciences humaines et qui en fait la promotion. Constitué par une loi du Parlement en 1977, le CRSH est dirigé par un conseil de 22 membres qui rend compte au Parlement par l'entremise du ministre de l'Industrie. Le Conseil compte environ 160 ETP.
Modèles et approches utilisés en matière de reddition de comptes et de rapports sur le rendement dans les petits organismes
Guide d'entrevue pour les premières entrevues menées par le Comité
Cette première série d'entrevues a pour objet de recueillir des renseignements supplémentaires dans le contexte de l'étude, de préciser les attentes liées à l'étude et, si possible, de réunir de l'information sur les critères principaux à prendre en compte dans le choix des études de cas et la définition de pratiques exemplaires.
Contexte de l'étude et attentes connexes
1. À votre avis, quels sont les principaux objectifs de cette étude? Pourquoi a-t-elle été commandée à ce moment-ci?2. Comment allez-vous déterminer si, de votre point de vue, les objectifs de l'étude ont été atteints?
3. Comment les résultats de l'étude seront-ils utilisés par le Comité ou votre organisme :
- à court terme (p. ex., 12 mois)?
- à moyen terme (p. ex., 12 mois et plus)
Défis propres aux petits organismes
4. Quels sont les défis particuliers qui se posent à l'heure actuelle pour les petits organismes en ce qui concerne le respect des exigences en matière de reddition de comptes et de rapports sur le rendement? En quoi diffèrent-ils de ceux auxquels font face les ministères de taille moyenne ou importante? Quelles sont les exigences qui posent la plus grande difficulté pour votre organisme?Choix des études de cas
5. Quels devraient être les principaux critères de sélection des études de cas aux fins de la présente étude?- Le travail de catégorisation effectué par le Comité jusqu'ici
- Les pratiques exemplaires
- Les exemples de situations particulièrement difficiles
- Les questions de capacité
- L'évaluation des risques
- La structure de gouvernance et de rapport
- D'autres facteurs
Renseignements aux fins de la préparation du document de recherche
7. À votre connaissance, d'autres travaux ont-ils déjà été effectués sur les modèles de reddition de comptes dans les petits organismes? Les approches de la mesure du rendement? Les approches de la présentation des résultats?Rétroaction sur l'approche proposée
8. Avez-vous des commentaires ou des suggestions à formuler à l'intention de l'équipe au sujet de l'approche proposée (voir Figure 1, page 4)?9. Selon vous, quels seront les aspects les plus difficiles de l'étude proposée?
Modèles et approches utilisés en matière de reddition de comptes et de rapports sur le rendement dans les petits organismes
Guide d'entrevue pour les études de cas
Ces entrevues ont pour objet de permettre à l'équipe chargée de l'étude de recueillir des renseignements sur votre organisme, lesquels pourront servir à préparer des études de cas individuelles (comptant de quatre à cinq pages). Les constatations issues de ces études de cas seront ensuite résumées dans un document global qui servira à élaborer des modèles appropriés de mise sur pied de fonctions d'évaluation et de mesure du rendement dans divers types de petits organismes.
Un examen de documents pertinents sera également effectué pour chaque organisme. Si les documents que votre organisme entend fournir aux fins de cet examen permettent de répondre facilement à certaines des questions de l'entrevue, veuillez le souligner et nous supprimerons ces questions de l'entrevue. Les questions ne s'appliqueront pas nécessairement toutes à tous les répondants ou organismes.
Profil de l'organisation
1. Dans quelle catégorie classeriez-vous votre organisation?- Judiciaire
- Quasi judiciaire
- Réglementaire
- Élaboration de politiques
- Enquêtes
- Parlementaire
- Autre
3. Veuillez décrire les processus suivants dans votre organisme en indiquant qui en est chargé, quel genre de renseignements sont disponibles pendant le processus et quelle est l'approche globale utilisée :
- processus de planification;
- processus décisionnels;
- processus de présentation des résultats.
5. Dans quelle mesure les processus de gestion ont-ils changé au cours des trois à quatre dernières années en ce qui concerne les éléments suivants :
- mesure du rendement et présentation des résultats;
- évaluation des programmes, des politiques ou des initiatives;
- obligations redditionnelles des gestionnaires;
- conceptualisation ou caractérisation des risques.
7. Selon vous, quels ont été les principaux défis rattachés à ces changements?
8. Quelles ont été les solutions les plus efficaces pour surmonter ces défis?
9. En ce qui a trait au changement des processus de gestion liés à l'évaluation et à la mesure du rendement, quels sont, à votre avis, les changements les plus susceptibles d'être apportés au cours des deux à trois prochaines années?
10. Quelles sont les caractéristiques de votre organisation qui posent le plus de difficulté par rapport au respect des exigences en matière de reddition de comptes et de rapports sur le rendement? En quoi ces défis diffèrent-ils de ceux qui se présentent dans les ministères de taille moyenne ou importante? Quelles sont les exigences qui vous posent le plus de difficultés?
11. Avez-vous des relations de travail ou des partenariats avec d'autres organismes? D'autres ministères? Quelles sont les limites imposées à l'heure actuelle à votre organisation en ce qui concerne l'établissement de partenariats avec d'autres organisations (p. ex., législation)?
Situation actuelle de la mise en œuvre de la fonction d'évaluation et de la mesure du rendement
12. De quelle façon la direction de votre organisation s'y prend-elle pour savoir si l'organisation respecte ses objectifs globaux? Ses objectifs opérationnels?13. À l'heure actuelle, votre organisme affecte-t-il des ressources à la mesure du rendement? À l'évaluation? Si oui, quel est le niveau des ressources disponibles?
14. Parmi les énoncés suivants, lequel décrit le mieux la situation de la fonction d'évaluation dans votre organisation à l'heure actuelle?
- Nous n'avons pas mené de travaux d'évaluation jusqu'ici; nous n'en avons prévu aucun au cours de l'exercice qui vient.
- Nous n'avons pas mené de travaux d'évaluation jusqu'ici; nous en avons prévu au cours de l'exercice qui vient.
- Nous menons des travaux d'évaluation pour répondre à des exigences de l'extérieur.
- Nous menons des travaux d'évaluation de diverses façons; ils sont parfois intégrés dans une stratégie de mesure.
- L'évaluation est intégrée à la stratégie de mesure et acceptée en tant qu'outil de gestion.
- Des travaux d'évaluation périodiques font partie intégrante de la gestion des politiques et des programmes.
- L'évaluation est un élément à part entière des activités liées aux politiques et aux programmes.
16. À l'heure actuelle, votre organisation a-t-elle une stratégie de mesure du rendement? Recueille-t-elle des renseignements sur les résultats de façon systématique? De quelle façon les gestionnaires utilisent-ils l'information recueillie? Quelles sont les lacunes actuelles en matière d'information?
Principaux risques et défis
17. L'organisation a-t-elle mené une analyse des risques récemment? Si oui, quels secteurs sont considérés comme posant le plus de risques? A-t-on élaboré un plan pour composer avec ces risques? Le plan a-t-il été exécuté?18. Quels sont les plus grands défis qui se sont posés par rapport à l'élaboration et à l'exécution d'un plan visant à composer avec les risques?
Questions liées à la capacité
19. À l'heure actuelle, disposez-vous de la capacité voulue pour respecter les exigences en matière de reddition de comptes et de rapports sur le rendement? Dans quels domaines se trouvent les écarts les plus importants?20. Quelles mesures avez-vous adoptées jusqu'ici pour tenter de remédier aux problèmes en matière de capacité? Quelle a été l'efficacité de ces mesures?
21. Selon vous, quels seraient les meilleurs moyens que pourrait utiliser la collectivité des petits organismes pour régler ces problèmes? Les moyens que pourraient utiliser d'autres organisations?
Annexe B
Trousse de l'exercice de validation
Modèles d'évaluation et de mesure du rendement des petits organismes
Il y a quelque temps, un groupe de petits organismes a demandé au Bureau de la fonction de contrôleur moderne du Secrétariat du Conseil du Trésor de financer un projet portant sur la conception de modèles d'élaboration et de mise en œuvre d'activités d'évaluation et de mesure du rendement au sein des petits organismes. Ce projet reposait sur l'hypothèse voulant que, si certains organismes sont en mesure d'adapter facilement les approches utilisées par les ministères de taille moyenne ou importante, bon nombre d'entre eux ne peuvent procéder de cette façon en raison de leur contexte de fonctionnement. Le projet avait pour objet d'élaborer des modèles plus appropriés qui :
- tiendraient compte de certaines des caractéristiques particulières des petits organismes;
- seraient fondés sur les besoins en information réels des gestionnaires de différents genres de petits organismes;
- reposeraient sur la participation de petits organismes au processus d'élaboration des modèles (p. ex., études de cas, entrevues avec des sources d'information clés et exercice de validation).
Objet de l'exercice de validation
Dans le cadre de cette phase de l'étude portant sur la validation des modèles, des projets de modèles seront présentés aux membres de la collectivité des petits organismes afin de recueillir des commentaires sur les points suivants :- la mesure dans laquelle les modèles tiennent compte des caractéristiques particulières des petits organismes;
- la pertinence des éléments des modèles; l'utilité des modèles pour déterminer la façon la plus appropriée d'élaborer des activités d'évaluation et de mesure du rendement au sein des organismes mêmes.
L'équipe chargée de l'étude et le Comité directeur du projet estimaient que la manière la plus efficace de valider les projets de modèles serait de demander à la collectivité de les examiner et d'en faire une évaluation concrète. Cette application pratique des modèles permet de les faire passer du statut de concept à celui d'outil. L'équipe chargée de l'étude intégrera les commentaires recueillis dans le cadre de cet exercice à la version finale des modèles.
Description des composantes des modèles
Tous les projets de modèles comprennent trois grandes composantes :- Justification des activités d'évaluation et de mesure du rendement
- Conception et prestation d'activités d'évaluation et de mesure du rendement
- Résultats des activités d'évaluation et de mesure du rendement
Pourquoi un organisme investirait-il dans des activités d'évaluation et de mesure du rendement? Quelle est leur raison d'être au sein de l'organisme? En bref, si ces activités sont bien conçues et bien appliquées, elles fournissent à la direction l'information dont elle a besoin pour prendre des décisions.
Ainsi, les deux questions sous-jacentes qui ont été posées tout au long de l'élaboration des modèles d'évaluation et de mesure du rendement étaient les suivantes :- Quels types de décisions les gestionnaires prennent-ils dans les organismes?
- Quels types de renseignements doivent-ils avoir pour prendre ces décisions?
Les activités utiles d'évaluation et de mesure du rendement sont celles qui répondent aux besoins en information des gestionnaires dans un environnement axé sur les résultats. Pour savoir quel genre d'information devrait être fournie par ces activités, un organisme doit définir clairement les types de décisions que prennent les gestionnaires. Certains types de décisions nécessitent de l'information très complexe, tandis que d'autres requièrent de l'information relativement simple. Les modèles dépendent de la complexité de l'information devant être fournie par la fonction d'évaluation et de mesure du rendement au sein d'une organisation.
Durant la phase initiale du projet, l'équipe chargée de celui-ci a défini les dix principales caractéristiques des organismes ayant un lien avec le degré de complexité de l'information dont ils ont besoin pour prendre des décisions. Il s'agissait notamment des caractéristiques suivantes :
- nombre de secteurs d'activité ou de programmes gérés par l'organisation;
- nombre et types d'intervenants qui collaborent avec l'organisation, tels des organismes ou ministères partenaires, des organisations de prestation, des clients, etc.;
- niveau de risque associé aux différentes décisions ou activités de l'organisation;
- degré de centralisation de l'organisation, d'après le nombre de bureaux régionaux et nationaux;
- fluctuations du budget ou des ressources;
- fluctuations de la charge de travail ou de la demande de services assurés par l'organisation;
- taille de l'organisme (c.-à-d. les ETP);
- proportion du budget qui est attribuée aux subventions et aux contributions;
- accent proportionnel mis sur les processus au sein de l'organisme par opposition aux répercussions des activités de l'organisme;
- nature de la législation associée à l'organisme (p. ex., examens externes obligatoires, activités et justifications précisées dans le mandat, etc.).
En évaluant systématiquement chacune de ces caractéristiques, un organisme devrait pouvoir déterminer dans quelle mesure ses besoins globaux en information sont complexes, simples ou situés quelque part entre les deux. Il devra se fonder sur la nature de ses besoins en information pour concevoir et mettre en œuvre ses activités d'évaluation et de mesure du rendement.
Composante 2 : Conception et prestation des activités d'évaluation et de mesure du rendementUne fois qu'une organisation a déterminé le type de renseignements dont elle a besoin (p. ex., complexes, routiniers), elle peut décider comment concevoir et mettre en œuvre les activités d'évaluation et de mesure du rendement au sein de l'organisation. Certains des aspects à examiner incluent les suivants :
- planification de l'évaluation;
- élaboration de modèles logiques;
- élaboration d'indicateurs;
- création d'un système de mesure du rendement;
- capacité interne en ce qui concerne les activités;
- recours à des ressources externes;
- intégration des fonctions d'évaluation et de mesure du rendement à d'autres activités de gestion.
Il devrait y avoir un lien direct entre chacun de ces aspects et le type d'information devant être fournie effectivement par ces activités. Par exemple, la formulation d'indicateurs pourrait aller de la création d'indicateurs à niveaux multiples comprenant plusieurs niveaux de synthèse dans le cas des besoins en information complexes à la collecte systématique de données pour trois ou quatre solides indicateurs, lorsque les besoins en renseignements sont relativement routiniers.
Composante 3 : Résultats des activités d'évaluation et de mesure du rendementLe dernier élément de chacun des modèles est celui des résultats fournis par les activités d'évaluation et de mesure du rendement. Il devrait y avoir un lien direct entre ces résultats et la justification originale des activités (composante 1) et l'évaluation des besoins en information de la direction en vue de la prise des décisions. Les principaux aspects à considérer à l'égard de cette composante sont les suivants :
- fréquence des études d'évaluation;
- fréquence de la présentation de rapports internes et de l'intégration à la planification;
- intégration des activités et de la présentation de rapports externes;
- utilisation de l'information découlant de la mesure du rendement et de l'évaluation pour appuyer les processus décisionnels.
Exercice de validation
L'exercice de validation des trois modèles d'activité de mesure du rendement et d'évaluation dans les petits organismes est divisé en quatre grandes étapes. Le tout devrait vous demander environ 30 à 45 minutes. Une fois le document rempli, veuillez le retourner à l'équipe chargée de l'étude dans l'enveloppe fournie à cette fin.
Étapes de l'exercice de validation
Les principales étapes de cet exercice sont les suivantes :- ÉTAPE UN : Veuillez remplir le questionnaire ci-joint pour décrire et préciser les besoins en renseignements de votre organisation aux fins de la prise de décisions par les gestionnaires.
- ÉTAPE DEUX : Veuillez choisir le modèle qui vous convient le mieux d'après votre évaluation de la complexité de vos besoins en renseignements.
- ÉTAPE TROIS : Veuillez analyser l'écart entre les activités actuelles de votre organisation en matière d'évaluation et de mesure du rendement et celles qui sont prévues dans le modèle retenu.
- ÉTAPE QUATRE : Veuillez formuler des commentaires sur l'utilité de l'exercice, les améliorations possibles et les options privilégiées en matière d'amélioration de la capacité.
Nom : ___________________________________________________
Poste : _________________________________________________
Organisation : ______________________________________________
Nombre d'années de service auprès de cette organisation : ______________________
Autoévaluation du niveau de connaissance de la mesure du rendement ou de l'évaluation (encerclez la réponse appropriée)
| Aucune connaissance | Débutant | Intermédiaire | Avancé |
ÉTAPE UN : Évaluation de la complexité des besoins en renseignements aux fins de la prise de décisions par les gestionnaires
Chacune des questions qui suit est fondée sur les dimensions qui, selon l'équipe chargée de l'étude, sont liées à la complexité des renseignements dont les gestionnaires ont besoin pour prendre des décisions.
Veuillez cocher la réponse qui s'applique le mieux à votre organisme. Dans le cas où aucune des réponses ne s'applique, veuillez inscrire votre réponse à côté des autres catégories prévues.
Nombre de secteurs d'activité ou de programmes- 1
- 2 à 3
- 4 et plus
- Moins de 5
- 5 à 10
- Plus de 10
- Aucun partenaire
- 1 à 2 partenaires
- Plus de 2 partenaires
- Niveau de risque global faible
- Niveau de risque global moyen
- Niveau de risque global élevé
- Aucun bureau régional – 1 bureau national
- 1 à 3 bureaux régionaux en plus du bureau national
- Plus de 3 bureaux régionaux en plus du bureau national
- Moins de +/- 15 %
- +/- 15 % à 30 %
- Plus de +/- 30 %
- Très prévisible : facile à prévoir sur une période de 12 mois ou plus.
- Assez prévisible : peut habituellement être prévue sur une période de 6 à 12 mois.
- Aucunement prévisible : difficile à prévoir.
- Moins de 50 ETP
- 50 à 150 ETP
- Plus de 150 ETP
- Moins de 5 %
- 5 % à 25 %
- Plus de 25 %
- Nous nous préoccupons surtout de savoir que nos processus internes sont efficaces et respectent un plan prévu.
- Nous nous préoccupons autant de savoir que nos processus internes sont efficaces et respectent un plan prévu que de connaître les répercussions des activités de l'organisation sur nos principaux intervenants.
- Nous nous préoccupons surtout de connaître les répercussions des activités de notre organisation sur nos principaux intervenants.
- Oui, complètement avec une marge de manœuvre très limitée ou inexistante
- Oui, avec une certaine marge de manœuvre
- Non
- Oui
- Non
ÉTAPE DEUX : Choix d'un modèle
L'évaluation du degré de complexité des besoins en renseignements aidera l'organisation à déterminer quel modèle d'activité lui serait probablement le plus utile. Au moyen du tableau ci-dessous, indiquez le nombre de réponses A, B ou C. Choisissez le modèle correspondant à la catégorie dans laquelle le nombre de réponses est le plus élevé. Passez ensuite au modèle indiqué pour l'étape trois.
| Catégorie de réponse | Nbre | Description | Pour l'étape trois, passez au: |
| Réponses «A» | Il est probable que les besoins en reseignements de votre organisation, aux fins de la prise de décisions, soient relativement routiniers. | Modèle A Besoins en renseignements |
|
| Réponses «B» | Il est probable que certains des bsoins en renseignements de votre organisation soient relativement routiniers, mais que certaines particularités de votre organisation exigent une information plus complexe. | Modèle B Besoins en renseignements routiniers et complexes |
|
| Réponses «C» | Il est probable que certaines caractéistiques de votre organisation entraînent des besoins en renseignements relativement complexes | Modèle C Besoins en renseignements complexes |
|
| Total | 12 |
Si le nombre de réponses est à peu près le même dans les trois catégories, ou réparti de façon égale entre deux catégories, il importera d'examiner tous les modèles présentés à l'étape trois afin de déterminer lequel est le plus susceptible de convenir à votre organisme.
ÉTAPE TROIS : Évaluation de l'écart entre les besoins en renseignements et les activités actuelles
MODÈLE A – Besoins en renseignements routiniers
Veuillez indiquer pour chaque domaine si votre organisation se situe actuellement au niveau décrit, si le domaine en question est à l'étude ou si on ne prévoit pas pour le moment inclure ce domaine dans les activités d'évaluation et de mesure du rendement (MR) de l'organisation.
| À l'étude - Mise en place complète pévue d'ici... | ||||||
| Situation actuelle | 12 mois | 24 mois | 36 mois | N'est pas à l'étude | Observations | |
| Conception et mise en œuvre | ||||||
| Planification de l'évaluation liée à la planification stratégique de l'organisme (peut être faite selon un cycle ou annuellement) | ||||||
| Évaluations périodiques prévues et axées tant sur les répercussions que sur les processus | ||||||
| Capacité limitée de donner suite à des demandes d'évaluation ponctuelles de faible envergure au besoin | ||||||
| Lien entre les activités, les extrants et les résultats pour l'ensemble de l'organisme (chaîne de résultats, modèle logique) | ||||||
| Lien entre les activités, les extrants et les résultats de chacun des programmes et secteurs d'activité permettant l'intégration en une perspective pour l'ensemble de l'organisme (chaîne de résultats, modèle logique) | ||||||
| Rôles et responsabilités clairement définis pour les différents aspects de la collecte et du regroupement des renseignements au sein d'un petit groupe de personnes, de quelques unités ou directions et de quelques organismes partenaires | ||||||
| Trois à quatre niveaux d'indicateurs selon les différents niveaux de besoins en renseignements (p. ex., gestionnaires de programme, directeurs, comité de gestion, etc.) | ||||||
| Système d'information planifié, efficace et permettant de produire des renseignements cumulatifs de façon périodique selon divers niveaux d'indicateurs | ||||||
| Capacité interne de concevoir, de planifier et de gérer des évaluations axées soit sur les répercussions, soit sur les processus | ||||||
| Capacité interne d'élaborer et de surveiller des activités liées à la stratégie de mesure du rendement | ||||||
| Recours périodique à des ressources externes pour réaliser des évaluations | ||||||
| Recours périodique à des ressources externes pour fournir une expertise en ce qui concerne l'élaboration et l'adaptation de cadres et de stratégies de mesure | ||||||
| Processus défini et prévu d'intégration périodique des renseignements issus de la mesure du rendement et des évaluations à d'autres activités de gestion | ||||||
| Résultats | ||||||
| Cycle ou plan pluriannuel d'activités d'évaluation | ||||||
| Capacité limitée de donner suite à des demandes d'évaluation ponctuelles de faible envergure | ||||||
| Rapports d'évaluation présentés en temps opportun et répondant aux besoins en renseignements des gestionnaires | ||||||
| Plan d'évaluation lié à la planification stratégique de l'organisation | ||||||
| Prise en compte périodique (au moins trimestriellement) des renseignements issus de la mesure du rendement dans les activités de gestion à divers niveaux | ||||||
| Utilisation manifeste de renseignements bien étayés découlant de la mesure du rendement et de l'évaluation pour répondre aux exigences de rapports externes (RMR, RPP, rapports annuels) | ||||||
| Utilisation manifeste de renseignements bien étayés découlant de la mesure du rendement et de l'évaluation dans les processus décisionnels internes | ||||||
| Détermination précise, suivi et communication des résultats immédiats de façon périodique pour l'ensemble de l'organisation | ||||||
ÉTAPE TROIS : Évaluation de l'écart entre les besoins en renseignements et les activités actuelles
MODÈLE B – Besoins en renseignements routiniers et complexes
Veuillez indiquer pour chaque domaine si votre organisation se situe actuellement au niveau décrit, si le domaine en question est à l'étude ou si on ne prévoit pas pour le moment inclure ce domaine dans les activités d'évaluation et de mesure du rendement (MR) de l'organisation.
| À l'étude - Mise en place complète pévue d'ici... | ||||||
| Situation actuelle | 12 mois | 24 mois | 36 mois | N'est pas à l'étude | Observations | |
| Conception et mise en œuvre | ||||||
| Planification de l'évaluation liée à la planification stratégique de l'organisme (peut être faite selon un cycle ou annuellement) | ||||||
| Évaluations périodiques prévues et axées tant sur les répercussions que sur les processus | ||||||
| Capacité limitée de donner suite à des demandes d'évaluation ponctuelles de faible envergure au besoin | ||||||
| Lien entre les activités, les extrants et les résultats pour l'ensemble de l'organisme (chaîne de résultats, modèle logique) | ||||||
| Lien entre les activités, les extrants et les résultats de chacun des programmes et secteurs d'activité permettant l'intégration en une perspective pour l'ensemble de l'organisme (chaîne de résultats, modèle logique) | ||||||
| Rôles et responsabilités clairement définis pour les différents aspects de la collecte et du regroupement des renseignements au sein d'un petit groupe de personnes, de quelques unités ou directions et de quelques organismes partenaires | ||||||
| Trois à quatre niveaux d'indicateurs selon les différents niveaux de besoins en renseignements (p. ex., gestionnaires de programme, directeurs, comité de gestion, etc.) | ||||||
| Système d'information planifié, efficace et permettant de produire des renseignements cumulatifs de façon périodique selon divers niveaux d'indicateurs | ||||||
| Capacité interne de concevoir, de planifier et de gérer des évaluations axées soit sur les répercussions, soit sur les processus | ||||||
| Capacité interne d'élaborer et de surveiller des activités liées à la stratégie de mesure du rendement | ||||||
| Recours périodique à des ressources externes pour réaliser des évaluations | ||||||
| Recours périodique à des ressources externes pour fournir une expertise en ce qui concerne l'élaboration et l'adaptation de cadres et de stratégies de mesure | ||||||
| Processus défini et prévu d'intégration périodique des renseignements issus de la mesure du rendement et des évaluations à d'autres activités de gestion | ||||||
| Résultats | ||||||
| Cycle ou plan pluriannuel d'activités d'évaluation | ||||||
| Capacité limitée de donner suite à des demandes d'évaluation ponctuelles de faible envergure | ||||||
| Rapports d'évaluation présentés en temps opportun et répondant aux besoins en renseignements des gestionnaires | ||||||
| Plan d'évaluation lié à la planification stratégique de l'organisation | ||||||
| Prise en compte périodique (au moins trimestriellement) des renseignements issus de la mesure du rendement dans les activités de gestion à divers niveaux | ||||||
| Utilisation manifeste de renseignements bien étayés découlant de la mesure du rendement et de l'évaluation pour répondre aux exigences de rapports externes (RMR, RPP, rapports annuels) | ||||||
| Utilisation manifeste de renseignements bien étayés découlant de la mesure du rendement et de l'évaluation dans les processus décisionnels internes | ||||||
| Détermination précise, suivi et communication des résultats immédiats de façon périodique pour l'ensemble de l'organisation | ||||||
ÉTAPE TROIS : Évaluation de l'écart entre les besoins en renseignements et les activités actuelles
MODÈLE C – Besoins en renseignements complexes
Veuillez indiquer pour chaque domaine si votre organisation se situe actuellement au niveau décrit, si le domaine en question est à l'étude ou si on ne prévoit pas pour le moment inclure ce domaine dans les activités d'évaluation et de mesure du rendement (MR) de l'organisation.
| À l'étude - Mise en place complète pévue d'ici... | ||||||
| Situation actuelle | 12 mois | 24 mois | 36 mois | N'est pas à l'étude | Observations | |
| Conception et mise en œuvre | ||||||
| Planification annuelle de l'évaluation liée à la planification stratégique de l'organisation | ||||||
| Évaluations périodiques prévues et axées tant sur les répercussions que sur les processus | ||||||
| Capacité de donner suite à la plupart des demandes d'évaluation ponctuelles au besoin | ||||||
| Lien entre les activités, les extrants et les résultats pour l'ensemble de l'organisme (chaîne de résultats, modèle logique) | ||||||
| Lien entre les activités, les extrants et les résultats de chacun des programmes et secteurs d'activité permettant l'intégration en une perspective pour l'ensemble de l'organisme (chaîne de résultats, modèle logique) | ||||||
| Rôles et responsabilités clairement définis pour les différents aspects de la collecte et du regroupement des renseignements au sein d'un groupe important de personnes, de nombreuses unités ou directions et de divers organismes partenaires | ||||||
| Multiples niveaux d'indicateurs selon les différents niveaux de besoins en renseignements (p. ex., gestionnaires de programme, directeurs, comité de gestion, etc.) | ||||||
| Système d'information relativement complexe permettant de produire des renseignements cumulatifs de façon continue selon divers niveaux d'indicateurs | ||||||
| Capacité interne de concevoir, de planifier et de gérer des évaluations axées soit sur les répercussions, soit sur les processus | ||||||
| Capacité interne d'élaborer et de surveiller des activités liées à la stratégie de mesure du rendement et d'adapter la stratégie au besoin | ||||||
| Recours périodique à des ressources externes pour réaliser des évaluations | ||||||
| Recours périodique à des ressources externes pour fournir une expertise en ce qui concerne l'élaboration et l'adaptation de cadres et de stratégies de mesure | ||||||
| Processus officiel défini d'intégration continue des renseignements issus de la mesure du rendement et des évaluations à d'autres activités de gestion | ||||||
| Résultats | ||||||
| Plan annuel d'activités d'évaluation | ||||||
| Capacité de donner suite sans difficulté à des demandes d'évaluation ponctuelles de faible envergure | ||||||
| Rapports d'évaluation présentés en temps opportun et répondant aux besoins en information des gestionnaires | ||||||
| Plan d'évaluation annuel lié à la planification stratégique de l'organisation | ||||||
| Prise en compte continue (au moins mensuellement) des renseignements issus de la mesure du rendement dans les activités de gestion de divers niveaux | ||||||
| Utilisation manifeste de renseignements bien étayés découlant de la mesure du rendement et de l'évaluation pour répondre aux exigences de rapports externes (RMR, RPP, rapports annuels) | ||||||
| Utilisation et intégration manifestes de renseignements bien étayés découlant de la mesure du rendement et de l'évaluation dans les processus décisionnels internes | ||||||
| Détermination précise, suivi et communication continue des résultats immédiats pour l'ensemble de l'organisation | ||||||
| Utilisation manifeste des renseignements issus de la mesure du rendement et de l'évaluation dans la prise de décisions concernant l'affectation des ressources | ||||||
ÉTAPE QUATRE : Commentaires sur l'exercice et les modèles
Veuillez nous donner vos commentaires sur les points suivants.
1. Dans quelle mesure l'exercice vous a-t-il été utile pour accomplir les tâches suivantes :
- Déterminer le degré de complexité des besoins en renseignements de votre organisation.
- Déterminer quelles sont les activités de mesure du rendement et d'évaluation qui conviennent à votre organisation.
- Repérer les écarts entre les activités actuelles de votre organisation en matière d'évaluation et de mesures du rendement et ce qu'elles devraient être.
2. Compte tenu de la grande diversité de la collectivité des petits organismes, les modèles proposés reflètent-ils avec justesse les activités d'évaluation et de mesure du rendement qui pourraient être menées dans les divers types de petits organismes?
3. Quels changements proposeriez-vous d'apporter soit à l'exercice, soit aux modèles comme tels pour les rendre plus utiles aux petits organismes?
4. Quelle serait l'aide la plus utile que le SCT pourrait vous apporter au cours des 12 à 18 prochains mois pour ce qui est de répondre aux besoins en évaluation et en mesure du rendement de votre organisation?
Dans la liste suivante, veuillez cocher les trois mesures d'amélioration de la capacité qui, à votre avis, seraient les plus utiles à votre organisation à l'heure actuelle.
- Des outils généraux et une trousse d'outils qui pourraient comprendre des manuels, des modèles de formulaires courants, de la formation et des ateliers à l'intention du personnel, etc.
- Un projet pilote qui pourrait présenter des avantages pour l'ensemble de la collectivité et serait adaptable aux besoins des autres organismes. Les petits organismes pourraient en outre établir des partenariats pour des projets particuliers afin de partager les coûts, travailler ensemble pour réaliser des objectifs communs ou répondre à des besoins communs, etc. Il pourrait y avoir regroupement d'organismes « semblables ».
- Des projets visant à aider un petit organisme à mieux comprendre ses besoins et à élaborer et exécuter un plan d'action pour la mise en œuvre d'une stratégie de mesure du rendement et d'évaluation.
- Une aide du SCT : une personne-ressource au SCT pourrait offrir des conseils en ce qui concerne par exemple la préparation de demandes de propositions, les définitions de marchés liées à l'évaluation et à la mesure du rendement.
- Les ministères de taille moyenne ou importante pourraient aider les petits organismes à améliorer leurs compétences en évaluation. (Cela ne suppose pas nécessairement des projets communs.)
- Une solution de services partagés : une ressource commune qui est utile ou nécessaire à plus d'une partie, mais financièrement impossible à obtenir pour un seul petit organisme.
- Autre. Veuillez préciser :
Merci beaucoup de votre participation.
Veuillez mettre le questionnaire rempli dans l'enveloppe fournie à cette fin et communiquer avec le groupe de consultants au 230-5577. Il se chargera de le ramasser.
Annexe C
Tableaux de données détaillées tirés de l'exercice de validation
-
Autoévaluation de la connaissance de la mesure du renement et de l'evaluation
Niveau #( %) Aucune connaissance 0(0 %) Débutant 4(18 %) Intermédiaire 13(59 %) Avancé 5(23 %)
-
Nombre de secteurs d'activité
Nbre de secteurs Nbre(%) Un 13(59 %) Deux ou trois 6(27 %) Quatre et plus 3(14 %)
-
Niveau de risque connexe
Niveau de risque Nbre(%) Faible 12(55 %) Moyenne 9(40 %) Élevé 1(5 %)
-
Prévisibilité de la charge de travail
Prévisibilité #( %) Très 2(9 %) Assez 13(59 %) Aucunement 7(32 %)
-
Taille de l'organisme
Nombre d'ETP #( %) Moins de 50 9(40 %) 50 à 150 7(32 %) Plus de 150 6(27 %)
-
Pourcentage de subventions et de contributions
Pourcentage Nbre( %) Moins de 15 % 19(86 %) 15 % à 30 % 1(5 %) Plus de 30 % 2(9 %)
-
Accent proportionnel sur les processus et les répercussions
Accent Nbre(%) Davantage sur les processus 2(9 %) Réparti également entre les processus et les répercussions 16(73 %) Davantage sur les répercussions 4(18 %)
-
Classement des réondants selon les modèles
Modèle Nbre(%) Modèle A : Besoins en renseignements routiniers 8(36 %) Modèle B : Besoins en renseignements routiniers et complexes 13(59 %) Modèle C : Besoins en renseignements complexes 1(5 %)
-
Analyse de écarts - Tous les organismes
Écarts Nbre d'organismes Peu on aucun (situation actuelle dans 85 % à 100 % des cas) 3(14 %) Certains Écarts (situation actuelle dans 50 % à 84 % des cas) 5(23 %) Nombreux Écarts (situation actuelle dans moins de 50 % des cas) 14(64 %)
-
Solutions possibles
Mesures damélioration de la capacité Nbre(%) Outils généraux et trousse d'outils 9(41%) Projets pilotes 5(23%) Projets individuels 8(36%) Aide du SCT : préparation de demandes de propositions, de marchés, etc. 10(45%) Aide provenant de ministères de taille moyenne et importante 2(14%) Solution de services partagés 7(32%)
