ARCHIVÉ - Évaluation du cadre d'investissement stratégique en vertu de la Loi sur la modernisation de la fonction publique

Cette page a été archivée.

Résumé

Ce rapport présente les constatations d’une évaluation du Cadre d’investissement stratégique (CIS), un fonds établi pour orienter les investissements dans le cadre de la mise en œuvre de la Loi sur la modernisation de la fonction publique (LMFP).

L’objectif de l’évaluation était d’examiner la mise en œuvre, la pertinence et le rendement (efficience, efficacité et économie) des investissements faits à l’aide de fonds du CIS, la mesure dans laquelle ces investissements avaient facilité l’obtention des extrants prévus dans la LMFP et les leçons tirées de cette initiative. En ce qui touche la portée de l’évaluation, on s’est concentré sur les ministères et organismes qui avaient obtenu des fonds du CIS, groupe qui incluait les organismes centraux. L’évaluation ne s’est pas attachée à évaluer l’efficacité des outils ou instruments adoptés par ces ministères et organismes. Même si le CIS était au cœur de la mise en œuvre de la LMFP, il ne s’agissait pas d’une évaluation de celle-ci, mais plutôt d’une analyse de l’utilisation des fonds du CIS^[1].

De 2004 à 2009, 200 millions de dollars des fonds alloués au CIS ont été versés à 40 ministères et organismes pour les aider à atteindre les objectifs de laLMFP qui étaient :

• d’assouplir le cadre de dotation pour gérer et appuyer les employés et pour attirer les meilleurs employés, aux endroits et aux moments où ils étaient requis;
• de favoriser des relations patronales­syndicales davantage axées sur la collaboration pour assurer un milieu de travail sain et productif;
• de préciser les responsabilités des administrateurs généraux et des gestionnaires.

Les fonds étaient répartis dans cinq enveloppes « théoriques » : changement institutionnel, systèmes de technologie de l’information (TI) liés aux ressources humaines (RH), préparation des effectifs, nouvelles fonctions et gestion de projets.

La méthodologie d’évaluation prévoyait la consultation des sources d’information suivantes :

• besoin continu;
• examen de données administratives;
• cinq études de cas portant sur des ministères;
• des entretiens avec 23 informateurs clés.

Un aspect clé de cette évaluation était qu’elle a été effectuée une fois l’initiative terminée. Par conséquent, plutôt que des recommandations, le présent document renferme les leçons apprises qui pourraient être appliquées à de futurs programmes de financement de conception similaire. De plus, l’examen législatif de la LMFP a été exécuté à une date ultérieure, à laquelle l’environnement avait déjà évolué, ce qui pourrait donner lieu à des enseignements et/ou conclusions additionnels.

Un certain nombre de restrictions, y compris le moment de l’évaluation, entreprise après la fin de l’initiative, a limité la disponibilité de données pouvant étayer les résultats de l’évaluation. Par exemple, le ministère où était situé le Bureau de projet du CIS a été réorganisé à trois reprises durant l’initiative, ce qui signifie qu’il a été impossible de trouver de nombreux informateurs qui étaient peut-être au courant du projet. Cela signifiait aussi qu’il était impossible de mener un sondage.

Il semble que le CIS ait été bien mis en œuvre et ait fourni des extrants qui devaient servir à guider, de façon appropriée, les fonds du CIS vers des projets qui étaient conformes aux résultats fixés à court terme. Les données probantes examinées par l’évaluation étaient suffisantes pour tirer des conclusions quant aux résultats immédiats et à court terme, mais insuffisantes pour tirer des conclusions à propos des résultats à moyen et à long terme. Cette affirmation ne signifie pas que les résultats en question n’ont pas été atteints, mais plutôt qu’il n’était pas possible de les mesurer ou de les évaluer au moyen des données probantes disponibles.

Conclusions

Pertinence

Des activités soutenues par le CIS ont été entreprises dans divers ministères et organismes pour aider à créer la capacité nécessaire dans le domaine de la gestion des ressources humaines (GRH) en vue de la mise en œuvre de la LMFP. Les données probantes recueillies ont montré que ces activités étaient pertinentes. En fait, l’ensemble des informateurs clés ont affirmé qu’il y a un besoin continu pour les types d’activités qui étaient financées par le CIS.

• L’évaluation a fourni des éléments de preuve qui suggèrent qu’il y a un besoin continu d’aider les ministères et organismes à renforcer la capacité en GRH.
• Les données probantes ont continuellement indiqué que les objectifs et activités liés au CIS correspondaient aux objectifs et à l’esprit de la LMFP.

Efficience

Les questions d’évaluation ayant trait à l’efficience portaient principalement sur la question de savoir à quel degré d’efficience l’initiative avait été mise en œuvre. À cet effet les résultats de l’évaluation montrent que le CIS a été organisé et appliqué tel que prévu. Dans le cadre du CIS, 94 % des fonds ont été alloués à des ministères et organismes, lesquels ont investi 83,4 % des fonds approuvés.

Même si le Plan directeur ^[2] a été publié un an après le CIS, le premier rapport provisoire affirme que le Secrétariat de la LMFP a fixé et maintenu des échéances de mise en œuvre du projet afin de définir les activités clés et les jalons critiques. Des rapports d’étape et sommaires ont été émis par la suite pour décrire les engagements et les réalisations. Les données probantes montrent que toutes les exigences législatives de la LMFP ont été largement respectées. Il y a également des indications concernant l’efficacité du plan du projet quant à l’orientation des initiatives horizontales au sein des ministères et organismes :

• Le rôle du Bureau du projet était bien articulé et communiqué dans les documents liés au CIS; toutefois, il n’est pas clair dans quelle mesure ce rôle était bien compris par les ministères et organismes. L’évaluation a permis de déterminer que le Bureau du projet avait géré avec efficacité la mise en œuvre du CIS.
• Les données probantes provenant de documents montrent que le plan du projet a permis de bien guider les efforts horizontaux dans les ministères et organismes. La plupart des personnes interrogées n’étaient toutefois pas en mesure de faire des observations à ce sujet.
• Il semble y avoir eu une capacité et fonctionnalité suffisantes en matière de TI dans le contexte de la mise en œuvre du CIS. Toutefois, il n’y avait pas d’utilisateurs avec lesquels on aurait pu s’entretenir, ce qui aurait fourni une autre série d’éléments de preuve à l’appui de cette conclusion.
• L’évaluation a permis de conclure que l’on avait satisfait, à un degré considérable, aux exigences législatives de la LMFP.
• Même si de façon générale, il y a eu un effet de levier, on ne disposait pas de suffisamment de données probantes pour déterminer clairement son rapport ou les autres liens avec des activités non reliées à la modernisation prévue par la LMFP ou si ces effets d’entraînement faisaient partie de l’objectif du CIS.

Économie

Même si les résultats de l’examen de documents et les renseignements obtenus au cours des entrevues avec des informateurs clés ont montré que les fonds alloués par le CIS ont effectivement produit de la valeur, l’évaluation n’a pas permis de déterminer si cela aurait pu être accompli avec moins de ressources.

Les données probantes montrent que le montant des fonds du CIS et la nature de leur utilisation étaient appropriés. Quatre-vingt-huit pour cent (88 %) des ministères et organismes ont reçu une aide directe ou indirecte par l’intermédiaire de l’Équipe du soutien à la transition pour les petits organismes (ÉSTPO) ou de leur ministère d’attache en réponse aux exigences de mise en œuvre de la LMFP.

Efficacité

L’évaluation n’a pas permis d’arriver à de solides conclusions quant au degré auquel la stratégie d’investissement du CIS a contribué à l’obtention des résultats escomptés à moyen et à long terme de la LMFP, en partie en raison du manque d’informateurs et du nombre insuffisant de rapports produits par les bénéficiaires des fonds.

Cependant, les extrants prévus ont été produits et la plupart des résultats immédiats et à court terme ont été obtenus. Des extrants tels que lignes directrices, communications et activités de formation ont conduit aux résultats immédiats, ce qui a permis aux ministères de demander et de recevoir des fonds pour des projets qui étaient conformes aux priorités et principes de la LMFP, même si les délais de mise en œuvre étaient perçus comme un problème. Il semble aussi que l’on ait généralement obtenu les résultats à court terme, comme en témoignent les changements institutionnels^[3], la création de systèmes de TI nécessaires dans le domaine des RH, la tenue d’événements pour préparer les employés et l’élaboration de nouvelles fonctions liées aux RH devant appuyer l’application de la LMFP,. Toutefois, l’évaluation n’a pas permis de déterminer dans quelle mesure ces éléments, de leur côté, ont répondu aux besoins liés aux RH dans la FP et ont appuyé les processus au chapitre des ressources, des changements culturels et des obligations redditionnelles. De même, il n’a pas été possible d’en arriver à des conclusions à propos des résultats à long terme des mesures visant à assurer le recrutement de personnes possédant les compétences voulues, à favoriser des relations patronales-syndicales axées sur la collaboration, à mettre davantage l’accent sur l’apprentissage et la formation des employés à tous les niveaux et à clarifier davantage les rôles et les obligations redditionnelles. Cette situation a eu pour effet de restreindre considérablement l’évaluation.

• L’application de la stratégie d’investissement dressée pour le CIS semble avoir été efficace en facilitant la réalisation des objectifs de la LMFP, mais en raison d’éléments de preuve limités, il n’est pas clair à quel degré.
• Une analyse de l’information provenant des cinq études de cas et des entrevues avec les informateurs clés montre que tous les extrants et la majorité des résultats immédiats et à court terme prévus dans le contexte du CIS ont été obtenus, dans une certaine mesure.
• Même si les données probantes révèlent que l’on a obtenu des résultats à court terme, elles n’étaient pas suffisantes pour déterminer avec précision le degré de succès de ces résultats.

Leçons apprises

Un grand nombre des leçons apprises par suite de cette évaluation concernent la mesure du rendement et la production de rapports. Même si les réorganisations de l’Agence de gestion des ressources humaines de la fonction publique du Canada (AGRHFPC) et de l’Agence de la fonction publique du Canada (AFPC) ont attiré l’attention sur la question de la gestion de l’information, il faut néanmoins qu’on soit davantage conscient de l’importance d’établir des stratégies de mesure du rendement et des cadres de présentation de rapports avant la mise en œuvre des initiatives gouvernementales. Ces cadres et stratégies fourniront aux cadres supérieurs l’information dont ils ont besoin pour évaluer l’impact de ces initiatives.

• Des initiatives de financement d’envergure comme le CIS devraient, dans toute la mesure du possible, être mises en œuvre à partir d’une structure organisationnelle stable. Des réorganisations qui surviennent parallèlement à la mise en œuvre d’une importante initiative risquent de nuire à l’obtention des résultats prévus de celle-ci ou d’interrompre l’exécution efficace et efficiente d’éléments clés. Si cette situation ne peut être évitée, il y a lieu de dresser une stratégie de gestion de l’information rattachée spécifiquement à l’initiative de restructuration, peu importe l’emplacement de l’organisation, qui inclut toutes les personnes-ressources pertinentes, pour des responsabilités particulières ayant trait à l’initiative.
• Les cadres de présentation de rapports devraient être conçus de sorte à établir un équilibre entre la présentation de rapports sur les dépenses et les résultats (et non pas uniquement sur les extrants) et les besoins administratifs. Ces cadres devraient être dressés en consultation avec l’ensemble des intervenants bien avant la mise en œuvre.
• Il faut établir des stratégies de mesure du rendement avant l’entrée en vigueur des initiatives, de sorte à recueillir l’information requise aux fins des évaluations.
• En effectuant une évaluation de référence au stade initial de la mise en œuvre d’une initiative, on fournit aux gestionnaires de programmes des données qu’ils peuvent comparer aux résultats et on leur permet ainsi de mesurer les impacts d’une politique, d’un programme ou d’une initiative.
• Lorsque l’on planifie une évaluation, il convient d’évaluer tous les fonds connexes qui contribuent à un résultat unique. Dans ce cas, par exemple, le Fonds de réserve de la LMFP (238 millions de dollars) englobait le CIS (200 millions de dollars), et les deux fonds ont aidé à obtenir les mêmes résultats souhaités. Il est très difficile de séparer l’impact des 38 millions de dollars qui ont servi à financer la phase de démarrage des fonds du CIS, puisqu’ils ont tous servi à mettre en œuvre la LMFP.
• En mettant au point un système de suivi des initiatives une fois qu’elles sont terminées, on aide les gestionnaires de programmes à surveiller les avantages à long terme d’initiatives de longue durée comme la LMFP et de leur mécanismes de mise en œuvre.