ARCHIVÉ - Consultation auprès des administrateurs généraux sur la fonction d'évaluation - Rapport sommaire

Cette page a été archivée.

4. Constatations

4.1 Utilisation de la fonction d’évaluation par les ministères et organismes

Une diversité d’utilisations

Les administrateurs généraux indiquent une variété de façons dont la fonction d’évaluation peut être utilisée – et est utilisée – au sein de leur organisation. Certains ont mentionné expressément le lien avec la planification stratégique et les rapports sur le rendement (en tant qu’intrant du Rapport ministériel sur le rendement), mais les utilisations suivantes semblent ressortir :

• Pour les organisations qui ont des programmes de S et C, l’évaluation est un intrant important des discussions/décisions concernant les programmes qui arrivent à échéance et le renouvellement du financement lorsqu’elles se présentent au Cabinet.

• En général, l’évaluation peut – et devrait – servir de source d’information (mais ne sera pas le seul intrant) à l’appui des examens stratégiques ministériels. Dans ce contexte, les données probantes recueillies et les rapports d’évaluation peuvent servir d’intrants dans la documentation utilisée pour déterminer les domaines de faible rendement et de faible priorité.

• Comme l’ont affirmé de diverses façons plusieurs administrateurs généraux, l’évaluation est considérée comme un moyen de faire le tour d’une question ou d’un thème stratégique afin d’éclairer les discussions sur les politiques, l’élaboration des politiques et les décisions. Cet usage met en lumière la contribution de l’évaluation aux connaissances de l’organisation ou, en d’autres termes, le savoir que l’évaluation a généré dans tel ou tel domaine.

• Bien qu’il n’ait pas été mentionné par tous les répondants, le domaine traditionnel de « l’évaluation de programme », qui examine les enjeux entourant la conception des programmes, leur mise en œuvre, leur efficacité, etc., a quand même été jugé particulièrement utile par certains administrateurs généraux. Ils étaient d’avis que l’approche systématique et rigoureuse qui permet de réunir des données disparates (ce qui pose parfois un défi) et qui nécessite une réponse de la direction qui va faire l’objet d’un suivi constitue une « approche robuste » qui est « sur le même pied que la vérification interne ».

Quelques administrateurs généraux ont ajouté que les usages possibles de l’évaluation ne peuvent pas tous être nécessairement prévus à l’avance, car il est parfois difficile de déterminer où les conclusions d’une évaluation auront une influence particulière (par exemple, dans les discussions sur les politiques).

Ce qui se dégage des observations des administrateurs généraux est que les évaluations ont besoin d’être réalisées et discutées en temps opportun et d’être solidement reliées aux discussions de la haute direction. Ce dernier élément est important si on veut s’assurer que la fonction d’évaluation anticipe les domaines qui revêtiront de l’intérêt à l’avenir et que les conclusions d’une évaluation pertinente soient mises à la disposition des auditoires clés.

Évaluation et examen stratégique

Un certain nombre de répondants étaient d’avis que la nouvelle proximité de l’examen stratégique et de l’évaluation avait, comme un administrateur général l’a souligné, « donné un nouveau souffle à la fonction d’évaluation ».

« L’examen stratégique a relevé la fonction d’évaluation de quelque degrés. »

Mais comme l’ont fait remarquer certains répondants, l’impact réel de la fonction d’évaluation se manifestera dans l’avenir, car la première ronde des examens stratégiques a dû miser sur l’information déjà disponible et dans de nombreux cas, il n’y avait pas eu d’évaluations. Mais dorénavant, comme les lacunes dans l’information sont mieux connues, l’opinion est que la planification des futurs travaux de l’évaluation peut tenir compte du calendrier des futurs examens stratégiques.

La fonction d’évaluation comme élément contributif de la prise de décisions

Dans l’ensemble, un grand nombre des administrateurs généraux estimaient que l’évaluation apportait une « solide » contribution à la prise de décisions dans leur ministère, mais certains croyaient aussi qu’on pourrait en faire plus à ce chapitre (pour des raisons qui seront examinées dans la section qui suit).

Les administrateurs généraux ont mentionné plusieurs facteurs qui contribuent vraisemblablement à l’utilisation de l’évaluation :

• La composition du Comité d’évaluation ministériel (CEM). Plus d’un répondant est d’avis qu’un CEM plus inclusif, sur le modèle de l’équipe de la haute direction, a suscité « des discussions vraiment fructueuses », par exemple, une plus grande rigueur et des questions d’approfondissement au moment d’établir le plan d’évaluation de l’organisation. En outre, dans les cas où il incombe au CEM d’approuver le mandat des évaluations, le Comité devient une tribune au sein de l’organisation qui contribue à veiller à ce que les préoccupations/enjeux de la direction se reflètent dans la portée des évaluations.
• La composition du CEM mais aussi la fréquence de ses réunions jouent vraisemblablement un rôle dans l’utilisation de l’évaluation. Un administrateur général a indiqué que le CEM pouvait se réunir toutes les quatre ou six semaines, ce qui fait que « l’évaluation est toujours au premier plan de la gouvernance de l’organisation ».
• Certains répondants ont parlé de l’évaluation comme « élément de la structure de gouvernance », de son intégration au processus décisionnel, aux mémoires au Cabinet, de ses liens avec la planification stratégique, l’adoption de politiques et la production de rapports. Mais qu’est‑ce qui est à l’origine de ce phénomène? Un administrateur général a expliqué qu’il avait adopté une « approche systématique » en ce qui concerne le recours à l’évaluation, qui se retrouve en fait enchâssée dans un mécanisme robuste de planification, de mesure et de rapports. Mais comme les répondants l’ont fait remarquer, cela repose sur un engagement de recourir systématiquement à l’évaluation au sein de l’organisation, engagement sans lequel ces avantages de l’évaluation ne se concrétiseraient probablement pas.
• Pour un administrateur général, l’engagement envers l’évaluation ne se limite pas à présider le CEM, malgré l’importance de cette fonction (« ça envoie un signal »). Selon un répondant, l’utilisation efficace de l’évaluation dépend notamment de l’intérêt que revêt le recours à l’évaluation pour l’organisation, « ce qui varie probablement d’un ministère à l’autre ».

Obstacles qui peuvent entraver le recours à l’évaluation

La plupart des administrateurs généraux ont mentionné certains éléments qui, à leurs yeux, entravent directement le recours à l’évaluation dans leur ministère ou qui y feraient probablement obstacle :

• Problèmes de démarrage associés à la réalisation d’une évaluation et qui font qu’en fin de compte, l’évaluation n’est pas livrée en temps opportun. Ce problème est associé en partie à la question générale des ressources humaines (c’est‑à‑dire qu’il y a trop peu d’évaluateurs qualifiés dans le système) et à la nécessité d’avoir recours à des entrepreneurs de l’extérieur pour pouvoir mener les évaluations. Plus d’un administrateur général a fait remarquer que le processus de passation de marchés est devenu plutôt lourd et long, et que son administration semble demander trop de temps.[²]
• Les rapports d’évaluation ne fournissent pas toujours de preuves définitives au sujet de telle ou telle question et les observations et conclusions manquent parfois de clarté. On peut conclure des rétroactions des administrateurs généraux qu’il y a diverses raisons qui les amènent à le penser. Par exemple :
  1. un manque d’évaluateurs qualifiés, tant à l’interne qu’à l’externe. La plupart des répondants ont indiqué qu’il n’y avait tout simplement pas assez d’évaluateurs qualifiés, tant au gouvernement que chez les consultants de l’extérieur, et que dans cette perspective, la qualité des consultants de l’extérieur était assez variable;
  2. la difficulté de mesurer les retombées et de faire face aux enjeux de l’attribution;
  3. les attentes au sujet des éléments qu’une évaluation peut raisonnablement permettre de mesurer – qui sont parfois très peu réalistes. Certains répondants ont fait remarquer qu’il est important de reconnaître que l’évaluation « est seulement un intrant » dans le processus décisionnel et que d’autres facteurs, y compris la dimension politique, entrent en jeu dans les décisions. « L’évaluation n’apportera pas toutes les réponses, il faut bien le comprendre! »
• Les rapports d’évaluation qui ne sont pas tournés vers l’avenir et qui n’offrent pas l’éclairage nécessaire pour les discussions stratégiques. Dans de tels cas, les répondants sont d’avis qu’une évaluation peut fournir un diagnostic centré sur une question en particulier, mais ne permet pas toujours de répondre à la question « qu’allez‑vous apporter comme solution? » une fois les enjeux cernés.
• Trop peu de temps et d’énergie de la part des gens des programmes et des politiques dont l’apport et la mobilisation seraient nécessaires pour faire le suivi d’une évaluation. Déterminer où et comment les résultats des évaluations seront utilisés, voilà qui demande du temps et de l’énergie de la part de gens qui manquent peut‑être de l’un et de l’autre. Comme l’a dit un répondant, ils se concentrent principalement sur leur travail et les besoins immédiats.
• L’opinion selon laquelle il y a trop peu de ressources au sein de l’organisation pour exploiter « les enseignements tirés de la fonction d’évaluation ». Dans la plupart des organisations, l’importance accordée à la production de rapports d’évaluation de qualité est telle que le groupe de l’évaluation n’a plus le temps/les ressources pour une réflexion/une analyse plus vastes, plus stratégiques de ce que les résultats de l’évaluation signifient réellement pour l’organisation.
• L’impression que le moment où une évaluation est réalisée et son thème dépendent davantage de l’échéance du programme que d’une approche plus stratégique de l’évaluation des programmes d’un ministère. À cet égard, un administrateur général a parlé de l’importance d’aligner la réalisation de l’évaluation et la publication de ses résultats, en ajoutant que les évaluations ont besoin d’être livrées avant que le créneau se referme.
• La perception selon laquelle la Politique sur l’évaluation de 2009 est rigide et n’offre pas la flexibilité qui permettrait à un ministère de se concentrer sur des questions qui ne correspondent peut‑être pas aux enjeux fondamentaux prévus par la Politique. Un grand nombre des répondants sont d’avis que la Politique se veut une solution uniformisée.

Gouvernance et neutralité

Comme on l’a vu ci‑dessus, certains administrateurs généraux ont constitué leur Comité d’évaluation ministériel (CEM) sur le modèle de leur Comité de la haute direction. Cette décision repose apparemment sur des motifs administratifs, mais rien ne laisse penser que la « neutralité »[³] de la fonction d’évaluation s’en trouve diminuée.

Dans un certain nombre d’organisations consultées, l’évaluation cohabite avec la vérification interne, ce qui s’explique en grande partie par le positionnement historique des deux fonctions au sein de l’organisation. Cela pourrait avoir diverses répercussions du point de vue de la « gouvernance », surtout à cause de certaines exigences de la Politique de 2006 sur la vérification interne, notamment les suivantes : l’intégration de membres de l’extérieur du gouvernement dans les comités de vérification ministériels; ii) un profil rehaussé pour le dirigeant principal de la vérification (DPV); et (iii) une importance accrue accordée à « l’indépendance ».

Selon les administrateurs généraux, jusqu’à maintenant, les membres de l’extérieur qui font partie des comités de vérification comme des comités d’évaluation ont surtout besoin de mieux se familiariser avec l’évaluation et son rôle dans l’organisation.

S’agissant du profil rehaussé que la Politique de 2006 sur la vérification interne donne au dirigeant principal de la vérification, les cas de cohabitation sembleraient signifier que dorénavant, la fonction d’évaluation a des interactions plus fréquentes avec l’administrateur général. Toutefois, on ne sait pas au juste si cela suscite vraiment plus de discussions au sujet de l’évaluation.

S’agissant de l’accent qui est mis sur l’indépendance de la fonction de vérification interne — les administrateurs généraux semblent faire une distinction entre les deux fonctions à cet égard. L’opinion générale semble être que les évaluateurs (contrairement aux vérificateurs internes) devraient consulter les gestionnaires à différentes étapes de l’évaluation – et le font bel et bien – tout en étant capables de conserver leur neutralité et leur objectivité lorsqu’il s’agit d’analyser les constatations et de rendre compte des résultats.

En général, les administrateurs généraux interviewés n’ont exprimé aucun problème ni aucune préoccupation au sujet du risque que la neutralité de l’évaluation soit compromise dans leurs organisations.

4.2 Incidence du renouvellement du SGD et de la Politique sur l’évaluation de 2009 dans les ministères

Le deuxième thème de la consultation auprès des administrateurs généraux concernait l’incidence que le renouvellement du Système de gestion des dépenses et la Politique sur l’évaluation de 2009 ont eue dans les ministères des points de vue de l’exécution des évaluations, de leur planification et de l’attribution des ressources nécessaires à leur exécution.

Les administrateurs généraux qui ont mentionné le SGD l’ont fait seulement dans le contexte des « examens stratégiques »; toutefois, tous avaient des choses à dire au sujet de la nouvelle Politique sur l’évaluation et de la façon dont ils la perçoivent. Les commentaires allaient de l’opinion selon laquelle la Politique était assez bien conçue à la mention de certaines de ses exigences qui sont trop ambitieuses. Mais aux dires de l’un des répondants, il est probablement trop tôt pour déterminer toute l’incidence de la Politique, tant que les ministères n’ont pas achevé un cycle complet.

Incidence positive de la Politique sur l’évaluation de 2009

Selon certains administrateurs généraux, le lien implicite entre l’évaluation et l’examen stratégique a rehaussé le profil de leur fonction d’évaluation.[⁴] Aux dires d’un répondant, la Politique a « relevé la barre » pour l’évaluation, notamment parce qu’elle obligera tous les programmes gouvernementaux à examiner systématiquement des enjeux fondamentaux comme « leur raison d’être ».

Un administrateur général a déclaré que l’évaluation « occupe maintenant un peu plus de place » et « pour les bonnes raisons ».

Toutefois, un grand nombre des répondants n’ont pas manqué de dire que si la barre devait être relevée, le SCT allait devoir jouer un plus grand rôle en matière de leadership en ce qui concerne l’évaluation. On reviendra sur cette question dans la section 4.3.

La Politique sur l’évaluation de 2009: Préoccupations et défis

Cinq grandes préoccupations sont revenues un certain nombre de fois et ont été exprimées de diverses façons pendant les entrevues. Elles sont résumées ici, sans ordre particulier.

1. Il y aurait surabondance d’activités s’apparentant à des examens qui ne sont peut‑être pas bien coordonnées par le SCT
   • Un certain nombre d’administrateurs généraux ont déclaré, de diverses façons, qu’un éventail très ambitieux d’exigences en matière de surveillance avait été introduit au cours des dernières années (en raison de la Politique sur les paiements de transfert, du cycle d’examen stratégique, du rôle rehaussé que jouent les comités parlementaires, de la perception voulant que certaines exigences soient surfaites en matière de vérification interne et du processus d’évaluation du CRG). À tout cela s’ajoutent les exigences accrues de la Politique sur l’évaluation de 2009, et certains administrateurs généraux s’interrogent sur la qualité de la coordination de ces divers mécanismes qui s’apparentent à des examens.
   • Même s’il se peut bien qu’elles aient toutes un certain mérite lorsqu’il s’agit d’aider les administrateurs généraux à exercer une « saine gérance », l’idée qui en ressort est que collectivement, les activités de surveillance représentent un fardeau considérable pour les organisations. Plusieurs administrateurs généraux ont affirmé que le SCT doit prendre du recul et réexaminer la gamme complète des exigences. Dans ce contexte, il serait utile, aux fins de la fonction d’évaluation, de déterminer où l’évaluation apporte la plus grande valeur ajoutée; et de positionner l’évaluation et de mieux harmoniser les diverses activités en fonction de cet éventail plus vaste de mécanismes de surveillance qui a émergé.
2. L’exigence de couverture intégrale sur un cycle de cinq ans n’est probablement pas réalisable et ne devrait pas être la balise d’une fonction d’évaluation « efficace »
   • Certains répondants ont indiqué que leur organisation répondrait aux exigences du cycle de cinq ans de la Politique sur l’évaluation. Quelques-uns n’en sont pas sûrs et d’autres sont d’avis que ce ne serait tout simplement pas le cas. Mais la majorité s’est dite préoccupée au sujet du coût d’un cycle d’évaluation quinquennal, certains pensant que ce n’est tout simplement pas viable.
   • De l’avis d’un répondant, les ministères viseront « à produire des produits significatifs, des produits qui comptent, peu importe si le taux de couverture est de 10 % ou de 20 % ».
   • Pour la plupart des administrateurs généraux, l’exigence d’une couverture intégrale sur un cycle de cinq ans remettra en question la capacité du système, car globalement, il n’y a tout simplement pas assez d’évaluateurs qualifiés pour répondre à la demande.
3. Les coûts plus élevés de l’évaluation ne peuvent pas être absorbés, surtout en période de gel des budgets
   • Certains administrateurs généraux sont d’avis que pour répondre aux exigences du cycle quinquennal, ils consacreront trop d’argent à l’évaluation (notamment à cause de l’inflexibilité perçue de la Politique sur l’évaluation).
   • Pour l’avenir, en période de gel des budgets, certains répondants se demandent s’il est plus logique de consacrer l’argent marginal à l’évaluation ou à la mise en œuvre d’un service ou d’un programme.
   • Une partie de ce dilemme vient de la surabondance perçue de mécanismes de « surveillance ». Compte tenu des exigences qu’il a fallu respecter et des lourds investissements qu’il a fallu faire dans la vérification interne à la suite de la Politique de 2006 sur la vérification interne, certains administrateurs généraux se demandent si leur ministère peut aussi se permettre ce qu’ils perçoivent comme une fonction d’évaluation coûteuse.
4. L’inflexibilité perçue de la Politique qui vient augmenter le coût de l’évaluation. Pour certains, cela signifie également que des enjeux importants pour les ministères pourraient être négligés, ce qui réduirait l’utilité de l’évaluation pour le ministère.
   • Un certain nombre d’administrateurs généraux ont réagi négativement à ce qu’ils considèrent comme « la solution uniformisée » que propose la Politique sur l’évaluation de 2009. Leur opinion est qu’il faut plus de flexibilité sur les plans de la conception, de la détermination de la portée et de l’exécution des évaluations (particulièrement pour les « grands » programmes par rapport aux « petits » et pour les domaines qui présentent des « risques élevés » par rapport à ceux qui présentent des « risques faibles »).
   • L’opinion est que la Politique exige que toutes les composantes de programmes soient traitées de la même façon, et les répondants pensent qu’en conséquence, il y aura trop d’évaluations à réaliser et que la fonction d’évaluation sera beaucoup plus coûteuse.
   • De plus, une exigence veut que les évaluations examinent toute la gamme des « enjeux fondamentaux »; cela ne semble pas laisser de place pour l’examen des enjeux qui ne se trouvent pas sur la liste du SCT (ou de « crédit » pour leur examen) (même lorsqu’il s’agit d’enjeux qui revêtent de l’importance pour le ministère) ou les études qui ne visent pas l’ensemble des enjeux définis dans la Politique sur l’évaluation.
   • Comme on l’a déjà vu, certains administrateurs généraux estiment qu’ils ne sont pas en mesure de tirer pleinement parti du vaste éventail de connaissances et de savoir que produisent les évaluations et ils l’expliquent notamment par les exigences de la Politique. L’obligation d’évaluer tous les programmes d’un ministère sur un cycle de cinq ans ne laisse pas aux unités d’évaluation suffisamment de temps ou de ressources pour tirer les grands enseignements de multiples évaluations.
5. Le bassin d’évaluateurs qualifiés et expérimentés à l’échelle du système (les évaluateurs internes et les consultants de l’extérieur) est jugé trop limité pour répondre aux exigences accrues de la nouvelle Politique.
   • La plupart des administrateurs généraux ont parlé du déséquilibre entre la demande d’évaluateurs (qui s’est accrue en raison de la Politique sur l’évaluation de 2009) et l’offre globale actuelle. Le bassin d’évaluateurs qualifiés et de consultants de l’extérieur est trop restreint, ce qui se répercute sur la capacité de se plier aux exigences de la nouvelle Politique.
   • Plusieurs enjeux concernant les RH sont considérés comme étant de véritables défis pour la fonction d’évaluation à l’échelle du système. On les examinera de façon plus détaillée ci-dessous.

Les défis que doit relever la fonction d’évaluation en matière de ressources humaines

Les enjeux des ressources humaines (RH) et de la capacité sont revenus constamment dans les entrevues. Plusieurs aspects de la question des ressources humaines sont ressortis des discussions avec les administrateurs généraux. Même dans les organisations dont l’unité d’évaluation interne a pris de l’expansion ces dernières années (soit presque la moitié des organisations sondées), les questions suivantes soulèvent généralement des préoccupations :

• Il y a trop peu d’évaluateurs qualifiés et expérimentés à l’échelle du système
• Le recrutement et le maintien en poste d’évaluateurs qualifiés représentent des défis
• Le recrutement est souvent retardé par les longueurs du processus de dotation
• Il faut « réorienter » beaucoup d’évaluateurs internes, qui ont joué traditionnellement un rôle de « gestionnaire de l’évaluation », pour les amener à jouer un rôle plus actif d’évaluateur « sur le terrain »

Selon les répondants, pour régler ces enjeux, il faudra que le SCT prennent des mesures sur de nombreux fronts. Étant donné la nature de la formation des évaluateurs, la stratégie devra nécessairement reposer sur le plus long terme et peut-être même être à l’échelle de la collectivité. Certains pensent qu’on pourrait tirer des leçons utiles de l’expérience du BCG au moment de la constitution de la collectivité de la vérification interne.

Une question connexe concerne le recours aux consultants de l’extérieur qui feraient une partie du travail d’évaluation dans les ministères. Pour la plupart des administrateurs généraux cependant, cela ne réglerait pas le problème des RH, et ce, pour trois grandes raisons :

• Il y a trop peu de consultants « de qualité » dans le système
• Les problèmes associés au processus de passation de marchés peuvent sérieusement retarder le recours à un consultant quand on en a besoin
• Le processus de passation de marchés ne se traduit pas nécessairement par le recrutement d’un consultant « de qualité » pour telle ou telle tâche[⁵]

Une question a été posée aux administrateurs généraux au sujet d’une réflexion de la vérificatrice générale dans son récent examen de la fonction d’évaluation[⁶], qui affirme que ministères et organismes devraient avoir plus d’évaluateurs internes et moins compter sur des consultants de l’extérieur pour faire les évaluations.

Les administrateurs généraux dont les unités d’évaluation avaient pris de l’expansion ont affirmé qu’ils se proposaient de moins recourir aux consultants de l’extérieur à l’avenir, faut‑il s’en surprendre. Les autres auraient recours à des consultants selon les besoins. Ou encore, aux dires d’un répondant, « ça dépend de beaucoup de facteurs – la disponibilité de compétences spéciales, un besoin pressant de livrer la marchandise, la disponibilité d’évaluateurs internes, etc. ». En d’autres termes, tous les administrateurs généraux se proposent de continuer de faire appel à des consultants de l’extérieur quand c’est logique de le faire. Ceci étant dit, la majorité des répondants se plaint de la « qualité » inégale des consultants de l’extérieur.

Pour les administrateurs généraux, le bassin d’évaluateurs qualifiés n’atteindra pas de niveaux satisfaisants si on se contente d’ajouter des évaluateurs de l’extérieur aux évaluateurs internes. C’est pourquoi les administrateurs généraux pensent qu’un bassin insuffisant d’évaluateurs qualifiés à l’échelle du système sera un défi pour les ministères au moment de respecter les exigences de la Politique sur l’évaluation de 2009 à court terme, voire même à plus long terme.

4.3 Suggestions concernant le soutien/les améliorations que le SCT/le CEE pourraient apporter

Après avoir défini une série de défis qui se posent à la fonction d’évaluation, les administrateurs généraux ont été priés de dire quels moyens le SCT/le CEE pourraient mettre en œuvre pour appuyer le mieux possible les organisations en matière d’évaluation et en ce qui concerne les exigences accrues de la nouvelle Politique.

Voici un aperçu des suggestions des administrateurs généraux, qui sont classées selon quatre grands thèmes :

• Clarifier et/ou revoir les exigences de la Politique afin de permettre une plus grande flexibilité
• Fournir davantage de consignes et de soutien pour l’évaluation
• Assurer davantage de leadership et de visibilité pour la fonction d’évaluation
• Relever les défis des ressources humaines

Clarifier et/ou réviser les exigences de la Politique afin de permettre une plus grande flexibilité

Les administrateurs généraux consultés sont généralement d’avis que le SCT doit clarifier ses attentes au sujet de la Politique sur l’évaluation de 2009 et fournir des consignes concernant des approches d’un bon rapport coût‑efficacité pour satisfaire les exigences de la Politique.

Pour remplacer « la solution uniformisée » que propose la Politique selon la perception qu’en ont les répondants, certains administrateurs généraux ont fait les suggestions suivantes :

• S’agissant des « petits » programmes par rapport aux « gros programmes », envisager une approche en plusieurs volets (trois volets par exemple) qui reflète une gamme d’attentes, compte tenu de la complexité de la conception de l’évaluation et des méthodologies qui seront utilisées.

• Prévoir une certaine flexibilité au chapitre de l’évaluation des programmes dans le contexte de l’AAP; par exemple, autoriser des évaluations de niveau plus élevé après une analyse des risques.

• Prévoir une plus grande flexibilité dans la détermination de la portée des évaluations.

• Prévoir une plus grande flexibilité dans la détermination de la longueur appropriée du cycle d’évaluation et déterminer les priorités en fonction des risques plutôt que d’un cycle quinquennal rigide.

L’inflexibilité perçue du cycle quinquennal ainsi que la définition de ce qui pourrait constituer un bon rendement de la fonction d’évaluation dans un ministère posent problème à certains répondants. Ils ont fait remarquer qu’une analyse des risques devrait se faire au moment de la planification de la couverture de l’évaluation, comme c’est le cas avec la vérification interne. Comme l’a dit un répondant (qui était tout à fait en faveur de l’évaluation), si le « bon rendement » repose sur le respect de la couverture de 20 %, il y a de bonnes chances que l’évaluation soit moins significative pour le sous‑ministre. Ce qui compte, c’est que le ministère produise des évaluations significatives, autrement dit des évaluations qui « font une différence ».

Plus d’un répondant a mentionné qu’il y a un auditoire important au SCT lui‑même – c’est‑à‑dire les propres analystes du SCT – qui a besoin de mieux comprendre les attentes concernant une fonction d’évaluation, et la mesure du rendement en général. Une opinion partagée par plusieurs administrateurs généraux est que les analystes dans les divers secteurs du SCT ont besoin d’attentes harmonisées lorsqu’il est question d’évaluation. Et les répondants s’inquiètent du fait que ce n’est pas le cas à l’heure actuelle.

Fournir davantage de consignes et de soutien pour l’évaluation

Au‑delà de la clarification des attentes, un certain nombre d’administrateurs généraux pensent que des consignes précises et des outils fournis par le SCT faciliteraient la mise en œuvre de la Politique et en fin de compte, l’utilisation de l’évaluation. Leur impression est que de façon générale, le SCT s’est cantonné dans un rôle de « surveillance » et a fourni trop peu de soutien. Selon l’un des répondants, les ministères se sentent généralement « laissés à eux‑mêmes » lorsqu’il s’agit de la nouvelle Politique.

Diverses questions au sujet desquelles le SCT/le CEE pourraient offrir plus de soutien ont été relevées :

• des consignes sur des approches et des méthodologies d’un bon rapport coût‑efficacité pour répondre aux exigences de la Politique sur l’évaluation de 2009;
• plus de conseils/de consignes sur les normes attendues lorsqu’il s’agit de produire du travail « de qualité », notamment sur la réalisation et le processus de l’évaluation; la rédaction de rapports; le suivi des évaluations;
• des consignes sur les attentes du SCT et des approches appropriées pour la réalisation d’évaluations concernant les politiques;
• des consignes sur la réalisation d’évaluations stratégiques et horizontales;
• des conseils à l’intention des ministères sur la meilleure façon d’appliquer les pratiques de gestion de l’information afin que les connaissances générées par les évaluations soient conservées et facilement accessibles dans la mémoire institutionnelle.

Assurer davantage de leadership et de visibilité pour la fonction d’évaluation

En général, beaucoup de remarques se rapportent à l’absence ou au peu de leadership de la part du SCT en ce qui concerne la fonction d’évaluation. Selon certaines remarques très pointues, le rôle du SCT n’est « pas évident »; les ministères ne reçoivent « pas beaucoup de consignes de la part du SCT »; « il n’y a pas beaucoup de visibilité (pour l’évaluation) de la part du SCT »; et ce n’est pas le cas pour l’instant que la collectivité de l’évaluation donne l’impression d’avoir une orientation, d’avoir des directions de ses dirigeants et de faire une différence. Par contraste, la fonction de la vérification interne au gouvernement, la relation du Bureau du contrôleur général (BCG) avec le dirigeant principal de la vérification (DPV) et les ministères sont décrites comme étant « beaucoup plus solides ».

En plus des consignes proposées dans des domaines particuliers, comme ci-dessus, certaines suggestions plus générales ont été faites : les répondants sont d’avis qu’il faut un champion plus visible et proactif, qui occupe un poste de rang supérieur et qui vient du centre. En particulier :

• le SCT a besoin de faire valoir davantage l’évaluation, de jouer un plus grand rôle de leadership à l’échelle du gouvernement, de relever le profil de l’évaluation et de lui accorder une plus grande reconnaissance, comme le contrôleur général le fait pour la vérification interne;

• il vaudrait renforcer les interactions et à cette fin, cibler les rangs de la haute direction partout au gouvernement – pour mieux faire connaître et comprendre l’évaluation, expliquer pourquoi elle est importante et comment elle peut aider les administrateurs généraux. La vérification interne est « plus visible, mieux connue et (peut-être) plus appréciée »; cela ne semble pas être le cas de l’évaluation;

• le SCT a besoin de relever le profil de la fonction d’évaluation et du poste de chef de l’évaluation, comme la Politique sur la vérification interne et le BCG ont relevé le profil du dirigeant principal de la vérification (DPV) et lui ont donné plus de visibilité et une classification supérieure;

• le SCT doit se faire le champion de l’évaluation en démontrant amplement ce qui constitue une « fonction d’évaluation robuste », en faisant valoir « ce que ça signifie pour le SM »; et en expliquant « pourquoi les SM ne peuvent pas se passer de l’évaluation – parce que l’évaluation apporte un élément important à la table! » De plus, pour les praticiens, expliquer plus clairement « comment y parvenir »;

• le SCT a besoin de fournir plus de soutien et de leadership pour l’ensemble de la collectivité fédérale de l’évaluation, mettre davantage l’accent et se concentrer davantage sur le « développement de la collectivité ».

Relever les défis des ressources humaines

La quasi‑totalité des répondants a reconnu le grand défi que posent les ressources humaines (RH) dans le domaine de l’évaluation et tous les répondants avaient un commentaire ou une suggestion pour le SCT/le CEE :

• La formation en général – le SCT a besoin de jouer un rôle de leadership, puisque le défi des RH est un défi pangouvernemental. De plus, lorsqu’il s’agit de dispenser la formation nécessaire, le lien avec l’École de la fonction publique du Canada pourrait être renforcé.
• Une formation ciblée – plusieurs éléments des compétences que doit posséder un évaluateur ont été mentionnés : établissement des coûts d’un projet; rédaction des énoncés des travaux; éléments à prendre en considération dans la conception d’une évaluation; gestion de projet; et aptitudes à la communication.
• Une formation s’adressant aux utilisateurs des résultats de l’évaluation – une formation/orientation s’adressant aux cadres intermédiaires s’impose, puisque, comme l’a fait remarquer un répondant, « le SCT ne réussit pas trop bien lorsqu’il s’agit de parler d’évaluation avec les cadres intermédiaires ».
• Une optique plus générale en matière de « développement de la collectivité » – plusieurs administrateurs généraux reconnaissent que la question des RH doit être abordée dans une perspective plus générale, au-delà de la seule formation. En fait, les enjeux du recrutement et du maintien en poste sont des éléments essentiels de la constitution d’une collectivité de l’évaluation viable. Une partie du problème immédiat s’explique par le nombre croissant d’évaluateurs d’expérience qui prennent leur retraite.
• En général, les répondants estiment que le SCT a besoin d’offrir plus de soutien et de leadership à l’ensemble de la collectivité de l’évaluation.
• Le SCT devrait examiner ce qui a été fait pour d’autres collectivités fonctionnelles qui ont éprouvé des problèmes de recrutement (trop peu de professionnels) et de maintien en poste/roulement. Des approches novatrices en matière d’affectations « à l’échelle de la collectivité » seront peut-être nécessaires pour renforcer le cheminement de carrière des évaluateurs.
• Pour la collectivité dans son ensemble, il faut déployer plus d’efforts afin de mettre l’accent sur le développement de la collectivité et les occasions de réseautage et ainsi favoriser les synergies, le soutien et la capacité de partager les pratiques exemplaires parmi les évaluateurs fédéraux – exploiter diverses réunions virtuelles, des activités de réseautage, des bulletins, etc., pour créer des occasions de mobilisation et de partage de l’information à l’échelle de la collectivité de l’évaluation.
• Compétences et chef de l’évaluation – Le SCT/le CEE pourraient tirer des leçons de l’expérience du BCG au sujet du programme de perfectionnement des dirigeants principaux de la vérification (DPV); en d’autres termes, formation régulière, perfectionnement et séances de réseautage. Mais un répondant a également affirmé que la collectivité fédérale de l’évaluation peut faire du recrutement dans diverses disciplines, ce qui est un avantage. À ce titre, le SCT ne devrait pas imposer trop de restrictions, c’est‑à‑dire d’exigences formelles, qui limiteraient cette possibilité. Par ailleurs, les évaluateurs principaux devraient posséder les qualifications nécessaires.

4.4 Outils de mesure du rendement de l’organisation

Pour la majorité, mais non pas la totalité, des administrateurs généraux interviewés, « le suivi du rendement en continu » et « l’évaluation » sont deux outils de mesure du rendement des programmes d’une organisation.

Dans l’ensemble, l’information générée par le suivi du rendement en continu ne semble pas exhaustive, et même si on considère l’information générée par les évaluations, les deux outils ne donnent pas actuellement aux administrateurs généraux une image complète du rendement à l’échelle de l’organisation. La conséquence, selon un répondant, est que l’évaluation et le suivi du rendement sont des outils plus solides pour aider le SM à gérer les programmes individuellement, plutôt que pour donner une image exhaustive complète du rendement de l’organisation dans son ensemble.

Comme on l’a déjà vu, il semble que la première ronde de l’exercice d’examen stratégique ait aidé les administrateurs généraux à cerner les lacunes en matière d’information lorsqu’il s’agit de définir le « rendement » des programmes de leur organisation. Certains répondants ont dit que cela avait servi au moment de la détermination des priorités pour les évaluations futures.

En ce qui concerne les activités actuelles de mesure du rendement, de l’avis d’un certain nombre de répondants, le « suivi » du rendement en continu est entravé par les difficultés de mesurer les « retombées », d’obtenir les bonnes données rapidement et économiquement. Cela semble représenter un défi particulier pour les organisations qui ont un vaste volet de programmes de S et C, pour lesquels il peut souvent se passer à peine cinq ans entre la conception du programme et son évaluation. Ce n’est pas assez pour recueillir des données appropriées sur le rendement de certains programmes, car il faut parfois plusieurs années avant que les retombées d’un programme se matérialisent.

Les rétroactions des administrateurs généraux donnent à penser que pour un grand nombre d’organisations, le vrai défi n’est pas d’établir un cadre de mesure du rendement à proprement parler, mais plutôt de l’opérationnaliser. Certaines organisations n’ont pas tous les systèmes de mesure nécessaires pour recueillir des données et les répondants pensent également que les attentes actuelles en matière de mesure des retombées sont peu réalistes, ou, de l’avis d’un répondant, « il y encore beaucoup de phrases creuses au sujet de ce qui constitue les « retombées », de sorte que l’accent est souvent placé sur des éléments qui sont difficiles à mesurer ».

Un administrateur général dont l’organisation en est à « sa deuxième ou à sa troisième génération de rapports sur le rendement » a indiqué être encore loin d’un système de suivi du rendement pleinement fonctionnel.

Même dans les ministères dont les systèmes de collecte de données sont arrivés à maturité, la question de savoir si les gestionnaires de programmes individuels disposent ou non d’une information complète pour le suivi du rendement semble avoir des réponses variables. Certaines données sur le suivi du rendement sont peut-être facilement accessibles, mais s’il faut constituer de nouvelles bases de données (ou s’il faut faire une étude ou une enquête spéciale pour recueillir des données), les enjeux des coûts et des ressources entrent en ligne de compte; le gel des budgets constitue un défi de taille dans le contexte actuel.

Les administrateurs généraux ont affirmé que les unités d’évaluation jouent un rôle consultatif pour aider les gestionnaires de programmes à mettre sur pied des systèmes de mesure du rendement. Toutefois, compte tenu des problèmes de ressources soulevés par les répondants, les organisations auront peut-être un autre défi à relever à l’avenir : le groupe de l’évaluation aura‑t‑il les ressources nécessaires pour continuer de jouer ce rôle consultatif?

En matière d’évaluation, les rétroactions des administrateurs généraux donnent à penser qu’à cause des défis de la mesure des retombées par le biais du suivi du rendement en continu, il y aura peut-être encore des cas où ce genre d’information sur le rendement n’est pas facilement accessible à titre d’intrant du travail d’évaluation, de sorte que les évaluateurs seront obligés de recueillir les données nécessaires pour déterminer si oui ou non les retombées se matérialisent.