Secrétariat du Conseil du Trésor du Canada
Symbole du gouvernement du Canada

ARCHIVÉ - Évaluation du processus des présentations au Conseil du Trésor

Avertissement Cette page a été archivée.

Information archivée dans le Web

Information archivée dans le Web à  des fins de consultation, de recherche ou de tenue de documents. Cette dernière n’a aucunement été modifiée ni mise à  jour depuis sa date de mise en archive. Les pages archivées dans le Web ne sont pas assujetties aux normes qui s’appliquent aux sites Web du gouvernement du Canada. Conformément à  la Politique de communication du gouvernement du Canada, vous pouvez demander de recevoir cette information dans tout autre format de rechange à  la page « Contactez-nous ».

5. Enjeux de l'valuation et mthodologie

Le tableau 2 prsente les enjeux de l'valuation et les questions dcoulant du modle logique labor par l'quipe charge de l'valuation. La matrice d'valuation dtaille qui prcise les indicateurs et les sources de donnes utilises pour rpondre aux questions d'valuation se trouvent l'annexe B.

Tableau 2 : Sommaire des enjeux et des questions de l'valuation
Enjeu de l'valuation Questions de l'valuation
Pertinence
  • Quel besoin le processus des prsentations au Conseil du Trsor comble-t-il?
Efficacit court terme
  • Les employs des organisations fdrales et du Secrtariat ont-ils une meilleure comprhension des lments des prsentations au Conseil du Trsor, des politiques et du processus connexes?
  • Le Secrtariat offre-t-il des services qui permettent aux organisations fdrales de faire en sorte que les bauches des prsentations soient conformes aux autorisations, aux politiques et aux orientations du Conseil du Trsor?
  • Le processus d'examen des prsentations au Conseil du Trsor mis de l'avant par le Secrtariat permet-il de s'assurer que les prsentations au Conseil du Trsor sont conformes aux autorisations et aux politiques du gouvernement?
  • Les dcisions du Conseil du Trsor sont-elles claires et conformes aux conseils, aux directives et aux recommandations fournis par les analystes du Secrtariat?
  • Des mcanismes sont-ils en place pour veiller ce que les dcisions du Conseil du Trsor soient excutes?
moyen terme et long terme
  • Quel est le niveau de qualit des prsentations au Conseil du Trsor?
  • Le processus des prsentations au Conseil du Trsor contribue-t-il faire en sorte que les programmes, les dpenses et les mcanismes de gestion du ministre ou du gouvernement soient harmoniss avec les priorits du gouvernement du Canada16?
  • Existe-t-il des facteurs qui font obstacle l'obtention de rsultats?
  • Y a-t-il eu des rsultats inattendus17?
conomie
  • Quelles ressources sont attribues au processus des prsentations?
  • Le processus est-il efficace? Que peut-on faire pour rendre le processus plus efficace?
  • Le processus des prsentations au Conseil du Trsor est-il fond sur les risques?
  • Les contribuables canadiens en ont-ils pour leur argent?

(a) Sources de donnes et mthodes

Le cadre d'valuation utilise une multitude de sources de donnes probantes et de mthodes de recherche complmentaires afin d'assurer la fiabilit et la validit des donnes. Les mthodes de recherche suivantes ont t utilises :

  • un examen de documents;
  • des entrevues avec des intervenants et des experts;
  • une sance de travail avec les secrtaires adjoints du Secrtariat et les SMA de certaines organisations fdrales (sance de travail des SMA);
  • un examen des donnes administratives, financires et statistiques;
  • un sondage administr des analystes du Secrtariat et dans des organisations fdrales.

Chacune de ces mthodes est dcrite ci-aprs de manire plus dtaille.

Examen des documents. Trois principaux types de documents ont t examins pendant l'valuation :

  • documentation gnrale sur le contexte (p. ex., documents qui dcrivent l'historique, les fondements et le cadre lgislatif ayant trait au processus des prsentations au Conseil du Trsor);
  • documents concernant le processus des prsentations (p. ex., le Guide et d'autres documents connexes, comme le Guide de survie des analystes, ainsi que l'information au sujet de comits concerns, de directions et d'autres groupes participant au processus);
  • tudes prcdentes (p. ex., recherche concernant le processus des prsentations au Conseil du Trsor, tudes internationales).

Pour la liste complte des documents, veuillez consulter l'annexe C. Il est important de noter que l'valuation n'a pas examin ni valu les prsentations au Conseil du Trsor et les prcis du point de vue de la qualit.

Entrevues. Vingt-six entrevues ont t menes (tableau 3 et annexe D). Les personnes interviewes taient notamment :

  • des analystes de programme et des analystes des CE18 :
    • les analystes de programme sont les principales personnes-ressources pour une prsentation;
    • les analystes des CE reprsentent des secteurs au sein du Secrtariat (p. ex., Direction du dirigeant principal de l'information, Secteur des services ministriels, SGD, etc.) et donnent des conseils stratgiques aux analystes de programme;
  • des reprsentants de 12 organisations fdrales qui ont soumis une prsentation au Conseil du Trsor au cours des cinq dernires annes; quatre entrevues ont t menes avec des reprsentants d'organisations fdrales qui se trouvent dans chacune des catgories suivantes :
    • frquence occasionnelle de prsentations (moins d'une prsentation par mois);
    • frquence modre de prsentations (une ou deux prsentations par mois);
    • frquence leve de prsentations (trois prsentations ou plus par mois).
  • des intervenants externes, savoir des personnes qui sont lies au processus des prsentations au Conseil du Trsor, mais qui n'y participent pas directement (p. ex., des employs du BCP et du ministre des Finances Canada).
Tableau 3 : Liste des groupes pour les entrevues
Groupe pour les entrevues Nombre d'entrevues
Total 26
Analystes de programme et analystes des CE 11
Reprsentants des organisations fdrales 12
Intervenants externes 3

Toutes les entrevues ont t menes par tlphone. Les personnes interviewes ont reu un guide d'entrevue (voir l'annexe E) avant la tenue des entrevues.

Sondage. Un sondage sur Internet a t fait auprs des analystes de programme et des analystes des CE et auprs de reprsentants d'organisations fdrales qui avaient soumis une prsentation au Conseil du Trsor au cours des cinq dernires annes. En tout, 547 personnes ont t invites remplir le questionnaire; nous avons reu 220 questionnaires utilisables, soit un taux global de rponse de 40 % (voir le Tableau 4). 19

Tableau 4 : Taux de rponse au sondage
Groupe participant au sondage Nombre total de questionnaires transmis Questionnaires reus Questionnaires limins Nombre total de questionnaires conservs Taux de rponse Intervalle de confiance
Total 547 225 5 220 40,2%  
Analystes de programme 135 60 0 60 44,4% 95% 9,5%
Analystes de CE 181 66 0 66 36,5% 95% 9,6%
Organisations fdrales 231 99 5 20 94 40,7% 95% 7,8%

Tous les analystes de programme du Secrtariat ont t invits participer au sondage. On leur a galement demand de fournir les coordonnes des personnes-ressources pour tous les analystes des CE qu'ils avaient consults afin d'obtenir des conseils au sujet des prsentations au Conseil du Trsor au cours des cinq dernires annes. En outre, on a demand aux analystes de programme de fournir les coordonnes des personnes-ressources dans les organisations fdrales (y compris le Secrtariat) qui ont soumis une prsentation au cours de la dernire anne. Les organisations fdrales ont t invites transmettre le sondage aux autres employs au sein de leur organisation qui avaient particip au processus d'examen des prsentations au Conseil du Trsor.

Les rsultats du sondage sont prsents l'annexe G.

Sance de travail avec les SMA. Une sance d'information de deux heures a t mene afin de recueillir des donnes qualitatives sur la pertinence, l'efficacit et l'conomie du processus des prsentations au Conseil du Trsor. Les secrtaires adjoints du Secrtariat et certains SMA responsables de la planification ministrielle et/ou stratgique de mme que des dirigeants principaux des finances (DPF) des organisations fdrales ont t invits prendre part. Les sujets devant tre discuts pendant la sance (voir l'annexe F) ont t transmis l'avance aux participants.

Donnes administratives, financires et statistiques. Des donnes administratives, financires et statistiques ont t recueillies afin d'valuer l'efficacit et l'efficience du processus des prsentations. L'quipe charge de l'valuation a travaill en collaboration avec le Centre des prsentations au Conseil du Trsor en vue d'examiner les donnes concernant les prsentations au Conseil du Trsor et de mieux comprendre le systme de suivi des prsentations (SSP). L'quipe a galement examin les donnes provenant de la base de donnes du Cadre de responsabilisation en gestion (CRG).

tablissement des cots. L'valuation du volet conomie ncessite une analyse des cots engags au cours du processus des prsentations. L'tablissement des cots a t entrepris; toutefois, tant donn que les cots directs lis aux prsentations au Conseil du Trsor ne font pas l'objet d'un suivi distinct, seule une approximation des efforts dploys par certains participants au processus des prsentations tait disponible. Par consquent, l'alina 6(c)(i), dans la rubrique Ressources affectes au processus des prsentations, n'tablit pas le cot estimatif du processus.

Pratique connexe l'chelle internationale : L'quipe charge de l'valuation a men un examen limit des modles de processus des prsentations utiliss dans d'autres administrations internationales21 . Compte tenu de la nature superficielle de cet examen, l'quipe charge de l'valuation ne pouvait pas tirer de conclusions sur le caractre appropri des autres modles en comparaison avec le contexte canadien. Les conclusions qui reposent sur cet examen ne sont donc pas prsentes dans le prsent rapport. Cet examen a nanmoins permis de faire ressortir des renseignements intressants. Par exemple, l'examen a rvl que le rle jou par les secrtaires adjoints du Secrtariat, savoir soumettre une prsentation d'une organisation fdrale au Conseil du Trsor, peut tre unique l'chelle internationale. Comme c'est le cas dans le modle fdral canadien, les quivalents du Secrtariat dans d'autres administrations sont responsables des fonctions logistiques et techniques pour les sessions du Cabinet, de la planification stratgique et de la planification du travail, de la prestation de conseils stratgiques, des fonctions juridiques, de certaines fonctions de surveillance et de leurs propres fonctions de gestion interne22 . Ils examinent soigneusement les documents prsents au Cabinet et s'assurent que les considrations juridiques et stratgiques ont t prises en compte dans les prsentations structures. Dans six des dix pays de l'Organisation de coopration et de dveloppement conomiques (OCDE)23 qui ont particip au sondage, l'quivalent du Secrtariat prpare une recommandation sur la faon dont la prsentation devrait tre tudie dans une runion du Cabinet. Dans ces administrations, toutefois, c'est le sous-ministre de l'organisation soumettant la prsentation, plutt que l'quivalent d'un secrtaire adjoint du Secrtariat, qui soumet la prsentation lors d'une runion du Cabinet. Les quivalents des secrtaires adjoints peuvent donc porter leur attention sur les prsentations qui sont plus stratgiques ou de nature dlicate et pour lesquelles leur recommandation va l'encontre de celle de l'organisation qui soumet la prsentation.

Renseignements supplmentaires. Une fois que les donnes ont t recueillies et analyses, nous avons relev des lacunes au niveau de l'information dans quelques domaines cls. Pour combler ces lacunes, les mthodologies suivantes ont t utilises :

  • Examen des donnes financires, statistiques et en matire de ressources humaines (RH) additionnelles - L'quipe charge de l'valuation a examin les donnes financires et en matire de RH additionnelles afin de fournir d'autres observations concernant le cot du processus des prsentations au Conseil du Trsor. Les documents concernant le camp de formation pour le secteur des programmes ont galement t examins.
  • Entrevue avec un conseiller principal du Secrtariat - L'quipe charge de l'valuation a rencontr un conseiller principal ayant une vaste connaissance et exprience du processus des prsentations ainsi que des outils et de la structure de gestion connexes.
  • Sances de travail avec les directeurs de programme - Quatre sances ont eu lieu avec le groupe des directeurs de programme (GDP) du Secrtariat en vue de valider les constatations. De plus, les secrtaires adjoints des secteurs des programmes ont examin l'bauche finale de ce rapport.
  • Entrevue avec des analystes des oprations du Systme d'information sur la gestion des dpenses (SIGD) - Les runions visaient mieux connatre et comprendre le renouvellement des systmes du Service du budget (RSSB) du Secrtariat et le travail de gestion du changement qui se produisait pendant la mise en œuvre de son SIGD.

(b) Limitations de l'valuation

chancier. Une lection fdrale a t dclenche peu aprs le lancement de l'valuation. Peu de temps aprs l'lection, le Parlement a t prorog. Ces vnements ont retard l'approbation de la tenue d'une recherche sur l'opinion publique pour l'valuation, limitant ainsi le temps disponible pour effectuer la recherche. Une autre consquence de l'lection et de la prorogation subsquente a t que l'quipe charge de l'valuation n'a pu rencontrer en entrevue les ministres du Conseil du Trsor concernant l'appui qu'ils ont obtenu dans le cadre du processus des prsentations au Conseil du Trsor.

Modle logique. Bien que l'quipe charge de l'valuation estime que le rsultat final propos du modle logique qu'elle a labor aux fins de l'valuation est une description valide de l'objet du processus des prsentations au Conseil du Trsor et, par consquent, un fondement valide pour l'valuation, il a t impossible de valider le rsultat final auprs d'un ventail reprsentatif d'intervenants.

Examen de donnes sur la mesure du rendement. Des donnes sur le rendement n'ont pas t recueillies sur tous les aspects du processus des prsentations au Conseil du Trsor. Par exemple, des donnes ne sont pas recueillies sur la mesure dans laquelle les prsentations au Conseil du Trsor soumises officiellement par les organisations fdrales sont effectivement ncessaires, ou sont conformes aux politiques et aux processus, et sur la mesure dans laquelle les dcisions refltent les recommandations contenues dans le prcis. En l'absence de ces renseignements, l'quipe charge de l'valuation n'a pas t en mesure d'valuer la qualit des prsentations et des prcis. L'valuation reposait donc plus massivement sur les donnes du sondage et des entrevues pour tablir l'efficacit du processus.

Donnes administratives. Des donnes administratives restreintes existaient au sujet du processus des prsentations et de ses rsultats. De plus, tel qu'il est indiqu dans la Vrification des congs et des heures supplmentaires du Secrtariat du Conseil du Trsor du Canada (2008)24 , certaines donnes sur les heures supplmentaires ne sont pas fiables, ce qui limite la mesure dans laquelle l'quipe charge de l'valuation pouvait utiliser ces donnes pour valuer le nombre (et les cots connexes) d'heures supplmentaires indiques par les analystes de programme relativement aux prsentations au Conseil du Trsor. De plus, d'autres donnes administratives comme le nombre de jours entre la dcision du Conseil du Trsor et la transmission de la lettre de dcision ont fournis d'autres lments probants.

Sondages et entrevues. tant donn la nature trs variable des prsentations au Conseil du Trsor, il va de soi que l'exprience du processus des prsentations diffrerait considrablement d'une prsentation une autre. Un plus grand nombre d'entrevues auraient fourni de meilleures donnes sur l'incidence des variations dans la longueur, la porte, la valeur et la complexit d'une prsentation. La mthodologie d'valuation visait combler cette limitation en invitant les employs de toutes les organisations fdrales participer un sondage sur le Web. Les rsultats du sondage ont t contre-valids avec les rponses aux entrevues.

Mthode d'tablissement des cots. Les donnes sur les cots de soutien l'tablissement complet et exact des cots de la participation du Secrtariat au processus des prsentations au Conseil du Trsor n'taient pas disponibles.

Approche guichet unique de la prestation de services. Comme le Secrtariat a recours une approche guichet unique dans laquelle les analystes de programme et leurs directeurs ou directeurs excutifs constituent le point de liaison avec les reprsentants des organisations fdrales en ce qui concerne les prsentations, l'interaction entre les analystes des CE et les reprsentants des organisations fdrales est extrmement limite. Par consquent, malgr le fait que les analystes des CE apportent une contribution et jouent un rle clair au cours du processus des prsentations aux tapes prcdant la prsentation et de l'bauche, les reprsentants des organisations fdrales ne sont peut-tre pas tout fait conscients de la porte de ce rle. Cette situation a pu faire en sorte que l'valuation soit centre dans une plus grande mesure sur les analystes de programme.

Bien que la mthodologie d'valuation comporte certaines limitations, de nombreux lments probants ont t utiliss pour tirer des conclusions au sujet du processus des prsentations au Conseil du Trsor, ce qui renforce la fiabilit et la validit des rsultats de l'valuation. Malgr les limitations, la mthodologie satisfait aux exigences de la Politique sur l'valuation du Conseil du Trsor et des normes connexes.