Cette page a été archivée.
Information archivée dans le Web à  des fins de consultation, de recherche ou de tenue de documents. Cette dernière n’a aucunement été modifiée ni mise à  jour depuis sa date de mise en archive. Les pages archivées dans le Web ne sont pas assujetties aux normes qui s’appliquent aux sites Web du gouvernement du Canada. Conformément à  la Politique de communication du gouvernement du Canada, vous pouvez demander de recevoir cette information dans tout autre format de rechange à  la page « Contactez-nous ».
2.1 Enjeux et questions d'évaluation
3.0 Constatations de l'évaluation
3.3 Rapport coûtefficacité du Programme et solutions de rechange
4.0 Résumé des conclusions et des recommandations
Annexe A – Liste des projets de SISR approuvés
Annexe B – Matrice d'évaluation du SISR du SCT
Annexe C – Modèle logique du Programme de SISR du SCT
Le présent rapport expose les constatations et les conclusions de l'évaluation du Programme de soutien d'initiatives stratégiques et de recherche (SISR) menée pour le compte du Secrétariat du Conseil du Trésor du Canada (Secrétariat). L'évaluation a été menée afin de donner suite aux exigences d'évaluation du Programme en vue de son renouvellement, conformément à la Politique sur les paiements de transfert et aux exigences du Conseil du Trésor. Le Bureau de la vérification interne et de l'évaluation du Secrétariat a lancé une fonction d'intendance au cours de l'évaluation. Les constatations de l'évaluation serviront aussi aux gestionnaires de programmes en fournissant des renseignements visant à améliorer le rendement et l'exécution des programmes. L'évaluation portait sur trois principaux éléments : la pertinence, la réussite et le rapport coût-efficacité.
Le Programme de SISR au Secrétariat est un programme de contributions à une catégorie de bénéficiaires visant à appuyer des projets spéciaux de petite envergure qui contribuent aux objectifs du Secrétariat, sans toutefois rendre un bien ou un service particulier. Il subventionne jusqu'à 50 p. 100 des coûts admissibles de projets particuliers approuvés, sous réserve d'une limite de 500 000 dollars versés au cours de la durée de l'initiative. Aucune base de financement distincte n'est prévue pour le programme. Le Programme de SISR fonctionne moins comme un programme en soi et plus comme un mécanisme permettant aux programmes en vigueur d'atteindre leurs objectifs, d'où le prélèvement du financement sur les budgets existants, ce qui exige l'obtention d'une recommandation conjointe de l'exécutif d'une direction, l'approbation financière de l'agent financier supérieur à temps plein du ministère et l'approbation du secrétaire du Conseil du Trésor.
Pendant la période d'évaluation de cinq ans (de 2003-2004 à 2007-2008), un total de 928 674 dollars a été approuvé par l'intermédiaire du Programme de SISR du Secrétariat.
La méthode d'évaluation a été conçue pour faire en sorte que le coût de l'évaluation corresponde au financement relativement modeste octroyé dans le cadre de ce programme. L'évaluation n'a donc intégré que deux éléments de preuve : l'examen des dossiers et les entrevues auprès des principaux intervenants.
Comme pour toute évaluation, les méthodes d'évaluation comportent certaines limitations. D'abord, les entrevues et l'examen des dossiers n'englobaient pas tous les projets ayant été financés dans le cadre du Programme de SISR. Des efforts ont toutefois été déployés afin de choisir les projets qui avaient représenté le pourcentage le plus élevé des dépenses du programme pendant la période d'évaluation. Les Services de conseils du gouvernement (SCG) considèrent que les dossiers choisis constituent un bon échantillon, et ils estiment qu'ils sont représentatifs des projets du Secrétariat dans le cadre du Programme de SISR.
L'insuffisance de renseignements quantitatifs constitue une deuxième limitation de l'évaluation. Les entrevues et l'examen des dossiers menés aux fins de l'évaluation constituent des sources d'informations qualitatives. Peu de renseignements quantitatifs étaient disponibles au sujet du Programme de SISR, surtout en ce qui a trait aux avantages ou aux résultats de ce dernier.
Les projets du Programme de SISR s'harmonisent avec les objectifs du Ministère et du programme. Ceux qui ont été examinés portaient sur l'exécution de recherches et la tenue d'événements sur des sujets liés aux objectifs du Secrétariat et du programme. Parmi les sujets traités dans le cadre des projets du Programme de SISR, mentionnons la gouvernance de la fonction publique, la prestation de services intergouvernementaux; l'élaboration de politiques gouvernementales comme la conception et l'administration des programmes de subventions, de contributions et d'autres formes d'aide financière et la promotion d'approches en regard de la technologie, de l'information et des services.
Le Programme de SISR satisfait aux besoins des secteurs en finançant des projets qui autrement, n'auraient pas été possibles. Les personnes interrogées ont signalé que les organismes bénéficiaires n'auraient pas exécuté les activités financées sans le Programme de SISR. De plus, le financement accordé par le Programme de SISR a suscité des discussions sur les domaines de la gestion du secteur public qui sont rarement abordés. Selon les personnes interrogées, le Secrétariat n'aurait pas eu accès aux avantages des projets sans les fonds octroyés. Enfin, les personnes interrogées ont fait remarquer que la présence d'un organisme tiers indépendant et neutre était essentielle pour atteindre les objectifs de certains projets. Ces dernières ont indiqué que le Secrétariat n'aurait pas été en mesure de mener à terme lui-même ces projets ils auraient été jugés comme biaisés. De plus, les projets financés dans le cadre du Programme de SISR ont toujours suscité la collaboration d'organismes multiples. Sans les projets du Programme de SISR, les intervenants auraient travaillé davantage en isolement.
L'examen des dossiers mené dans le cadre de cette évaluation a mis en évidence l'insuffisance d'éléments de preuve dans les dossiers du Secrétariat relativement aux avantages des projets. Les seuls renseignements ayant résulté de l'examen des dossiers, pour ce qui est des avantages de ces projets, étaient en majeure partie des renseignements sur les avantages prévus plutôt que sur les avantages concrets obtenus. Il n'est pas exigé, aux termes du Programme de SISR, de verser au dossier un bilan à l'achèvement du projet. Les avantages concrets qui échoient au Secrétariat par suite de ces projets ne sont donc pas consignés de manière courante.
Recommandation 1 : Le secteur de Programme devrait mettre en œuvre un mécanisme afin de faire en sorte que les incidences du Programme puissent être mesurées en regard des avantages concrets plutôt que des avantages prévus. Un bilan déposé à la fin du projet, par exemple, pourrait être exigé pour tous les projets du Programme de SISR. Ce bilan pourrait être un simple document d'une page à remplir à l'achèvement de chaque projet.
Les personnes interrogées estiment que le Programme de SISR a contribué à l'amélioration des politiques ou des programmes, au développement de la connaissance des questions stratégiques émergentes et au renforcement de la capacité d'analyse.
Selon les personnes interrogées, le Programme de SISR a permis d'améliorer les politiques ou les programmes dont les secteurs du Secrétariat sont responsables. Elles s'entendaient également pour dire que le Programme de SISR a permis de développer la connaissance des questions stratégiques émergentes (par exemple, la conservation des employés dans la fonction publique). Elles font remarquer que les projets du Programme de SISR ont rapproché des personnes de groupes divers qui ont pris part aux discussions et échangé des renseignements, ce qui a élargi la base de connaissances. Enfin, les personnes interrogées ont convenu que le Programme de SISR a contribué au renforcement de la capacité d'analyse en élargissant la base de renseignements des secteurs et en renforçant la capacité analytique en conséquence des projets du Programme de SISR.
Une des personnes interrogées avait de la difficulté à commenter sur la réussite du projet, indiquant que les avantages du projet étaient plus évidents pour les autres ministères que pour le Secrétariat.
Les solutions de rechange au Programme de SISR semblent peu nombreuses. Les personnes interrogées ont signalé l'insuffisance des ressources (humaines et financières) qui permettraient au Secrétariat de mener les travaux sur place. En outre, il faut dans certains cas retenir les services d'un tiers indépendant pour réussir à atteindre les objectifs du projet. Certains ont signalé des problèmes liés à la seule solution de rechange éventuelle (c.-à-d. l'impartition des travaux) qui découlent principalement du fait que, souvent, de nombreux partenaires participent aux projets du Programme de SISR offrant des avantages partagés et que les extrants ou les produits livrables des projets ne sont pas nécessairement clairs.
Les personnes interrogées estiment que le programme présente un bon rapport coût-efficacité en raison des avantages du partenariat avec d'autres organisations (c.-à-d. la mise à profit d'autres ressources). Dans la plupart des cas, le Secrétariat n'a fourni qu'une partie du financement nécessaire à l'exécution des projets. Pour les dossiers examinés, le Secrétariat a contribué de 8 p. 100 à 44 p. 100 du total des coûts des projets.
En raison de la nature du programme et de sa taille relativement modeste, son efficacité n'a pas été perçue comme étant un problème sur lequel cette évaluation devait porter. Certains renseignements relatifs à l'efficacité ont toutefois été recueillis à l'étape des entrevues. Les personnes interrogées ont été, de façon générale, positives au sujet de l'administration du programme. La plupart ont signalé que le processus de demande était simple et facile, et que les autorisations ont été accordées en temps opportun.
Quelques suggestions ont été faites pour améliorer le programme. Dans un premier temps, les personnes interrogées estiment que le Ministère devrait mieux mettre en valeur le programme.
Recommandation 2 : Le Secrétariat devrait accroître la visibilité du Programme de SISR au Ministère et veiller à ce que les employés soient au courant du programme et sachent à qui s'adresser pour obtenir de plus amples renseignements.
En outre, l'examen des dossiers mené aux fins de cette évaluation a mis en évidence le fait que les documents liés aux projets (c.-à-d. les formulaires de demande et de recommandation) n'étaient pas tous disponibles par l'entremise du gestionnaire du Programme de SISR, et comme il n'est pas nécessaire de verser au dossier un bilan à l'achèvement du projet, les avantages concrets des projets ne sont pas consignés régulièrement.
Recommandation 3 : Les documents des projets doivent être recueillis et conservés de manière plus systématique, et ils doivent être entreposés dans un lieu central.
Le présent rapport expose les constatations, les conclusions et les recommandations de l'évaluation du Programme de soutien d'initiatives stratégiques et de recherche (SISR) menée pour le compte du Secrétariat du Conseil du Trésor du Canada (Secrétariat). L'évaluation a été menée afin de donner suite aux exigences d'évaluation du programme en vue de son renouvellement, conformément à la Politique sur les paiements de transfert et aux exigences du Conseil du Trésor. Les constatations de l'évaluation serviront aussi aux gestionnaires de programmes en fournissant des renseignements visant à améliorer le rendement et l'exécution des programmes. Le Secrétariat et Finances Canada ont confié aux Services de conseils du gouvernement (SCG) le mandat de procéder à l'évaluation.
L'étude avait comme objectif d'évaluer le programme sous l'angle de la pertinence, de la réussite et du rapport coût-efficacité et de solutions de rechange. La recherche liée à cette évaluation a été menée de décembre 2008 à janvier 2009.
Le rapport d'évaluation est organisé comme suit :
Le Programme de SISR au Secrétariat est un programme de contributions à une catégorie de bénéficiaires visant à appuyer des projets spéciaux de petite envergure qui contribuent aux objectifs du Secrétariat, sans toutefois rendre un bien ou un service particulier. Il subventionne jusqu'à 50 p. 100 des coûts admissibles de projets particuliers approuvés, sous réserve d'une limite de 500 000 dollars versés au cours de la durée de l'initiative. Aucune base de financement distincte n'est prévue pour le programme. Le Programme de SISR fonctionne moins comme un programme en soi et plus comme un mécanisme permettant aux programmes en vigueur d'atteindre leurs objectifs, d'où le prélèvement du financement sur les budgets existants, ce qui exige l'obtention d'une recommandation de l'exécutif d'une direction, l'approbation financière de l'agent financier supérieur à temps plein du ministère et l'approbation du secrétaire du Conseil du Trésor
Les modalités et les conditions du programme devaient arriver à échéance le 31 mars 2008, mais elles ont été prolongées d'un an aux termes de la Politique sur les paiements de transfert en vigueur. Une évaluation sommative du programme doit être menée afin de le renouveler pour une autre période de cinq ans.
Pendant la période d'évaluation de cinq ans (de 2003-2004 à 2007-2008), un total de 928 674 dollars a été approuvé par l'intermédiaire du Programme de SISR du Secrétariat, dont 423 674 dollars ont été fournis directement par le Secrétariat. Cela représente une somme moyenne de 185 735 dollars par année attribuée aux projets. La ventilation des dépenses par année est établie au Tableau 1.
Exercice | Fonds fournis par le Secrétariat | Fonds fournis par d'autres ministères | Total des fonds fournis par le Programme de SISR |
---|---|---|---|
2003–2004 | 110 868 $ | 300 000 $ | 410 868 $ |
2004–2005 | 83 932 $ | 175 000 $ | 258 932 $ |
2005–2006 | 87 500 $ | - | 87 500 $ |
2006–2007 | 49 874 $ | - | 49 874 $ |
2007–2008 | 91 500 $ | 30 000 $ | 121 500 $ |
TOTAL | 423 674 $ | 505 000 $ | 928 674 $ |
Les fonds du Programme de SISR ont été attribués à un total de 11 projets ayant soutenu un vaste éventail d'activités. Il convient de signaler que certains de ces projets étaient pluriannuels. Les activités des projets ont le plus souvent porté sur des recherches et la mise sur pied de conseils ou la participation à ceux-ci (4 et 3 projets, respectivement). Des fonds ont également servi à donner des ateliers et des symposiums (2 projets) et des conférences (1 projet), ainsi qu'à élaborer des stratégies (1 projet). Une liste complète des projets approuvés dans le cadre du Programme de SISR pendant la période d'évaluation de cinq ans figure à l'annexe A.
Cette évaluation a été menée afin de donner suite aux enjeux et aux questions concernant l'évaluation énoncés dans la matrice qui a été mise au point aux fins de l'évaluation et qui figure au protocole d'entente conclu entre le Secrétariat, Finances Canada et les SCG.
Les questions d'évaluation examinées figurent au Tableau 2. La matrice d'évaluation complète est reproduite à l'annexe B. L'annexe C présente le modèle logique du Programme de SISR.
Enjeu de l'évaluation | Question d'évaluation |
---|---|
Pertinence |
|
Réussite |
|
Rapport coûtefficacité |
|
La méthode d'évaluation a été conçue pour faire en sorte que le coût de l'évaluation corresponde au financement relativement modeste octroyé dans le cadre du programme. L'évaluation n'a donc intégré que deux éléments de preuve : l'examen des dossiers et les entrevues auprès des principaux intervenants.
Des méthodes de recherche complémentaires ont été utilisées comme moyen d'accroître la fiabilité et la validité des renseignements et des données à recueillir. En particulier, les personnes interrogées aux fins de l'évaluation étaient celles qui étaient associées aux projets dont les dossiers devaient être examinés.
Le choix des dossiers à examiner a été influencé par la valeur en dollars des dossiers. En particulier, les SCG ont voulu choisir les dossiers qui comptaient pour la plus grande proportion des sommes dépensées par le programme pendant la période d'évaluation. Cinq projets ont donc été choisis pour en effectuer l'examen des dossiers. La valeur de ces projets totalisait 740 306 dollars, soit environ 80 p. 100 du total des dépenses de programmes au cours de la période d'évaluation de cinq ans. Ces cinq projets correspondaient aussi à quatre organismes bénéficiaires différents, dont les dépenses de chaque année étaient inclues dans l'évaluation. Ils constituent donc un échantillon raisonnable des projets actuels du Secrétariat dans le cadre du Programme de SISR car l'échantillon total de ces projets représente la majeure partie des fonds octroyés.
Un modèle d'examen des dossiers a été créé afin de recueillir les renseignements pertinents dans les dossiers des projets. Les renseignements manquants ou les renseignements additionnels requis ont été recueillis dans le cadre des entrevues menées auprès des principaux intervenants.
Un total de trois entrevues ont été menées auprès de représentants des projets choisis pour en effectuer l'examen des dossiers [1]. Toutes les entrevues ont été menées en personne. Nous avons communiqué à l'avance avec toutes les personnes interrogées afin de prévoir un moment qui leur convenait, et nous leur avons envoyé à l'avance un guide d'entrevue (consultez le guide d'entrevue à l'annexe D).
Les résultats des entrevues ont été résumés dans un modèle, puis analysés en fonction des indicateurs et des questions d'évaluation.
Comme pour toute évaluation, les méthodes d'évaluation comportent certaines limitations. D'abord, les entrevues et l'examen des dossiers n'englobaient pas tous les projets financés dans le cadre du Programme de SISR du Secrétariat. Des efforts ont toutefois été déployés afin de choisir les projets qui représentaient le pourcentage le plus élevé des dépenses de programmes pendant la période d'évaluation. Les SCG considèrent que les dossiers choisis constituent un bon échantillon, et ils estiment qu'ils sont représentatifs des projets du Secrétariat dans le cadre du Programme de SISR. Il convient de signaler qu'une entrevue n'a pas été menée concernant un projet car les personnes responsables ne travaillaient plus dans le secteur. Les résultats sont donc fondés sur des entrevues menées auprès de trois personnes qui représentaient quatre projets du Programme de SISR. Même si le nombre de personnes interrogées est limité, celles-ci représentent une très grande proportion du total des dépenses de projets, comme le précise la section 2.2.1.
L'insuffisance de renseignements quantitatifs constitue une deuxième limitation de l'évaluation. Les entrevues et l'examen des dossiers menés aux fins de l'évaluation constituent des sources d'informations qualitatives. Peu de renseignements quantitatifs étaient disponibles au sujet du programme, surtout en ce qui a trait à ses avantages ou à ses résultats.
La présente partie du rapport renferme un résumé des constatations de l'évaluation organisées en fonction des questions d'évaluation.
Conclusion : Les projets du Programme de SISR s'harmonisent avec les objectifs du Ministère et du programme. Le programme satisfait aux besoins des secteurs en finançant des projets qui autrement, n'auraient pas été possibles. Certains secteurs n'auraient pas eu accès aux avantages des projets sans les fonds octroyés.
Constatations : Les projets du Programme de SISR s'harmonisent avec les objectifs du Ministère et du programme.D'après les modalités et les conditions du Programme de SISR, les objectifs du programme consistent à :
Les projets du Programme de SISR qui ont été examinés portaient sur la recherche et la tenue d'événements sur des sujets liés aux objectifs du Secrétariat et du programme. L'examen des dossiers a porté sur des projets dans le cadre desquels sont produits des rapports de recherche et sont tenus des symposiums, des activités d'apprentissage, des ateliers, des séminaires, des conférences, des exposés et d'autres études. Les projets examinés ont souvent rassemblé un groupe d'éminents commentateurs possédant de l'expérience et de l'expertise pertinentes dans le sujet visé. Parmi les sujets traités dans le cadre des projets du Programme de SISR, mentionnons :
En outre, la documentation des projets du Programme de SISR indiquait que le programme soutient l'introduction d'idées nouvelles dans le dialogue courant sur la gestion de la fonction publique, la présentation de rapports et la prestation de services.
Les personnes interrogées estiment aussi que les projets du Programme de SISR contribuent à la réalisation des objectifs du programme. À titre d'exemple, l'une d'entre elles a fait remarquer que le Programme de SISR était un élément catalyseur de la réforme pangouvernementale et de la transition vers la gestion responsable, tandis qu'une autre a parlé du lien unissant le Programme de SISR et l'objectif stratégique du Secrétariat qui consiste à veiller à ce que le gouvernement soit bien géré, et elle a précisé que les exposés soutenus par le programme étaient source d'idées sur les bonnes pratiques de gestion et d'échange de ces idées entre les organismes.
Le Programme de SISR satisfait aux besoins des secteurs en finançant des projets qui autrement, n'auraient pas été possibles. Certains secteurs n'auraient pas eu accès aux avantages des projets sans les fonds octroyés.
Les personnes interrogées estiment que le Programme de SISR a satisfait aux besoins des secteurs, surtout parce qu'il octroie des fonds permettant d'exécuter des travaux qui autrement, n'auraient pas été possibles. Elles ont signalé que, en l'absence du Programme de SISR, des fonds n'auraient pas été obtenus pour entreprendre les projets. Comme le faisait remarquer l'une des personnes interrogées, il existe peu de discussions ou de tribunes sur la gestion de la fonction publique, et il est difficile d'amorcer le dialogue. Les projets financés dans le cadre du Programme de SISR ont aidé à financer des activités qui lancent le débat sur le sujet.
Les personnes interrogées ont déclaré que les organismes bénéficiaires n'auraient pas réalisé les activités s'ils n'avaient pas obtenu les fonds du Programme de SISR. De plus, selon les personnes interrogées, le Ministère n'aurait pas eu les mêmes avantages s'il n'avait accordé le financement. Deux des personnes interrogées dans le cadre de l'évaluation ont indiqué précisément que la présence d'un organisme tiers indépendant et neutre était essentielle pour atteindre les objectifs du projet financé. Ces dernières ont fait savoir que le Secrétariat n'aurait pas été en mesure de mener à terme lui-même ces projets car ils auraient été jugés biaisés. Aussi, les projets financés dans le cadre du Programme de SISR ont toujours suscité la collaboration d'organismes multiples. Sans le Programme de SISR, les intervenants auraient travaillé davantage en isolement.
Conclusion : Les avantages des projets ne sont pas bien étayés dans les dossiers, mais les personnes interrogées estiment que le Programme de SISR a permis d'améliorer les politiques ou les programmes, d'accroître les connaissances et de renforcer les capacités.
Constatations : Selon l'information obtenue lors de l'examen des dossiers, les avantages des projets ne sont pas bien étayés dans les dossiers. Les seuls renseignements ayant résulté de l'examen des dossiers, pour ce qui est des avantages de ces projets, étaient en majeure partie des renseignements sur les avantages prévus plutôt que sur les avantages concrets obtenus. Ces avantages prévus ont plutôt été extraits des formulaires de demande ou de recommandation dans le dossier et comprennent, par exemple :
Il n'est pas exigé, aux termes du Programme de SISR, de verser au dossier un bilan à l'achèvement du projet. Même si certains rapports de projet ont été recueillis dans le cadre de l'évaluation, il arrivait souvent qu'ils ne renferment pas de renseignements sur les avantages du projet pour le Secrétariat. Ainsi, les membres du personnel du Programme de SISR ne connaissent pas les avantages concrets de ces projets.
Recommandation 1 : Le secteur de programme doit mettre en œuvre un mécanisme afin de veiller à ce que les incidences du programme puissent être mesurées en fonction des avantages concrets plutôt que des avantages prévus. Un bilan déposé à la fin d'un projet, par exemple, pourrait être exigé pour tous les projets du Programme de SISR. Ce bilan pourrait être un simple document d'une page à remplir à l'achèvement de chaque projet.
Les personnes interrogées estiment que le Programme de SISR a contribué à la réalisation des objectifs fixés (c.-à-d. l'amélioration des politiques ou des programmes, le développement de la connaissance des questions stratégiques émergentes et le renforcement de la capacité d'analyse). La personne interrogée pour un projet a indiqué que ce dernier influait sur l'élaboration des politiques courantes et sur l'élaboration subséquente de nouvelles normes, qu'il était essentiel à l'assurance de l'harmonisation des efforts courants d'élaboration des politiques avec ceux d'autres administrations. Une autre a noté que les recommandations issues du Programme de SISR avaient fait en sorte que les intervenants avaient jugé qu'un plan d'action du gouvernement était acceptable.
Les personnes interrogées étaient aussi d'accord pour dire que le Programme de SISR a permis d'élargir la connaissance des questions stratégiques émergentes, par exemple, la conservation des employés dans la fonction publique. Les personnes interrogées ont fait remarquer que leurs projets du Programme de SISR avaient regroupé des gens de groupes divers comme des spécialistes des politiques gouvernementales, des universitaires, des représentants du secteur bénévole, des fonctionnaires et des représentants d'organismes s'occupant des politiques gouvernementales. Le regroupement de personnes d'administrations différentes participant aux discussions et échangeant de l'information élargit la base de connaissances.
Les personnes interrogées s'entendaient également pour dire que le Programme de SISR a permis de renforcer la capacité d'analyse. Elles ont indiqué que, par suite des projets du Programme de SISR, les secteurs comprenaient nettement mieux les besoins des autres administrations et la contribution qu'ils peuvent apporter à l'élaboration des politiques du gouvernement fédéral. L'une parmi elles a signalé que le secteur est mieux placé pour effectuer des analyses et formuler des recommandations aux ministres du Conseil du Trésor en raison de l'élargissement de la base d'information et du renforcement de la capacité analytique grâce aux projets du Programme de SISR. Une autre a fait remarquer qu'en regroupant des gens différents, on réussissait à établir des priorités et à cerner les points prioritaires ayant la plus grande incidence.
L'une des personnes interrogées avait de la difficulté à commenter la réussite du projet, indiquant que les avantages des projets étaient plus évidents pour les autres ministères que pour le Secrétariat.
Conclusion : Les personnes interrogées estiment que le programme présente un bon rapport coût-efficacité en raison des avantages du partenariat avec d'autres organisations, c.-à-d. la mise à profit d'autres ressources, et à cause du peu de solutions de rechange disponibles. Dans la plupart des cas, le Secrétariat a fourni une partie du financement nécessaire à l'exécution des projets. On estime que la visibilité du programme au Ministère n'est pas suffisante et que la gestion des dossiers pourrait être améliorée.
Constatations : Les personnes interrogées estiment que le Programme de SISR présente un bon rapport coût-efficacité.Même si elles n'ont pu établir le rendement en termes quantitatifs, tout indique que le programme présente un bon rapport coût-efficacité.
Les solutions de rechange au programme semblent peu nombreuses. À la question de savoir s'il existe des solutions de rechange afin de réaliser les objectifs du Programme de SISR, les personnes interrogées ont signalé que les travaux pourraient être menés sur place, mais que l'insuffisance des ressources (humaines et financières) empêche de le faire. De plus, comme nous l'avons déjà signalé, il est parfois nécessaire de recourir à un tiers indépendant pour réussir à atteindre les objectifs du projet. L'impartition a été présentée comme solution de rechange, mais les personnes interrogées n'étaient pas certaines si cette solution pouvait être retenue en raison des exigences de la Loi sur la gestion des finances publiques. Selon les personnes interrogées, les difficultés qui ont été connues avaient trait au fait que, souvent, des partenaires multiples participaient aux projets du Programme de SISR et partageaient des avantages. En outre, les extrants et les produits livrables des projets du Programme de SISR ne sont pas forcément clairs.
Le rapport coût-efficacité a été accru par le fait que le Secrétariat ne fournissait habituellement qu'une partie des fonds nécessaires à l'exécution des projets. Le Ministère s'est associé à d'autres organismes afin d'exécuter des projets, ce qui lui a permis de tirer profit d'autres ressources. Pour les dossiers examinés, le Secrétariat avait contribué de 8 p. 100 à 44 p. 100 du total des coûts du projet.
En raison de la nature du programme et de sa taille relativement modeste, son efficacité n'a pas été perçue comme étant un problème sur lequel cette évaluation devait porter. Certains renseignements relatifs à l'efficacité ont toutefois été recueillis à l'étape des entrevues.
Les personnes interrogées ont été, de façon générale, positives au sujet de l'administration du programme. La plupart ont signalé que le processus de demande était simple et facile, et que les autorisations étaient accordées en temps opportun. Par contre, les personnes interrogées ont fait part d'une amélioration qui pourrait être apportée au programme. En effet, elles estiment qu'il faudrait améliorer la promotion du programme au Ministère. Elles ont également signalé qu'il était difficile de s'informer concernant le programme. De plus, une personne interrogée a fait remarquer qu'il ne semblait pas exister de personne capable de le guider dans le processus et de répondre à toutes ses questions. Une autre personne interrogée a indiqué qu'elle avait dû se renseigner elle-même sur le programme et s'acquitter elle-même des tâches administratives. Les personnes interrogées s'entendent également pour dire qu'il faudrait augmenter la visibilité du programme au Ministère.
Recommandation 2 : Le Secrétariat devrait accroître la visibilité du Programme de SISR au Ministère et veiller à ce que les employés soient au courant du programme et sachent à qui s'adresser pour obtenir de plus amples renseignements.
En outre, l'examen des dossiers mené aux fins de la présente évaluation a mis en évidence quelques problèmes liés aux documents des projets. D'abord, les documents liés aux projets, par exemple, les formulaires de demande ou de recommandation, n'étaient pas tous disponibles par l'entremise du gestionnaire du Programme de SISR. Ensuite, comme il n'est pas nécessaire de verser au dossier un bilan à l'achèvement du projet, les membres du personnel du Programme de SISR ne connaissent pas les avantages concrets de ces projets.
Recommandation 3 : Les documents liés aux projets doivent être recueillis et conservés de manière plus systématique, et ils doivent être entreposés dans un lieu central.
Les projets du Programme de SISR s'harmonisent avec les objectifs du Ministère et du programme. Le programme satisfait aux besoins des secteurs en finançant des projets qui autrement, n'auraient pas été possibles. Certains secteurs n'auraient pas eu accès aux avantages des projets sans les fonds octroyés.
Les dossiers n'étayent pas les avantages des projets, mais les personnes interrogées estiment que le Programme de SISR a permis d'améliorer les politiques ou les programmes, de développer les connaissances et de renforcer les capacités.
Recommandation 1 : Le secteur de programme devrait mettre en œuvre un mécanisme afin de faire en sorte que les incidences du programme puissent être mesurées en fonction des avantages concrets plutôt que des avantages prévus. Un bilan déposé à la fin du projet, par exemple, pourrait être exigé pour tous les projets du Programme de SISR. Ce bilan pourrait être un simple document d'une page à remplir à la fin de chaque projet.
Les personnes interrogées estiment que le programme présente un bon rapport coût-efficacité en raison des avantages du partenariat avec d'autres organisations, c.-à-d. la mise à profit d'autres ressources et du peu de solutions de rechange disponibles. Dans la plupart des cas, le Secrétariat a fourni une partie des fonds nécessaires à l'exécution des projets. Le programme n'est pas considéré comme étant assez visible au Ministère et la gestion des dossiers pourrait être améliorée.
Recommandation 2 : Le Secrétariat devrait accroître la visibilité du Programme de SISR au Ministère et veiller à ce que les employés soient au courant du programme et sachent à qui s'adresser pour obtenir de plus amples renseignements.
Recommandation 3 : Les documents des projets devraient être recueillis et conservés de manière plus systématique et ils devraient être entreposés dans un lieu central.
Projet | Contribution du Secrétariat | Somme fournie par d'autres ministères | Contribution totale au Programme de SISR |
---|---|---|---|
Conférence nationale de 2003 | 7 500 $ | - | 7 500 $ |
Conseil national Traverser les frontières | - | 300 000 $ | 300 000 $ |
Projet de recherche de l'OCDE – Réaffectation : Le rôle des institutions budgétaires | 15 000 $ | - | 15 000 $ |
Rebâtir la confiance envers les institutions canadiennes | 25 000 $ | - | 25 000 $ |
Learning from the Best: A Program of Research and Education on "Best Practices" in Maximizing the Talents of Visible Minorities (projet du Conference Board) | 50 000 $ | - | 50 000 $ |
Association professionnelle des cadres supérieurs de la fonction publique du Canada | 13 368 $ | - | 13 368 $ |
TOTAL 2003–2004 | 110 868 $ | 300 000 $ | 410 868 $ |
Conseil national Traverser les frontières | 83 932 $ | 175 000 $ | 258 932 $ |
TOTAL 2004–2005 | 83 932 $ | 175 000 $ | 258 932 $ |
Conseil national Traverser les frontières | 25 000 $ | - | 25 000 $ |
Conseil des dirigeants principaux de l'information du secteur public | 37 500 $ | - | 37 500 $ |
Projet du Conference Board | 25 000 $ | - | 25 000 $ |
TOTAL 2005–2006 | 87 500 $ | - | 87 500 $ |
Symposium sur le partenariat à des fins publiques | 29 874 $ | - | 29 874 $ |
Conférence de Gordon Osbaldeston – novembre 2006 | 20 000 $ | - | 20 000 $ |
TOTAL 2006–2007 | 49 874 $ | - | 49 874 $ |
Gordon Osbaldeston Lecture – novembre 2007 | 30 000 $ | - | 30 000 $ |
Atelier donné en juin à l'appui des recommandations du rapport du Groupe d'experts indépendant sur les subventions et les contributions | 15 000 $ | - | 15 000 $ |
Contribution à l'élaboration d'une stratégie pancanadienne de gestion et d'identification de l'identité | 46 500 $ | 30 000 | 76 500 $ |
TOTAL 2007–2008 | 91 500 $ | 30 000 $ | 121 500 $ |
Total des paiements du Secrétariat au Programme de SISR pendant la période d'évaluation (de 2003-2004 à 2007-2008) | 423 674 $ | 505 000 $ | 928 674 $ |
Point | Question | Indicateur | Source de données / méthodologie |
---|---|---|---|
Pertinence |
Le Programme de SISR satisfait-il aux besoins des programmes du Secrétariat? |
Opinions des intervenants internes |
Entrevues auprès des intervenants internes |
Réussite | Le programme a-t-il permis d'obtenir les résultats intermédiaires indiqués dans le modèle logique? | Opinion des intervenants internes | Entrevues auprès de parties prenantes internes |
Réalisation d'un échantillon de 50 p. 100 des accords de contribution (valeurs en dollars les plus élevées) | Examen des dossiers | ||
Entrevues auprès des intervenants internes | |||
Rapport coût–efficacité | De quels « leviers » le programme a-t-il permis de profiter (c.-à-d. la proportion du financement des projets fournie par d'autres organismes)? | Valeur des investissements financiers et en nature d'un échantillon de 50 p. 100 des accords de contribution (valeurs en dollars les plus élevées) | Examen des dossiers |
Entrevues auprès des intervenants internes |
Graphique 1
Guide des entrevues pour le Secrétariat du Conseil du Trésor du Canada (Secrétariat)
Le Secrétariat du Conseil du Trésor du Canada et Finances Canada (Secrétariat /Fin) ont confié aux Services conseils du gouvernement (SCG) le mandat d'évaluer le Programme de SISR. L'évaluation vise à examiner la pertinence, la réussite et le rapport coût-efficacité du programme.
Dans le cadre de l'évaluation, les SCG mènent des entrevues auprès des principaux intervenants internes participant au programme. Les entrevues visent à mieux comprendre le programme, à recueillir de l'information en vue d'évaluer leur réussite et à cerner les améliorations à apporter éventuellement.
Les questions suivantes serviront de guide d'entrevue. Il convient de signaler que vos réponses demeureront confidentielles (seuls des renseignements généraux seront communiqués) dans tout document fourni au ministère responsable.
1. Décrivez brièvement votre rôle et votre participation au Programme de SISR.
2. Quels sont les objectifs du Programme de SISR au Secrétariat du Conseil du Trésor du Canada (Secrétariat)?
3. Le Programme de SISR satisfait-il aux besoins du Secrétariat et de votre secteur? Veuillez expliquer.
4. Le Programme de SISR a-t-il contribué à la réalisation des objectifs stratégiques du Secrétariat et des priorités pangouvernementales? Dans l'affirmative, dites comment.
5. Dans quelle mesure des organismes qui reçoivent des contributions dans le cadre du Programme de SISR auraient-ils pu exercer les activités financées s'ils n'avaient pas obtenu une contribution du Programme de SISR?
a. Quelle aurait été l'incidence sur le Secrétariat si les fonds n'avaient pas été octroyés (c.-à-d. le Secrétariat aurait-il tout de même eu accès aux avantages ou aux résultats des activités?)?
6. Le Programme de SISR a-t-il contribué à l'amélioration des politiques et des programmes dont votre secteur est responsable? Dans l'affirmative, veuillez donner des exemples précis (par exemple, les constatations de recherches et l'utilisation de ces résultats ainsi que les opinions postconférences consignées et utilisées). Sinon, pourquoi pas?
7. Dans votre secteur, le Programme de SISR a-t-il contribué à élargir la connaissance des questions stratégiques émergentes qui intéressent le Secrétariat? Dans l'affirmative, veuillez donner des exemples précis (par exemple, les résultats de recherches ainsi que les opinions postconférences consignées et utilisées). Sinon, pourquoi pas?
8. Le Programme de SISR a-t-il contribué à accroître la capacité de votre secteur à produire des analyses approfondies et pertinentes? Dans l'affirmative, veuillez expliquer et donner des exemples précis. Sinon, pourquoi pas?
9. Le Programme de SISR présente-t-il un bon rapport coût-efficacité?
10. Existe-t-il d'autres moyens de réaliser les objectifs du Programme de SISR? Dans l'affirmative, quelles sont ces solutions de rechange et présenteraient-elles un rapport coût-efficacité meilleur ou moins bon que l'actuel Programme de SISR?
11. Avez-vous des suggestions pour améliorer le Programme de SISR (c.-à-d., pour le rendre plus efficace ou pour améliorer son rapport coût-efficacité)?
12. Le Programme de SISR a-t-il exercé des incidences (positives ou négatives) non voulues? Veuillez expliquer.
13. Avez-vous d'autres observations à souligner en ce qui concerne le Programme de SISR au Secrétariat qui seraient pertinentes aux fins de notre évaluation?
Merci beaucoup d'avoir participé à notre évaluation.
1 Une des personnes interrogées représentait deux projets.
2 Secrétariat du Conseil du Trésor. Modalités et conditions du Programme de SISR.
3 Secrétariat du Conseil du Trésor. Rapport sur les plans et les priorités de 2008-2009.
Le modèle logique expose les activités, les extrants et les résultats immédiats, intermédiaires et finaux du Programme de SISR.
Les trois activités suivantes figurant au modèle logique sont financées par le Programme de SISR et réalisées par les ministères bénéficiaires :
Ces activités ont donné lieu aux deux extrants suivants :
Appelées « résultats », les incidences recherchées motivent la réalisation des activités.
Les résultats immédiats se produisent à court terme, habituellement dans l'année qui suit la réalisation d'une activité. Le modèle logique du Programme de SISR comprend les trois résultats immédiats suivants :
Les résultats intermédiaires se produisent après les résultats immédiats. Le modèle logique du Programme de SISR compte les trois résultats intermédiaires suivants :
Les résultats finaux s'inscrivent dans la foulée des résultats intermédiaires. Le modèle logique du Programme de SISR comporte les deux résultats finaux suivants :