Nous procédons actuellement au transfert de nos services et de nos renseignements sur le Web vers Canada.ca.

Le site Web du Secrétariat du Conseil du Trésor du Canada restera accessible jusqu’à  ce que le transfert soit terminé.

Annexes - Études de cas


 

Évaluation du Programme de l'aménagement hydraulique rural
Agriculture et agroalimentaire Canada (AAC)
Décembre 2003

A. Contexte de l'évaluation
Type d'évaluation

Évaluation sommative du Programme de l'aménagement hydraulique rural (PAHR) pour la période allant d'avril 1994 à mars 2002.

Justification

L'examen du volet Environnement du Cadre stratégique pour l'agriculture, d'Agriculture et Agroalimentaire Canada (AAC) exigeait la présentation au Conseil du Trésor d'une évaluation du Programme de l'aménagement hydraulique rural (PAHR) au début 2004. Le PAHR a cessé d'exister comme tel le 31 mars 2004 et il a été intégré au Programme national d'approvisionnement en eau (PNAE). 

L'évaluation venait aussi répondre à la mise en place du Cadre stratégique pour l'agriculture (CSA) qui exige une réévaluation critique de tous les programmes existants aux fins de vérifier dans quelle mesure ils s'intègrent aux objectifs du CSA.

Détails

Entité responsable de l'évaluation : La responsabilité de cette évaluation a été confiée à l'équipe de vérification et d'évaluation d'AAC. La responsabilité de la supervision des travaux des consultants chargés de l'évaluation relevait d'un des directeurs de cette équipe.

Ressources externes : L'évaluation a été réalisée par une firme externe d'experts conseils.

Coûts : Environ 130 000 dollars, plus un ÉTP du ministère. 

Durée : Il a fallu approximativement neuf mois pour compléter l'étude, depuis la phase de planification jusqu'à l'approbation finale du rapport. 

Structure de gouvernance : On n'a pas constitué de comité directeur pour superviser le processus d'évaluation. Toutefois, le mandat de l'étude a été revu par l'équipe Environnement du conseil d'administration qui a donné son avis sur la démarche d'évaluation. Le mandat et le rapport final de l'évaluation ont été approuvés par l'équipe de vérification et d'évaluation du ministère.

B. Constatations et recommandations
Objectifs

Les objectifs de la présente étude étaient les suivants :

  • évaluer les résultats et les répercussions du Programme de l'aménagement hydraulique rural (PAHR);
  • déterminer dans quelle mesure le programme a atteint ses objectifs;
  • évaluer l'efficacité du mode d'exécution du programme;
  • déterminer dans quelle mesure les éléments du programme, à savoir le soutien financier pour l'infrastructure, le soutien financier pour les études stratégiques et les conseils techniques, ont contribué à l'atteinte des objectifs généraux du programme;
  • dégager des leçons et des pratiques exemplaires qui pourront être appliquées au PNAE.
Constatations

Les constatations ont été regroupées sous trois catégories.

Pertinence du programme : L'étude d'évaluation conclut qu'il est nécessaire que le gouvernement fédéral continue de soutenir l'approvisionnement en eau, sur le plan des infrastructures hydrauliques, des projets stratégiques et des services d'aide technique. Ces services demeurent essentiels pour encourager les producteurs moins susceptibles de vouloir adopter des solutions technologiques novatrices et à long terme de connaître et d'appliquer des approches stratégiques et des normes techniques élevées. Voici les points saillants :

  • En regard des besoins en eau du secteur, l'étude conclut que le mode de fonctionnement actuel du programme reste très bien adapté aux petites et moyennes entreprises d'élevage, mais qu'il n'a eu que des retombées limitées sur la diversification des cultures, l'augmentation de l'approvisionnement en eau et de la qualité de l'eau, de même que sur les objectifs implicites, mais connus du Programme en ce qui concerne les besoins à court terme et les besoins immédiats.
  • En regard besoins en services du secteur, l'étude conclut que les services d'aide technique du PAHR sont tout à fait pertinents quant à la réalisation des objectifs du programme, mais que les services de communications et de sensibilisation n'atteignent pas le niveau d'efficacité requis. L'équipe d'examen fait remarquer que pour de nombreux clients l'une des principales lacunes au chapitre de la pertinence du programme concernait le manque de sensibilisation.
  • En regard des besoins relatifs à un soutien public harmonisé, l'étude conclut qu'il est possible de mieux harmoniser le programme et les priorités des intervenants.

Réussite du programme : L'équipe d'examen conclut que le programme a produit une vaste gamme de retombées et qu'il a eu des répercussions positives sur la qualité de la vie rurale et la capacité des exploitations agricoles de poursuivre ou d'étendre quelque peu leurs activités. Voici les points saillants :

  • L'équipe d'examen conclut que le programme a eu d'importantes répercussions en améliorant les activités d'élevage dans les Prairies, en fournissant des outils de gestion et des processus de prise de décisions financières et en accélérant l'adoption de la technologie. Toutefois, on relève aussi que le programme n'a eu que des retombées limitées sur la croissance ou la diversification des cultures agricoles; cela est principalement attribuable au petit nombre de projets visant des systèmes d'irrigation.
  • Il existe peu de données indiquant que le programme a permis aux entreprises à valeur ajoutée et aux entreprises agroalimentaires de prendre de l'expansion ou de s'améliorer.
  • Les projets stratégiques, soutenus par des services techniques supposant un transfert de technologie et(ou) la diffusion d'information, ont des répercussions positives importantes en ce qui concerne les décisions que prennent les producteurs en matière de gestion ou d'administration financière.
  • Les projets de groupe offrent les meilleures possibilités d'assurer un approvisionnement en eau sûr, durable et à long terme.
  • Les clients et les gestionnaires s'entendent pour dire que c'est grâce aux services techniques que le programme a fini par abandonner peu à peu les projets axés sur la demande pour encourager plutôt les clients à adopter une orientation plus stratégique, et qu'il a été possible de modifier les attitudes et la culture de la collectivité agricole.

Gestion et rentabilité : Bien que la gestion du PAHR soit en général efficace, l'étude soulève cependant les points suivants :

  • Les gestionnaires auraient pu promouvoir de façon plus dynamique l'élaboration d'une stratégie intégrée pour l'aménagement hydraulique dans les régions rurales et il serait souhaitable de reprendre les processus régionaux de planification;
  • La direction aurait dû faire preuve d'un plus grand dynamisme et concevoir et mettre en œuvre une stratégie de mesure du rendement. L'étude relève aussi qu'il faudrait définir des lignes directrices claires en matière de mesure du rendement et de présentation de rapports de façon à soutenir la prise de décisions.
  • La direction aurait pu fournir plus d'orientation quant aux types de projets qui méritaient qu'on les soutienne, adopter d'autres lignes directrices et mécanismes visant à équilibrer les priorités du programme et celles des régions, améliorer le mode de collecte de l'information et de présentation de rapports et défendre plus énergiquement la nécessité d'élaborer des stratégies et des politiques concernant l'aménagement hydraulique rural et ses répercussions sur le secteur.
  • Il faut améliorer le processus de collecte de données concernant les finances et le programme.
Recommandations

Cinq recommandations ont été formulées à propos du soutien des programmes d'approvisionnement en eau par le ministère, visant la conception du programme, son modèle de gouvernance et ses futures orientations politiques. Elles sont reproduites dans l'annexe ci dessous.

Processus de mise en œuvre

Les recommandations de cette évaluation ont été soumises à l'équipe de vérification et d'évaluation du ministère, en même temps que la réponse de la direction. Cette dernière était assortie d'un plan d'action comprenant une description des mesures à prendre et un échéancier. C'est l'équipe de l'environnement qui est responsable de la mise en œuvre du plan d'action. 

Une mise à jour informelle du plan d'action a été transmise à l'équipe de vérification et d'évaluation en décembre 2004 et le rapport formel est en cours de rédaction.

C. Principaux utilisateurs de l'évaluation
Sous ministres adjoints

L'évaluation a permis de mettre en lumière les relations qui existent entre le programme et les résultats attendus du Cadre stratégique pour l'agriculture. Ceci a en retour incité les SMA responsables du programme et des finances d'améliorer l'harmonisation des ressources et permis de justifier les décisions relatives au niveau de financement de chacun des volets du nouveau programme. 

L'évaluation a aussi permis au SMA politique de comparer les résultats du programme avec les objectifs établis dans le cadre politique.

Gestionnaires supérieurs

Les résultats de l'évaluation ont aidé les gestionnaires techniques à fusionner le PAHR et le nouveau programme de façon transparente, en préservant les objectifs et l'intégrité du programme. Grâce à l'évaluation, cette fusion a pu s'effectuer de façon à éviter toute interruption des services offerts et du financement.

D. Degré d'indépendance de l'étude et caractéristiques de ses répercussions

On considère que l'évaluation a été menée de façon relativement indépendante, en s'appuyant sur le principe qu'une évaluation à 100 % impartiale est menée par une firme externe sans aucune intervention du ministère dans le processus. Néanmoins, les résultats et les recommandations de l'évaluation ont été des plus utiles, car ils venaient compléter le programme d'action du ministère et celui du gouvernement fédéral.

E. Utilité de l'étude d'évaluation
Décisions relatives à la gestion des dépenses et à l'affectation des ressources

L'évaluation a conduit à une meilleure correspondance des ressources du programme et des besoins réels de ses utilisateurs. Les principes liés au rendement des investissements mis de l'avant dans l'évaluation ont servi à répartir les ressources disponibles à la grandeur du pays et entre les trois volets PNAE.

Orientations stratégiques futures

Sur le plan de la définition des politiques à venir, l'évaluation n'a eu qu'un impact limité, mais elle a pu mettre en relief les défis auxquels l'industrie aura à faire face. Ceci a conduit à l'élaboration de la stratégie hydraulique d'AAC, qui doit alimenter la Stratégie fédérale relative à l'eau développée par Environnement Canada Environnement Canada.

Conception du programme

L'évaluation a reconnu le bien fondé du PAHR et de la correction des anomalies qu'entraîne son intégration au PNAE. Par exemple, le PAHR a distribué ses fonds de façon équilibrée entre les cinq provinces des Prairies qu'il dessert. Cette approche ne tenait pas compte de la nécessité d'ajuster la formule de financement dans des circonstances particulières ou en cas d'évolution de la situation. L'étude fait aussi ressortir la nécessité d'adopter une nouvelle approche de financement axée sur la réponse aux défis et aux occasions qui se présentent, plutôt que sur les structures administratives. 

De plus, pour donner suite à l'évaluation, on a réduit à 20 % la part du financement accordé par le programme à des fermes individuelles, comparativement aux niveaux antérieurs variant entre 40 à 50 %.

Améliorations apportées au programme

Les résultats de l'évaluation ont été utilisés pour paramétrer la mise sur pied du PNAE comme programme national débordant des Prairies. Le nouveau programme vise trois catégories de projets, visant respectivement le développement d'infrastructures à la ferme, d'infrastructures pour plusieurs utilisateurs et d'initiatives stratégiques. Conformément aux recommandations découlant de l'évaluation, le nouveau programme réduira progressivement le soutien de la première catégorie de projets pour laisser l'essentiel de cette compétence aux provinces. 

La recommandation de développer une stratégie de gestion du rendement a été intégrée au mandat du programme. Celui ci comprend un modèle logique, un cadre de gestion et de responsabilisation axé sur les résultats (CGRR) et un cadre de vérification axé sur les risques (CVR), que viennent compléter des mesures du rendement. Le développement du CGRR et du CVR a contribué à préciser la conception de ce programme et les améliorations à apporter.

Amélioration des mécanismes de reddition des comptes et des relations hiérarchiques

L'élaboration en cours du PNAE est un résultat de cette stratégie de gestion du rendement. On s'attend à ce que cette stratégie, une fois mise en œuvre, contribue de façon importante à faire la preuve des résultats qui découlent du financement et des services techniques fournis par le Programme. 

Les modifications apportées au programme ont donné lieu à la création d'un groupe de travail fédéral provincial chargé d'établir les priorités et responsable des décisions de financement. La création de ce groupe de travail a renforcé la fonction de supervision du programme et ses mécanismes d'imputabilité.

F. Répercussions imprévues de l'étude d'évaluation
  1. L'évaluation a entraîné un report de la date du déploiement du PNAE qui avait été annoncée en 2002. Sa mise en œuvre a été retardée parce que le ministère voulait attendre les résultats de l'évaluation.
  2. L'évaluation a donné lieu à une étude des modalités d'affectation des ressources au sein de ce programme, aux fins de déterminer si une autre stratégie pourrait donner de meilleurs résultats sur ce plan.
  3. L'étude a aussi incité l'élaboration d'une stratégie contre les sécheresses et d'une réponse à long terme, en collaboration avec les provinces, pour gérer les situations de sécheresse.
  4. L'évaluation a aidé à dissiper certains malentendus au sein du PAHR, à rehausser l'image du programme dans le ministère et à favoriser la participation au PNAE.
G. Principaux facteurs ayant contribué à la réussite de l'évaluation
  1. Les groupes de discussions ont réuni différents groupes d'intervenants, comprenant des partenaires des provinces, des clients, d'autres ministères du gouvernement et des spécialistes, aux fins de recueillir leur rétroaction à propos des aspects du programme qui fonctionnent bien et de ceux qui laissent à désirer. Ces informations étaient cruciales pour informer la haute direction du degré d'efficacité du programme.
  2. Comme les dossiers d'information sur le programme avaient été tenus à jour, il a été facile de fournir les données requises aux fins de l'évaluation.
  3. Les experts conseils de la firme externe qui a réalisé l'évaluation disposaient d'une connaissance pertinente du contexte du programme et ils ont été rapidement à même d'en comprendre les objectifs, les résultats attendus et la clientèle.
H. Améliorations proposées et leçons apprises

Aucune n'a été relevée.

Annexe - Programme de l'aménagement hydraulique rural

Aperçu du programme
Description

Le Programme de l'aménagement hydraulique rural était à l'origine un « programme de longue durée axé sur la demande » qui consistait à fournir des conseils techniques et du financement à des producteurs et à des groupes afin que ceux ci construisent une infrastructure hydraulique dans les entreprises agricoles et mènent des études concernant l'eau.

Créé en 1935, le programme a été révisé à plusieurs reprises au cours des 65 dernières années pour s'adapter à l'évolution des besoins du monde rural, aux circonstances, aux priorités propres aux provinces des Prairies et pour tirer parti de l'évolution de la technologie. Au fil des ans, la direction a redirigé les ressources; elles étaient au départ affectées à l'infrastructure nécessaire à l'approvisionnement des établissements agricoles et le sont désormais à des projets plus stratégiques et à l'infrastructure des groupes. Aujourd'hui, le programme est administré à Regina et est exécuté par un effectif d'environ 40 personnes, dans 22 bureaux de district. Sa clientèle cible est formée de résidents des zones rurales, incluant les agriculteurs et les éleveurs, les associations agricoles et les groupes de conservation, les communautés et les municipalités rurales, de même que les entreprises agricoles ou rurales. Le programme distribue des contributions en fonction de critères de sélection communs et il respecte des montants maximaux. En général, chaque année, des agriculteurs, des regroupements agricoles et des collectivités reçoivent de 4 à 7 millions de dollars pour réaliser de 1 500 à 2 500 projets.

Le PAHR est intégré au Programme national d'approvisionnement en eau (PNAE) depuis le 1er avril 2004.

Objectifs

L'objectif était de fournir des connaissances et de l'expertise, de même que des sources sûres d'approvisionnement en eau, comme des canalisations, de façon à soutenir le développement économique des établissements agricoles en milieu rural, en portant une attention particulière à l'expansion de l'élevage du bétail.

Budget annuel

Le financement du programme provient à la fois du budget de fonctionnement et de subventions et contributions. Son budget annuel pour 2003 2004 était de 12,1 millions de dollars répartis dans ses deux volets, Contribution (5,6 millions en financement) et Aide technique (6,5 millions en budget d'exploitation).

Recommandations découlant de l'évaluation
  1. Les futurs programmes de l'aménagement hydraulique rural soutenus par le ministère devraient envisager l'arrêt progressif du soutien aux projets d'infrastructure individuelle (exploitation agricole) d'ici 2005 06.

  2. Les programmes de l'aménagement hydraulique rural soutenus par le ministère devraient établir des critères afin de déterminer l'admissibilité individuelle au soutien d'urgence pour une infrastructure hydraulique dans le contexte de la gestion d'une sécheresse.

  3. Les futures initiatives d'aménagement hydraulique rural soutenues par le ministère devraient être conçues de façon à être concernées le moins possible par des événements qui ont des répercussions à court terme et, dans la mesure du possible, elles devraient être capables d'offrir du soutien financier pendant plusieurs années.
    a. Agriculture et Agroalimentaire Canada, en collaboration avec d'autres ministères fédéraux intéressés, devraient considérer l'établissement d'un cadre national de gouvernance hydraulique rural.
    b. Le ministère devrait établir une politique traitant de sujets tels que l'étendue à laquelle la disposition d'un accès à l'eau devrait être envisagée comme une responsabilité ministérielle pour les Canadiens.

  4. Les futurs programmes d'aménagement hydraulique rural soutenus par le ministère devraient établir une stratégie de gestion du rendement et assurer qu'un processus de collecte de renseignements sur les finances et le programme soutient cette stratégie.

Évaluation du Fonds d'innovation de l'Atlantique
Agence de promotion économique du Canada atlantique (APÉCA)
Mars 2004

A. Contexte de l'évaluation
Type d'évaluation Formative
Justification

Le Conseil du Trésor a approuvé le financement du Fonds d'innovation de l'Atlantique en mai 2001. Ce fonds de 300 millions de dollars échelonné sur cinq ans vise à accroître la capacité de la région de l'Atlantique en sciences et en technologie. Conformément aux exigences visant les programmes quinquennaux, cette évaluation formative devait être effectuée à la moitié du mandat du programme. Au moment de l'étude, il y avait eu deux séries de demandes de propositions de projet officielles (DPP) et des fonds de 294 millions de dollars avaient été engagés pour financer 102 projets.

Détails

Entité responsable de l'évaluation : Le processus a été confié en cogestion au gestionnaire de l'Évaluation et au directeur, Innovation et programmes. 

Ressources externes : Cette évaluation a été réalisée par des experts conseils d'une firme externe.

Coûts : Environ 84 000 $ pour les services de la firme extérieure. 

Durée : L'étude d'évaluation a duré moins d'une année, depuis la phase de planification jusqu'à l'approbation finale du rapport. La planification du projet, incluant l'élaboration du mandat, le processus d'appel d'offres et l'évaluation des soumissions, a duré quatre mois (printemps et été 2003); la réalisation du projet, depuis l'embauche des consultants jusqu'à la remise du rapport final, a duré six mois (de septembre 2003 à février 2004); et l'approbation finale du rapport a pris six semaines (en février et mars 2004).

Structure de gouvernance : Un comité directeur s'est chargé de la supervision des travaux d'évaluation. Ce comité était composé de membres du personnel du ministère, dont des cadres intermédiaires des programmes et de l'évaluation, de même que de représentants de la plupart des régions de l'Atlantique. Ses membres ont été tenus informés des travaux tout au long de l'évaluation, ils ont participé à la révision des outils de collecte de données et ils ont assuré un encadrement continu de l'équipe d'évaluation. L'équipe a travaillé en collaboration avec des consultants de l'externe chaque fois qu'il a fallu résoudre un problème. Les autres intervenants ont été tenus informés tout au long du processus.

L'évaluation a été approuvée par le comité de révision, par le comité de vérification et d'évaluation de l'Agence, qui est composé de membres de l'équipe de direction et présidé par le sous ministre, et par des représentants du BVG.

B. Constatations et recommandations
Objectifs
  1. Examiner la progression du FIA jusqu'à aujourd'hui.
  2. Tabler sur les éléments qui fonctionnent particulièrement bien.
  3. Déterminer les aspects susceptibles d'amélioration.
Constatations

Les principales constatations touchaient les aspects de la pertinence, de la mise en œuvre et du rapport coût efficacité.

  • Pertinence : L'étude conclut que le FIA est un bon modèle et qu'il répond à un réel besoin. Le processus de demandes de propositions de projet (DPP) mène à la sélection de projets qui répondent nettement aux critères essentiels du programme et satisfont un besoin réel des requérants. Le programme permet de combler une lacune dans la région de l'Atlantique.
  • Mise en œuvre : l'équipe d'évaluation a souligné quelques aspects de l'exécution du programme susceptibles d'amélioration, particulièrement sur le plan des délais d'approbation et de financement des projets et des niveaux de service fournis par les gestionnaires de compte, mais elle n'a pas constaté d'efforts soutenus pour combler les principales lacunes. 
  • Succès et rapport coût efficacité : Bien que le FIA n'existe que depuis très peu de temps, il appert déjà qu'il donne un excellent rapport coût efficacité. Chaque dollar investi par le FIA dans divers projets entraîne l'investissement d'une somme additionnelle de 1,14 $. Le programme renforce les liens au sein du réseau de l'innovation de la région de l'Atlantique et il fait la promotion de la recherche concertée et de la mise en marché des technologies. En outre, il semble contribuer au développement et à la mise en marché de nouveaux produits, procédés et services.
Recommandations

Seize recommandations ont été formulées, touchant les aspects ci dessous.

  • Pertinence et poursuite du programme. On recommande le financement du FIA soit reconduit quand il sera échu et que l'APÉCA continue de surveiller de près les lacunes que visent le FIA et de l'adapter aux besoins du Canada atlantique.
  • Conception et exécution du programme. On recommande que l'APÉCA conserve les méthodes clés de la prestation des services du programme, notamment en continuant de retenir les projets fondés sur le partenariat et la collaboration, et en continuant d'utiliser le processus de DPP, qui prévoit un conseil d'administration pour l'examen et la recommandation des propositions représentant les meilleurs projets pour l'ensemble de la région atlantique dans tous les secteurs.
  • Améliorations à apporter au programme. L'évaluation a mis en relief plusieurs aspects nécessitant des améliorations sur les plans des délais d'étude et d'approbation des projets, de l'efficacité et des communications.
  • Reddition de comptes et relations hiérarchiques. On recommande que les rôles et les responsabilités de toutes les personnes qui participent au processus d'examen des propositions, de même que les délais de traitement des propositions, soient consignés et communiqués clairement.
Processus de mise en œuvre

Le comité d'examen de l'Agence a approuvé le rapport final l'évaluation et il a entériné ses recommandations. 

Conformément aux normes de fonctionnement habituelles de l'APÉCA, on a élaboré un plan d'action officiel pour encadrer le suivi des recommandations de l'évaluation. La responsabilité de l'exécution de ce plan d'action relève du Secrétariat du FIA. Selon les règles de fonctionnement habituelles de l'APÉCA, le comité d'examen de l'Agence doit surveiller de façon périodique l'exécution du plan d'action. Ce comité se réunit trois ou quatre fois l'année. Le plan d'action documente de façon précise les mesures à prendre en regard de chacune des recommandations, en désignant le gestionnaire responsable et en indiquant une date d'échéance.

L'Agence est allée de l'avant pour toutes les recommandations. Bon nombre de ces recommandations indiquaient que le FIA devait poursuivre la mise en place des pratiques et des améliorations introduites après la première ronde de constatations et qu'il n'y avait plus de modifications importantes à apporter au programme.

C. Principaux utilisateurs de l'évaluation
Gestionnaires de programme

Ils ont utilisé les résultats de l'évaluation dans le cadre de la gestion courante du programme.

SM et président

Les résultats de l'évaluation ont été présentés et ils ont fait l'objet de discussions au sein du comité exécutif. Ils ont été fort utiles pour étayer les décisions relatives à la poursuite du financement du programme et de sont éventuelle réorientation stratégique.

Ministres

L'évaluation a servi de base à un mémoire au Cabinet (comité chargé des affaires intérieures) qui a permis d'obtenir l'approbation politique du renouvellement du programme.

Conseil du Trésor

L'évaluation a servi à étayer une demande au Conseil du Trésor visant à faire reconduire les modalités d'exécution du programme pour une nouvelle période de 5 ans. Elle a aussi permis de démontrer au CT qu'une évaluation sommative n'était pas nécessaire à la fin du premier mandat de 5 ans, étant donné que l'évaluation informative avait permis de dégager des résultats préliminaires et qu'il était préférable de reporter l'évaluation sommative pour disposer d'un intervalle de temps suffisant pour mettre en perspective les résultats à moyen et à long terme.

Intervenants de l'extérieur

Les clients institutionnels, comme les universités et les organisations de recherche, ont participé activement à la phase de cueillette des données par le biais d'enquêtes et d'entrevues. La rétroaction fournie par ces intervenants à propos de l'efficacité et de l'exécution du programme a été fort utile pour apporter des ajustements requis pour répondre à leurs attentes.Le sommaire de l'évaluation est aussi disponible pour le grand public sur le site Web de l'APÉCA

D. Degré d'indépendance de l'étude et caractéristiques de ses répercussions

Le recours à une firme externe de consultants réputée pour son expertise en matière d'évaluation de programmes de recherche et de développement a été perçu comme un facteur clé pour garantir l'impartialité de la méthodologie utilisée.

E. Utilité de l'étude d'évaluation
Généralités

On considère que l'étude s'est révélée particulièrement utile sur le plan d'une confirmation de la valeur et du bien fondé de programme. Elle a aussi permis de vérifier que des améliorations apportées au cours des dernières années avaient bien eu les résultats escomptés.

Pertinence

Les conclusions fondamentales de l'étude établissent que le programme demeure pertinent et qu'il répond encore à un besoin dans la région de l'Atlantique. Elles confirment aussi que les modalités de prestation du programme sont adéquates et qu'il convient de les maintenir. Pour les gestionnaires du programme, ces indications fournissaient la preuve que le programme est engagé sur la bonne voie et qu'aucune modification d'importance n'est actuellement requise. Cette validation était particulièrement rassurante, car le FIA constituait un modèle relativement nouveau d'encouragement des projets de recherche et développement et de la commercialisation des nouvelles technologies et que le programme ne s'inscrivait pas dans les mesures que gère habituellement APÉCA.

Décisions relatives à la gestion des dépenses et à l'affectation des ressources

On s'est aussi servi de cette étude pour étayer une demande au Conseil du Trésor aux fins de reconduire le programme pour un autre mandat de 5 ans, avec un budget global de 300 millions de dollars. On a donc donné suite à la recommandation principale selon laquelle l'agence devrait requérir un renouvellement du financement au delà de l'exercice en cours (2005 2006). En 2005, le FIA fonds a été reconduit, sans modification sensible des modalités du programme, et doté d'un autre budget de trois 300 millions de dollars étalés sur cinq ans. Cette décision a été perçue comme un indicateur de la réussite de ce programme et comme la reconnaissance du fait que le Fonds constitue un bon modèle de programme qui répond aux besoins actuels de la région de l'Atlantique.

Améliorations apportées au programme

L'étude a confirmé l'adéquation du modèle mis en œuvre par APÉCA pour la prestation de services du programme; il s'agissait d'une indication importante pour le ministère, car c'était le premier programme de ce type que gérait l'Agence. Le rapport d'évaluation a formulé des recommandations visant des améliorations à apporter aux modalités de la prestation du programme, particulièrement pour ce qui touche aux processus de révision et d'approbation et aux communications avec les intervenants. Les directeurs du programme et les coordonnateurs régionaux s'affairent maintenant à améliorer l'efficacité et l'efficience de la prestation de services, à mettre en œuvre de nouvelles pratiques, comme des études de l'état de préparation, et à faire en sorte d'informer plus rapidement les postulants dont le projet a été refusé.

Reddition de comptes et relations hiérarchiques

Trois recommandations portaient sur la surveillance en continu du rendement et des répercussions du programme, particulièrement pour les aspects touchant l'accroissement de la capacité et des activités en recherche et développement, la promotion de la collaboration au niveau de la recherche et de la commercialisation des technologies, de même que le développement de nouveaux produits, services et processus. L'agence a aussi travaillé à renforcer son approche pour la collecte des données. Le modèle logique et le CGRR du programme ont été revus et la stratégie de collecte des données a été remodelée.

F. Répercussions imprévues de l'étude d'évaluation
  1. Examen des résultats précoces du programme. Bien qu'il s'agissait en principe d'une évaluation formative – initialement conçue pour se pencher sur les processus et la qualité de l'exécution – le projet était suffisamment avancé pour qu'il soit possible d'en évaluer aussi les premiers résultats. Au moment de procéder à l'analyse, le programme venait de compléter sa deuxième série d'octrois de subventions. D'après la rétroaction et les activités entreprises au cours de la première série d'octrois de subventions, on avait déjà procédé à des réaménagements en vue de la deuxième série. L'évaluation a donc été en mesure de conclure que ces changements avaient eu un impact positif sur l'exécution du programme.
  2. Report de l'évaluation sommative prévue au terme du mandat de cinq ans. L'équipe de l'étude est aussi arrivée à la conclusion qu'il serait prématuré d'entreprendre une évaluation sommative dès la fin du mandat en cours, car les répercussions à long terme du programme (accroissement du volume de commercialisation des nouvelles technologies; croissance économique dans les secteurs stratégiques; accroissement du taux de productivité ou de compétitivité des industries axées sur les ressources; renforcement, durabilité et reconnaissance des systèmes et de la capacité d'innovation de la région; et accroissement du nombre d'emplois et des revenus) ne seront perceptibles qu'au bout d'un certain nombre d'années. Il a été plutôt recommandé que l'APÉCA instaure des mesures qui lui permettront de surveiller l'évolution de ces répercussions.
  3. Meilleure appropriation du CGRR dans le cadre des programmes. Le personnel chargé du programme à participer de façon directe aux processus d'évaluation, ce qui a permis aux responsables du programme de mieux comprendre la logique et les implications du Cadre de gestion et de responsabilisation axé sur les résultats (CGRR). Le personnel du FIA a ainsi pu mieux s'approprier le CGRR et il l'a modifié pour l'adapter aux spécificités de son propre programme et aux résultats désirés.
  4. Meilleure compréhension de la valeur de la fonction d'évaluation. Les relations de travail étroites entre le personnel du programme et l'unité d'évaluation ont amélioré la perception et la compréhension du rôle de conseiller de cette dernière, et elles ont favorisé une reconnaissance accrue du fait que la participation à une évaluation peut avoir sur certains types de projet des répercussions tout à fait positives.
G. Principaux facteurs ayant contribué à la réussite de l'évaluation
  1. Qualification des ressources externes. Le ministère a choisi de faire appel à une firme de l'extérieur parce qu'il ne disposait pas des ressources et de l'expertise pour réaliser à l'interne une évaluation d'un programme de recherche et développement de cette nature et de cette envergure. L'exécution d'un tel programme constituait une première expérience pour l'Agence et le ministère voulait s'en remettre à l'évaluation d'experts de ce type d'environnement. La firme retenue disposait d'une grande expérience et de solides connaissances dans le domaine, de même que de qualifications sur le plan de la gestion de projets. Le ministère considère que ce choix a constitué un facteur important pour assurer un déroulement sans heurt du processus d'évaluation.
  2. Méthodologie exhaustive d'évaluation. La rigueur de l'évaluation reposait sur une approche multiméthodes de collecte des données, comprenant une revue de documentation, un examen de la base de données du programme, des enquêtes et des entrevues. On pense que l'inclusion dans l'échantillon de projets subventionnés et de postulants dont le projet avait été refusé a contribué à dresser un meilleur portrait des forces et des faiblesses du programme.
  3. Relations de participation entre l'équipe d'évaluation et le personnel du programme. L'unité d'évaluation et l'équipe du projet ont conjointement géré le processus d'évaluation. Cette collaboration étroite a favorisé des communications soutenues tout au long des travaux et elle a contribué au déroulement sans heurt, ni surprises, de l'évaluation.
H. Améliorations proposées et leçons apprises en vue de futures études d'évaluation
  1. Disponibilité et intégrité des données. Pour être en mesure de corroborer les constatations de l'étude d'évaluation, il est essentiel de disposer de données fiables. Il faut donc absolument adopter une stratégie de cueillette continue de l'information qui tient compte de l'intégrité, de l'exhaustivité et de la propriété des données.

Appendix - Fonds d'innovation de l'Atlantique

Aperçu du programme
Description

Le Fonds d'innovation de l'Atlantique, un fonds de 300 millions de dollars échelonnés sur cinq ans (exercices 2001 2002 à 2005 2006), vise à accroître la capacité de la région de l'Atlantique en sciences et en technologie. Son objectif ultime consiste à accélérer le développement économique de la région de l'Atlantique en favorisant de développement d'une industrie axée sur le savoir. 

Le FIA constitue l'un des volets du Partenariat pour l'investissement au Canada atlantique (PICA), une initiative de 700 millions de dollars échelonnée sur cinq ans que le premier ministre a annoncée en 2000, pour aider les Canadiens et les Canadiennes de l'Atlantique à innover et concurrencer dans le contexte de la mondialisation de l'économie savoir. Le PICA prévoit une série d'investissements équilibrés dans les domaines de l'innovation, du commerce, de l'investissement, de l'entrepreneurship, du perfectionnement des compétences en affaires et du développement économique des collectivités. Il s'inscrit dans la stratégie de développement économique à long terme du gouvernement du Canada pour la région – une stratégie qui amalgame les forces économiques historiques et les nouvelles ressources, en mettant davantage l'accent sur l'innovation.

Objectifs
  1. Accroître l'innovation et la recherche-développement (R. D.) et perfectionner les compétences en la matière pour appuyer le développement de technologies, de produits, de processus ou de services qui favorisent la croissance économique dans la région de l'Atlantique;
  2. accroître la capacité de commercialisation des résultats de la R. D.;
  3. renforcer la capacité d'innovation de la région en appuyant la recherche, le développement et les partenariats ainsi que les alliances de commercialisation entre les entreprises du secteur privé, les universités, les établissements de recherche et d'autres organismes du réseau d'innovation dans la région de l'Atlantique, et accroître la masse critique de ces derniers; 
  4. maximiser les avantages des programmes nationaux de R. D.
Exécution du programme

Le cadre d'exécution du FIA comprend un processus de demande de propositions de projet (DPP), qui permet aux clients institutionnels, comme les universités, les collèges, les organisations de recherche et les firmes privées de la région de l'Atlantique, de soumettre des propositions additionnelles de recherche. Un comité consultatif du secteur privé examine ces propositions et formule des recommandations. Un gestionnaire de compte de l'APÉCA est affecté à chaque projet soumis. C'est le Secrétariat du FIA qui se charge de l'évaluation du projet, de sa gestion quotidienne, de son administration et de la surveillance de son rendement pour faire rapport au FIA.

Financement annuel

Engagement de 294 millions de dollars sur deux ans, pour des projets dont la durée varie entre un an et cinq ans.

Un ÉTP annuellement, pour gérer les quelques 40 directeurs de compte du programme.

Recommandations découlant de l'évaluation
  1. L'APÉCA devrait demander au CT de renouveler le financement du FIA quand il sera échu. Elle doit par contre continuer de surveiller de près les lacunes que visent le FIA et continuer de l'adapter aux besoins du Canada atlantique en fonction des objectifs fixés.

  2. Indépendamment des recommandations visant l'amélioration du processus, APÉCA devrait continuer d'utiliser le processus de DPP, qui prévoit un conseil d'administration pour l'examen et la recommandation des propositions. Elle devrait aussi continuer de choisir les meilleurs projets pour l'ensemble de la région atlantique dans tous les secteurs.

  3. L'APÉCA devrait continuer de surveiller de près le créneau visé par le FIA dans la région de l'Atlantique, en comparaison avec d'autres programmes, afin de s'assurer qu'il continue d'être pertinent et de combler une lacune réelle. 

  4. L'APÉCA devrait donc tenter de réduire le temps qu'il faut pour étudier et approuver les propositions, tout en assurant la diligence raisonnable.

  5. S'il est impossible de réellement réduire le temps requis pour l'étude et l'approbation des projets, APÉCA doit alors communiquer clairement les délais à prévoir à tous les intervenants.

  6. Le Secrétariat du FIA devrait continuer de bâtir un réseau d'examinateurs scientifiques et techniques et de fournir aux agents d'affaires l'information pertinente pour qu'ils puissent choisir les examinateurs qui conviennent le mieux aux propositions reçues.

  7. Le processus gagnerait à être plus transparent grâce à des communications soutenues avec tous les intervenants.

  8. Les rôles et les responsabilités de toutes les personnes qui participent au processus d'examen des propositions devraient être consignés et communiqués clairement, par souci d'uniformité.

  9. Le FIA devrait continuer l'excellent travail entamé au chapitre de l'amélioration des processus d'exécution, au besoin.

  10. À l'avenir, toutes les décisions qui seront prises par suite de consultations devraient être communiquées aux intervenants.

  11. L'APÉCA devrait surveiller l'efficacité de ses outils de suivi.

  12. Compte tenu du calendrier global du FIA et des projets soumis, les responsables du programme devraient réexaminer les stratégies de mesure et d'évaluation énoncées dans le Cadre de gestion et de responsabilisation axés sur les résultats du FIA, car il est peut-être trop tôt pour la tenue d'une évaluation sommative. Il serait peut-être préférable d'attendre à la fin de la période de financement actuelle.

  13. Les responsables du FIA devraient continuer d'essayer de choisir surtout les projets qui ont un effet de levier et qui reposent sur des partenariats ou des efforts concertés, contribuant ainsi à la rentabilité du programme.

  14. Les responsables du FIA devraient continuer de surveiller son incidence en ce qui concerne l'augmentation de la capacité et des activités de R. D.

  15. Les responsables du FIA devraient continuer de surveiller son incidence en ce qui concerne l'atteinte de cet objectif.

  16. Les responsables du FIA devraient aussi continuer de surveiller son incidence en ce qui concerne l'atteinte de cet objectif.

Évaluation du Programme canadien sur les crimes de guerre
Citoyenneté et Immigration Canada
Septembre 2001

A. Contexte de l'évaluation
Type d'évaluation

Évaluation sommative

Justification

En 1998, le gouvernement canadien a approuvé la mise en œuvre du Programme sur les crimes de guerre pour une période initiale de trois ans, après quoi une évaluation sommative devait être effectuée, soit en 2000 2001*.

(* Cette évaluation a toutefois été reportée à la fin de la troisième année, en raison de la non disponibilité de certaines données.)

Détails

Entité responsable de l'évaluation : L'unité de l'examen ministériel de CIC, en collaboration avec la Section des crimes de guerre contemporains de CIC, la section des crimes de guerre au sein du ministère de la Justice et la GRC. 

Ressources externes : Les travaux ont été effectués par une firme de l'extérieur. Coûts : Environ 107 000 $, incluant les frais de déplacement et la TPS. 

Durée : Moins d'une année. L'exécution du projet, depuis l'embauche des consultants jusqu'au dépôt du rapport préliminaire, a pris quatre mois (de mai à septembre 2001).

Structure de gouvernance : Il n'y a pas eu de comité directeur ou consultatif. L'ensemble du projet (incluant les relations avec le personnel du programme) a été géré par l'unité de l'examen ministériel de CIC. Les membres du personnel du programme, au sein des trois organismes, ont aussi participé au processus, notamment au cours de la phase de planification, pour identifier les principaux intervenants à interviewer, et en donnant leur avis sur le déroulement du projet et sur les rapports intérimaires.

B. Constatations et recommandations
Objectifs

L'évaluation visait à déterminer l'efficacité générale du Programme canadien sur les crimes de guerre, ainsi que les résultats internes et externes obtenus, en répondant à des questions relatives à sa pertinence, sa conception, son exécution et sa réussite.

Constatations

Le rapport d'évaluation expose des constatations portant sur la pertinence, la conception, l'exécution et le degré de réussite du programme canadien sur les crimes de guerre. Voici quelques uns des principaux points relevés.

  • Pertinence et raison d'être : L'étude conclut que la raison d'être fondamentale du programme et sa pertinence sont confirmées, tant pour le volet relatif à la Seconde Guerre mondiale que pour celui touchant les crimes de guerre contemporains, et que l'on s'entend sur la nécessité de poursuivre le programme.
  • Conception du programme : La structure de base du Programme canadien sur les crimes de guerre, regroupant plusieurs organismes sous la coordination d'un groupe central, joue adéquatement son rôle. Le Groupe interministériel des opérations (GIO), créé en 1998, pour servir de mécanisme principal de coordination de la réponse des trois organismes partenaires face aux cas qui se présentent. On a toutefois constaté que le GIO était moins efficace sur le plan de la coordination politique, notamment sur le plan des décisions quant aux mesures à prendre à l'encontre des personnes qui ont commis un crime de guerre (p. ex. poursuites judiciaires ou renvoi du Canada). 
  • Exécution du programme et efficacité opérationnelle : L'étude conclut qu'en quatre ans d'existence, le Programme canadien sur les crimes de guerre a permis au personnel de CIC de mieux tirer parti des cours de formation, lignes directrices, outils, renseignements et données disponibles. L'évaluation a aussi relevé l'impression de certains qu'il y avait double emploi des ressources et chevauchement, en particulier dans les fonctions de recherche.
  • Réussite du programme et résultats : Les premiers résultats statistiques de l'analyse du programme démontraient une tendance encourageante, bien que les données étaient insuffisantes pour tirer des conclusions définitives. Beaucoup d'intervenants croient qu'une seule poursuite engagée au Canada à l'égard d'un cas de crime de guerre contemporain aurait sur l'opinion nationale et internationale un impact qui pourrait produire un effet dissuasif et réduire le nombre de présumés criminels de guerre cherchant refuge au Canada.
Recommandations

Le rapport d'évaluation ne comportait pas de recommandations spécifiques visant à améliorer le programme, mais ses conclusions suggèrent quelques aspects susceptibles d'amélioration. Plusieurs de celles ci visent particulièrement la conception et l'exécution du programme. En voici quelques exemples.

  • Renforcer le rôle du Groupe interministériel des opérations sur le plan stratégique.
  • Accroître la coopération et la coordination entre les sections des crimes de guerre du ministère de la justice et de la GRC, pour être mieux à même de traiter les cas de crime de guerre contemporain.
  • Accroître la fréquence, la qualité et l'opportunité des interventions du CIC faites au nom du ministre devant la Commission de l'immigration et du statut de réfugié.
  • Augmenter les ressources affectées à la coordination et à la diffusion des renseignements, ainsi qu'aux enquêtes et à la préparation des cas de crimes de guerre contemporains devant faire l'objet de poursuites. On a précisé qu'il s'agissait là d'un enjeu d'importance capitale, compte tenu des hauts niveaux d'activité et de l'importance des objectifs du programme, tant au Canada qu'à l'étranger.
Processus de mise en œuvre
  1. L'évaluation a été approuvée par le Comité exécutif à l'automne 2001. Le rapport d'évaluation comprenait une réponse de la haute direction. De façon générale, les partenaires étaient d'accord avec les constatations faites au cours de l'évaluation et ils entendaient vont œuvrer dans le but d'aborder les enjeux soulevés par les évaluateurs. 
  2. Bien qu'il n'y ait pas de plan d'action officiel pour le suivi des résultats, les trois partenaires travaillent de concert pour apporter des améliorations dans différents secteurs d'activité. Plus particulièrement :
  • La Direction des crimes de guerre de CIC et la CISR se sont mis d'accord sur un mécanisme à participation nationale et régionale dans le but d'identifier les enjeux d'intérêt et d'y répondre d'une façon plus rapide et efficace;
  • La GRC et le Ministère de la Justice ont élaboré une nouvelle approche intégrée pour les enquêtes et les poursuites pour crimes de guerre et s'affairent à la mettre en place. Cette nouvelle stratégie se base sur les principes de l'approche de la gestion des causes majeures qu'utilise la GRC dans les enquêtes complexes. Le personnel de la GRC et celui du Ministère de la Justice ont suivi ensemble une formation sur la mise en pratique de ces techniques d'enquête dans le cas des crimes de guerre.
C. Principaux utilisateurs de l'évaluation
Programmes

Les résultats de l'évaluation ont servi au personnel du programme dans les trois organisations partenaires pour identifier les volets à améliorer, particulièrement pour ce qui touche à la conception et à l'exécution du programme.

Ministres et membres du Parlement

L'évaluation a permis de justifier le programme et d'étayer le mémoire présenté au Cabinet en novembre 2001 pour requérir la poursuite de son financement.

Conseil du trésor

Les résultats de l'évaluation ont aidé à organiser les présentations régulières au CT, de 2003 à 2005, pour que soient accordés les fonds approuvés en 2001.

Intervenants

L'évaluation a été largement diffusée auprès des intervenants du Canada et de l'étranger. Les gouvernements d'autre pays se sont montrés particulièrement intéressés par l'approche interministérielle mise en place au Canada, et l'évaluation est venue confirmer à leurs yeux qu'il s'agissait d'une pratique exemplaire en la matière.

D. Degré d'indépendance de l'étude et caractéristiques de ses répercussions

Plusieurs facteurs ont favorisé un haut niveau d'objectivité de l'évaluation.

  1. Recours à des professionnels d'une firme extérieure pour effectuer l'évaluation, y compris la collecte des données et les entrevues. 

  2. Une représentation équilibrée des perceptions du programme, grâce au vaste échantillon de répondants, comprenant des pairs à l'étranger qui travaillent dans les domaines de l'immigration, du maintien de l'ordre, de la sécurité et du droit international humanitaire; des représentants des organismes canadiens et internationaux des droits de la personne ou des milieux universitaires travaillant dans le domaine des droits de la personne; et des représentants d'organisations non gouvernementales qui représentent ou servent des groupes comprenant des victimes et de présumés criminels.

  3. Une bonne représentation de la perception interne du programme, par le biais d'entrevues avec le personnel du programme dans les trois organismes partenaires.

E. Utilité de l'étude d'évaluation
Généralités

Les constations de l'évaluation ont été utiles au personnel des trois organismes partenaires pour identifier les volets susceptibles d'amélioration.

Pertinence

L'évaluation est venue confirmer la raison d'être fondamentale du programme et sa pertinence pour les années à venir, tant pour le volet visant les crimes relatifs à la Seconde Guerre mondiale que pour celui touchant les crimes de guerre contemporains.

Dans cette perspective, les résultats de l'évaluation ont pu servir à étoffer un mémoire au Cabinet à l'appui de la poursuite du financement du programme. Le financement a été reconduit en novembre 2001, et les modalités du programme ont été approuvées lors des présentations ultérieures au CT.

Réussite

L'évaluation a fait ressortir différentes réussites du programme, par exemple, la hausse constante du nombre d'étrangers qui n'ont pu entrer au Canada en raison de la part présumée qu'ils auraient prise dans la perpétration de crimes de guerre ou de crimes contre l'humanité. Il y a également une hausse soutenue du nombre de cas faisant l'objet d'un examen et/ou d'une enquête à l'étranger et au Canada. Pour ce qui a trait aux cas relatifs à la Seconde guerre mondiale, le gouvernement a obtenu davantage de gains de cause que d'échecs dans les poursuites qu'il a intentées. Il s'agit d'une nette progression depuis 1995, où toutes les poursuites échouaient. On note aussi une réussite dans le secteur des échanges et des partenariats établis avec les membres de la communauté internationale concernés par les crimes de guerre et les crimes contre l'humanité. 

Pour les gestionnaires du programme, l'évaluation a aussi permis de cibler les secteurs dont les résultats n'étaient pas évidents, en attirant leur attention sur certaines lacunes. Par exemple, on a pu se rendre compte de la lenteur du processus de renvoi du Canada des présumés criminels de guerre. Or, le Canada et la communauté internationale dans son ensemble se sont fixé d'importants objectifs d'intérêt public qui montrent que la décision d'intenter des poursuites au Canada en vertu de la Loi constitue à la fois une priorité et un objectif du programme.

Conception du programme et améliorations requises

L'évaluation a mis au jour quelques lacunes du programme qu'il conviendrait de combler, par exemple, la nécessité d'accroître l'efficacité générale du programme en renforçant le rôle du Groupe interministériel des opérations sur le plan politique, de façon à l'investir de fonctions reconnues de coordination stratégique, et le besoin d'une coopération plus poussée entre les Sections des crimes de guerre du Ministère de la justice et de la GRC pour améliorer le traitement des crimes de guerre de l'ère moderne.

Le fait qu'il n'y ait encore eu au Canada aucune poursuite pour un crime de guerre contemporain donne toute son importance à l'élaboration et la mise en œuvre d'un modèle interministériel que conviendraient d'appliquer les trois organisations pour les enquêtes et les poursuites relatives aux crimes de guerre contemporains. Les deux ministères se sont déjà penchés sur la question et ils ont signé en 2004 une entente de principe prévoyant une colocation pour leurs Sections des crimes de guerre. La réalisation de cette entente a cependant été jusqu'ici assez lente.

Suivi des dépenses

Les conclusions de l'évaluation suggèrent qu'il est important de maintenir à leur niveau actuel les ressources affectées au programme, car les réduire entraînerait une perte certaine d'efficacité. On y insiste particulièrement sur l'importance de ressources adéquates aux fins des enquêtes et de la préparation des cas de crime de guerre contemporain. 

Malgré l'insistance de l'évaluation sur l'importance de cet aspect, les organismes du programme n'ont pas réussi à s'assurer une augmentation de leur budget. À ce jour, les fonds alloués au programme sont demeurés au niveau de 1998, ce qui correspond à une réduction de 20 % en dollars courants. Cette situation entrave les possibilités de donner suite à certaines recommandations de l'évaluation.

F. Répercussions imprévues de l'étude d'évaluation
  1. Occasion de promouvoir le programme au pays et sur le plan national et international. La phase de collecte des données de l'évaluation a donné lieu à des entrevues avec plus d'une centaine d'intervenants clés, dans les organismes partenaires et à l'extérieur de ceux ci. L'ampleur de cet échantillon de répondants a suscité une meilleure connaissance du programme et un fort intérêt au sein de la communauté internationale. Comme les résultats ont été publiés, les organismes partenaires ont pu se servir de ce document pour faire la promotion du programme, dans le cadre de conférences nationales et internationales.
  2. Attestation des avantages d'un programme coordonné. Les intervenants du programme, y compris ceux des juridictions internationales, ont presque unanimement reconnu comme une pratique exemplaire l'approche interministérielle assortie de mécanismes d'échange d'informations et d'un organisme central de coordination. Un certain nombre de représentants d'organismes coopérateurs relevant de gouvernements étrangers ont indiqué qu'ils espéraient pouvoir s'inspirer du programme canadien pour mieux coordonner les efforts qu'ils faisaient à l'échelle nationale pour faire face aux crimes de guerre contemporains.
  3. Partenariats et interactions avec la communauté internationale. Une collaboration internationale continue (de CIC, du ministère de la Justice et de la GRC) avec les tribunaux internationaux, les forces policières, les cabinets de procureurs, les services d'immigration et divers autres partenaires internationaux ont contribué à donner au Canada une réputation internationale de chef de file dans le domaine.
G. Principaux facteurs ayant contribué à la réussite de l'évaluation
  1. Ampleur du processus de cueillette de données auprès d'un large échantillon d'intervenants du Canada et de l'étranger. Les entrevues ont permis de regrouper les opinions de 110 répondants des organismes responsables de l'exécution et d'intervenants externes : des membres du personnel du programme; des membres d'agences ou de ministères qui collaborent au programme (MAECI, SCRS); des pairs à l'étranger qui travaillent dans les domaines de l'immigration, du maintien de l'ordre, de la sécurité et du droit international humanitaire; des représentants des organismes canadiens et internationaux des droits de la personne ou des milieux universitaires travaillant au Canada et à l'étranger dans le domaine des droits de la personne; et des représentants d'organisations non gouvernementales qui représentent ou servent des groupes comprenant des victimes et de présumés criminels. On a ainsi pu disposer d'un échantillon de répondants constitué tout autant des supporteurs que des détracteurs du programme, de même que des intervenants par nature impartiaux, ce qui a contribué à l'exhaustivité et à la fiabilité de l'étude.
H. Améliorations proposées et leçons apprises en vue de futures études d'évaluation
  1. Intégrer le suivi du plan d'action aux exigences du Conseil du Trésor. Cette mesure inculquerait une plus grande conscience de l'imputabilité relative à la mise en œuvre les recommandations formulées dans le cadre de l'évaluation et elle permettrait d'axer davantage sur les résultats la planification et l'exécution des activités.

 

Annexe - Programme canadien sur les crimes de guerre

Aperçu du programme
Description

Le Programme sur les crimes de guerre est une initiative conjointe du ministre de la Justice et de la ministre de la Citoyenneté et de l'Immigration destinée à soutenir les efforts déployés pour empêcher que le Canada ne devienne un refuge pour les criminels de guerre et les auteurs de crimes contre l'humanité. Le programme a été approuvé pour la première fois en 1998, pour un mandat de trois ans. 

Le programme est scindé en deux volets distincts, le Programme relatif à la Seconde Guerre mondiale et le Programme des crimes de guerre contemporains, crimes contre l'humanité et autres actes répréhensibles. Le programme est régi par la Loi sur les crimes contre l'humanité et les crimes de guerre, proclamée en octobre 2000, qui met en œuvre les dispositions du Statut de la Cour pénale internationale (CPI).

Objectifs

Accroître l'efficacité des moyens pris par le Canada pour empêcher que de présumés criminels de guerre trouvent refuge dans notre pays. Le programme cherche à atteindre cet objectif de trois façons :

  • en leur refusant le droit d'entrer au Canada;
  • en les expulsant du Canada;
  • en intentant contre eux des poursuites judiciaires au Canada.
Exécution du programme

Le Programme sur les crimes de guerre est géré conjointement par CIC, Justice Canada et la GRC, selon diverses structures d'exécution. Un Groupe interministériel des opérations coordonne le programme aux niveaux opérationnel et stratégique, de façon à faciliter l'échange d'information entre les agents d'exécution.

Budget

Au moment de l'évaluation, le programme avait disposé d'un budget de 46,8 millions de dollars, pour les années financières de 1998 1999 à 2000 2001, réparti entre les trois ministères. Pour l'exercice 2000 2001, les nombres d'ÉTP dans chacun des ministères responsables du programme étaient les suivants : 139 pour CIC, 58 pour le ministère de la Justice et 5 pour la GRC.

Recommandations découlant de l'évaluation

Le rapport d'évaluation ne formulait aucune recommandation explicite.

Évaluation de programme et étude de recouvrement des coûts : Évaluation du Centre canadien d'hygiène et de sécurité au travail
CCHST
Octobre 2001

A. Contexte de l'évaluation
Type d'évaluation

Examen du rendement et du financement du Centre canadien d'hygiène et de sécurité (CCHST) par le biais d'une évaluation exhaustive de son programme et d'une étude de recouvrement de ses coûts.

Justification

De 1989 jusqu'à l'an 2000, le CCHST a du faire face à un important manque à gagner, à la suite d'une directive du Conseil du Trésor l'obligeant à devenir autonome financièrement, par voie de recouvrement des coûts. En 2000, il était évident que cet objectif d'autonomie complète du CCHST n'était ni réaliste, ni atteignable. À la suite de discussions entre la haute direction et le Conseil du Trésor, il a été décidé qu'une évaluation indépendante des programmes de l'organisation et de ses initiatives relatives au recouvrement des coûts était justifiée.

Détails

Entité responsable de l'évaluation : La gestion et la supervision du processus d'évaluation ont été confiées au contrôleur du CCHST. 

Ressources externes : Pour réaliser l'étude, l'organisation a fait appel à un consortium formé de deux firmes d'experts conseils.Coûts : Environ 200 000 $ (provenant du Conseil du Trésor) pour les ressources externes. 

Durée : L'étude d'évaluation a duré moins d'une année, depuis la phase de planification jusqu'à l'approbation finale du rapport. La planification du projet, incluant l'élaboration du mandat, le processus d'appel d'offres et l'évaluation des soumissions, a duré cinq mois (de novembre 2000 à mars 2001); la réalisation du projet, depuis l'embauche des consultants jusqu'à la remise du rapport préliminaire, a duré six mois (d'avril à septembre 2001); et l'approbation finale du rapport a pris six semaines (en septembre et octobre 2001). 

Structure de gouvernance : On a pas crée un de comité consultatif ou directeur, mais l'équipe de la haute direction du CCHST a participé de près au processus et a été tenue informée du déroulement de toutes les phases du projet. Les constatations clés et les produits livrables ont été mis à la disposition de cette équipe à toutes les étapes du projet pour qu'elle puisse faire connaître ses commentaires. On a aussi requis, au besoin, la participation d'autres gestionnaires de la hiérarchie.

B. Constatations et recommandations
Objectifs
  1. Dresser un portrait des activités du CCHST à la lueur de l'évaluation du programme, ce qui inclut une évaluation de la pertinence du programme et de son efficacité et de sa rentabilité, compte tenu de son mandat.
  2. Examiner les initiatives de recouvrement réalisées par le CCHST.
  3. Présenter des options visant à assurer la viabilité financière du CCHST.
Constatations

La principale constatation de l'étude venait confirmer l'efficacité du CCHST pour favoriser l'amélioration des milieux de travail au Canada. L'étude a aussi démontré que le CCHST faisait face à des défis d'envergure sur le plan de son financement qui menaçaient la viabilité de ses opérations, principalement à cause de l'accroissement de la proportion « à risque » de ce financement qui provient de crédits supplémentaires et d'initiatives de recouvrement. Entre autres constatations :

  • Pertinence du programme : Les programmes et services du CCHST répondent à un besoin et leurs répercussions sur les milieux de travail correspondent aux objectifs établis. Il est tout à fait justifié de reconduire et de poursuivre ces programmes. 
  • Recouvrement des coûts : Le CCHST est rendu à la limite de ses possibilités de réaliser des recettes de récupération des coûts. Au delà de cette limite, sa capacité d'assurer son mandat sera remise en question. En outre, les exigences administratives imposées par la LGFP font en sorte que le Centre ne peut pas mettre à profit l'intégralité des avantages de ses activités de production de recettes. 
  • Options financières : L'étude propose cinq options possibles pour assurer un financement plus stable et durable du CCHST. La stratégie de prédilection consisterait à solliciter une augmentation du niveau de financement public via le Budget des dépenses principal, tout en maintenant ou en augmentant légèrement les montants actuels perçus au chapitre du recouvrement des coûts.
Recommandations

Sept recommandations clés ont été formulées visant à assurer la viabilité financière du CCHST et touchant principalement des améliorations à apporter aux produits, au marketing et à la structure de financement.

Processus de mise en œuvre

Les recommandations du rapport ont été présentées au Centre et à son Conseil des gouverneurs, qui y ont souscrit. 

Pour donner suite aux constatations touchant le financement à court terme, le Centre a déposé une demande au Conseil du Trésor afin d'obtenir une augmentation de ses crédits via le Budget principal du gouvernement. Le Conseil du Trésor a entériné les recommandations de l'étude et il s'est engagé à accroître le financement de base du Centre aux fins de lui permettre de renouveler son infrastructure et d'améliorer les programmes et services qu'il offre au public. 

On n'a pas établi de plan d'action officiel pour donner suite à ces recommandations. Par contre, le Conseil des gouverneurs du CCHST s'est appuyé sur les résultats de l'étude pour entreprendre une refonte stratégique des plans directeurs du Centre. On a organisé une session de planification stratégique de deux jours, à laquelle participait le Conseil des gouverneurs, pour établir les priorités et décider des futures orientations et politiques du CCHST. 

À partir de cette session de planification, on a élaboré un plan d'action qui tient compte de toutes les recommandations de l'étude et qui répartit les dépenses en quatre catégories : Marketing et activités de soutien de la clientèle; Renouvellement des infrastructures technologiques; Coûts reliés à l'information; Mise au point de produits et recherche. On a aussi établi des priorités spécifiques dans chacune de ces catégories, et le Centre a mis en train des projets pour rectifier la situation.

C. Principaux utilisateurs de l'évaluation
Secrétariat du Conseil du Trésor

Le financement de l'étude provenait du Secrétariat du Conseil du Trésor. Les résultats et les recommandations ont servi de base aux prises de décisions relatives à l'attribution future de fonds à l'organisation.

Conseil des gouverneurs du CCHST

Les résultats de l'étude ont permis au Conseil des gouverneurs du CCHST de procéder à un réexamen de la stratégie du Centre et à une refonte de ses plans directeurs. 

Membres du Parlement et population du Canada

Les résultats de l'évaluation ont été publiés dans le Rapport ministériel sur le rendement du CCHST. Les constatations de l'étude constituaient une solide confirmation de la contribution positive des activités du Centre à la qualité de vie des Canadiens.

D. Degré d'indépendance de l'étude et caractéristiques de ses répercussions

Entre autres motifs de commander cette étude, il y avait la volonté du Conseil du Trésor de disposer d'une analyse impartiale du fonctionnement du Centre. On s'accorde de façon générale à dire que l'étude a été menée de façon indépendante, notamment grâce à l'approche et la méthodologie qui ont été utilisées pour la collecte des données. Il ressort des discussions à propos des outils de collecte de données et de la méthodologie mise en œuvre, que ceux ci étaient justes et appropriés. L'équipe des experts conseils a puisé à plusieurs sources de renseignements pour colliger les données de l'enquête. Quatre sondages ont été réalisés et on a rencontré en entrevues trois groupes d'intervenants (entreprises, travailleurs et organismes gouvernementaux). On a ainsi pu disposer d'un portrait objectif et équilibré des pressions s'exerçant sur le centre, fondé sur une représentativité appropriée des différents groupes d'intervenants.

E. Utilité de l'étude d'évaluation 
Généralités

L'évaluation a été d'une très grande utilité pour l'organisation, car elle lui a permis d'obtenir les crédits supplémentaires essentiels à sa viabilité à long terme. Le Centre n'aurait pas pu subsister dans le cadre de sa structure de financement antérieure.

Décisions relatives à la gestion des dépenses et à l'affectation des ressources

C'est aussi grâce à l'étude d'évaluation que le Conseil du Trésor s'est engagé à accroître la part de financement du CCHST provenant du Budget principal du gouvernement. Pour donner suite aux résultats, le budget annuel du Centre a été accru d'environ deux millions de dollars (0,9 M$ pour couvrir le déficit budgétaire actuel et 1,1 M$ pour la mise en œuvre de nouvelles activités). Avec cette stabilité de financement, le Centre sera désormais en mesure d'améliorer son infrastructure de prestation de services de produits. Bien que le CCHST doive encore assurer 50 % de son budget de 8 M$ à partir du recouvrement de ses coûts, il ne risque plus un effondrement financier. Toutefois, la récupération de 50 % des coûts demeure un défi dans un marché en constante évolution où les fonds pour le développement de nouvelles technologies et de nouveaux produits sont limités. De plus, le fardeau administratif imposé aux organismes figurant à l'Annexe II de la LGFP constitue une autre entrave sur le plan de la récupération des coûts.

Orientations stratégiques futures

L'étude, de même que le financement accru qu'elle a suscité, a permis à l'organisation de se concentrer sur les objectifs définis dans son mandat et sur ses objectifs stratégiques, plutôt que sur la gestion d'une interminable crise de financement. Le Conseil des gouverneurs du CCHST a révisé les plans stratégiques du Centre et il a apporté des modifications positives à son orientation. Par exemple, il a décidé que le CCHST devrait s'appuyer sur sa capacité à effectuer un travail de collaboration et susciter l'engagement des principaux prestataires de SST, afin d'élaborer des programmes et services qui se renforcent mutuellement, comme l'élaboration de ressources en SST pour les jeunes canadiens en collaboration avec l'Association canadienne des administrateurs de la législation ouvrière. On prévoit qu'à l'aide de ces ressources, les jeunes canadiens seront plus au fait des mesures à prendre pour demeurer en santé et en sécurité au travail.

Contenu et diffusion des produits

D'autres projets qui élargissent la portée des services en renforçant le contenu et la diffusion des produits ont aussi vu le jour, et l'on s'attend à ce que, au bout du compte, ils aient des répercussions positives sur la santé et la sécurité au travail. En autres :

  • publication de guides supplémentaires sur la santé et la sécurité en milieu de travail; 
  • amélioration des produits du CCHST comprenant des informations sur les produits chimiques, de même que d'autres bases de données sur les produits chimiques;
  • remplacement de la technologie de recherche périmée à l'appui des produits de base du CCHST;
  • améliorations des fiches signalétiques et diffusion de celles ci sur Internet;
  • renforcement des technologies de l'information (serveurs Web et connexions Internet) aux fins de disposer d'une infrastructure de pointe pour demeurer concurrentiel dans l'environnement des bases de connaissances d'aujourd'hui;
  • augmentation des ressources en personnel (ÉTP) affectées au marketing;
  • campagnes de promotion des ventes
  • mise à jour du contenu des produits sur la législation;
  • tenue du Symposium pancanadien sur les maladies professionnelles;
  • rapports sur la santé et la sécurité, sous forme d'un bulletin électronique gratuit.
F. Répercussions imprévues de l'étude d'évaluation
  1. Soutien de demandes de financement auprès d'autres sources. Les résultats de l'étude ont été utilisés aux fins d'élaborer une demande de financement officielle soumise au gouvernement de l'Ontario. Traditionnellement, le CCHST recevait une subvention annuelle de 240 000 $ de cette province, sans avoir à fournir de justification officielle pour l'obtenir. Avec la pression croissante qui s'exerce sur les gouvernements en matière d'imputabilité relativement à l'utilisation des fonds publics, le gouvernement de l'Ontario exige maintenant des organismes qui sollicitent des subventions le dépôt d'une analyse de rentabilité, axée sur les résultats. Les résultats de l'étude ont fourni l'argumentation à l'appui de cette demande.
  2. Participation accrue des principaux intervenants. Le caractère positif des résultats et l'augmentation des budgets ont donné un nouveau souffle à l'organisation. Le Conseil des gouverneurs est confiant dans l'avenir du Centre et les membres du personnel ont enfin l'impression de pouvoir se consacrer à leur tâche principale – établir des politiques et des programmes pour améliorer la santé et la sécurité des Canadiens – plutôt que de perdre du temps à prendre des décisions dictées par des compressions budgétaires. Ils ont de nouveau le sentiment de jouer un rôle important, sinon essentiel.
  3. Sursaut d'enthousiasme du personnel. La dizaine d'années successives de compressions budgétaires a eu des répercussions certaines sur le moral du personnel du CCHST. Les employés ont perçu l'évaluation positive du Centre comme une reconnaissance de l'utilité et de l'efficacité de leur travail pour améliorer la sécurité dans les milieux de travail du Canada. Bien qu'elle ne soit pas quantifiée, cette amélioration du moral de l'effectif devrait se traduire par une plus grande efficacité et par une meilleure atmosphère de travail.
  4. Transfert de savoir. Grâce à leur collaboration active avec les experts conseils chargés de l'évaluation, les membres du personnel du CCHST disposent maintenant des connaissances de base et de la méthodologie qui leur permettra de mener leurs propres enquêtes auprès de la clientèle. Ils ont d'ailleurs commencé à le faire pour regrouper des renseignements et des données.
  5. Démarche recentrée sur la clientèle. Grâce aux nombreux sondages effectués dans le cadre l'étude, le CCHST dispose maintenant d'une meilleure compréhension des besoins et des préférences de sa clientèle. Il peut donc plus facilement adapter ses services et programmes en fonction d'éléments d'information objectifs et empiriques qui correspondent aux attentes et aux besoins exprimés par la clientèle, plutôt qu'à la perception subjective que peuvent en avoir les gestionnaires.
G. Principaux facteurs ayant contribué à la réussite de l'évaluation
  1. La sélection rigoureuse d'experts conseils hautement qualifiés qui comprenaient les pressions qui s'exerçaient sur l'organisation et les objectifs qui suscitaient la réalisation de l'étude a constitué un atout vital pour la réussite du projet.
  2. La formulation précise des exigences et des objectifs dans le mandat, qui réduisait les risques de dérapage.
  3. L'accord mutuel, entre les évaluateurs et le Centre, incluant les mesures de réussite.
H. Améliorations proposées et leçons apprises

Aucune n'a été identifiée.

Annexe - Centre canadien d'hygiène et de sécurité au travail

Aperçu de l'organisation
Description

Le Centre canadien d'hygiène et de sécurité au travail (CCHST) a été créé en 1978 par la Loi constituant le Centre canadien d'hygiène et de sécurité au travail, qui confie pour mandat au CCHST de promouvoir les droits fondamentaux des Canadiens à un milieu de travail salubre et sécuritaire.

Objectifs

Le Centre a pour mission :

  • de promouvoir, au Canada, des conditions d'hygiène et de sécurité au travail et la santé physique et mentale des travailleurs;
  • de faciliter, la consultation et la collaboration entre les administrations, fédérales, provinciales et territoriales, et la participation des travailleurs et employeurs;
  • pour l'établissement et le maintien de normes élevées d'hygiène et de sécurité au travail adaptées au contexte canadien;
  • d'aider à l'élaboration et au soutien de politiques et programmes en vue de réduire ou supprimer les accidents du travail;
  • de jouer le rôle d'un centre national disposant de données statistiques et d'autres renseignements dans le domaine de l'hygiène et de la sécurité au travail. 

Le CCHST conserve un portefeuille de produits et de services à la fois gratuits et payants qui mettent à profit un répertoire de base d'information sur la santé et la sécurité au travail (SST) et l'application des technologies de gestion de l'information, et il réalise une diversité de projets concertés de collaboration qui visent à garder le Centre à la fine pointe des connaissances en matière de SST.

Historique du financement

Jusqu'en 1989, le Centre était un service gouvernemental financé intégralement, avec un budget de fonctionnement annuel de 10 millions de dollars. En 1989, le Centre se voyait ordonner par le Conseil du Trésor de devenir autonome financièrement, par voie de recouvrement des coûts, à partir de 1991. Entre 1991 et 2001, les fonds octroyés par les sources fédérales ont diminué de 71 %, alors que les recettes tirées d'autres sources ont augmenté de 95 %. Au cours de la même période, le centre a réduit de 50 % ses niveaux de dotation et ses coûts connexes.

Budget annuel

En 2001, au moment où l'évaluation a démarré, le Centre n'avait pas encore atteint le recouvrement intégral des coûts, mais l'avait stabilisé à environ 4,2 millions $. Le Centre emploie approximativement 87 ÉTP et il dispose d'un budget annuel de 7 millions $ provenant de trois sources principales – les crédits publics votés, le Budget des dépenses supplémentaires et les recettes tirées de sources externes (recettes tirées du recouvrement des coûts).

Recommandations découlant de l'évaluation
  1. Le CCHST doit fournir une gamme des produits et services qui lui permette d'accomplir son mandat.

  2. Le Centre doit continuer à offrir un accès gratuit et confidentiel à son service de renseignements et son site Web.

  3. Le Centre doit assurer que les possibilités d'utiliser le recouvrement des coûts pour produire des recettes n'empêchent pas la fourniture des produits et services du centre ou ne détournent pas l'attention de l'accomplissement de son mandat.

  4. Le CCHST doit assurer la mise à jour de ses technologies de collecte d'information et d'information de base, dont dépendent le site Web et nombre des produits payants du Centre.

  5. La poursuite de la structure de financement actuelle, n'est pas réalisable. Le financement public par l'entremise du Budget principal des dépenses doit être augmenté de 1,65 à 3,7 millions de dollars, approximativement. L'étude conclut qu'un argument irréfutable peut être présenté en faveur d'un financement public accru pour le Centre, en réponse aux répercussions potentielles de la production et de la diffusion de l'information visant à améliorer la santé et la sécurité au travail.

  6. Le CCHST devrait maintenir ou augmenter légèrement les montants actuels perçus au chapitre du recouvrement des coûts.

  7. Le CCHST peut renforcer ses efforts de marketing pour accroître le nombre des clients et pour accroître les ventes moyennes par client.

Vérification et évaluation de la Région des lacs expérimentaux
Pêches et Océans Canada (MPO)
Septembre 2004

A. Contexte de l'évaluation
Type d'évaluation

Évaluation axée sur les priorités du programme et vérification de l'exploitation de la Région des lacs expérimentaux (RLE), un centre du Nord de l'Ontario utilisé pour effectuer des diverses recherches scientifiques touchant les bassins d'eau douce.

Justification

L'évaluation a été réalisée à la demande de la direction du secteur des Sciences. Au cours des dernières années, la RLE a dû faire face à des contraintes de financement. Le centre perçoit des droits d'utilisation, mais malgré cela, le budget opérationnel demeure insuffisant pour couvrir les coûts réels d'exploitation des installations. Il y avait aussi lieu de remplacer certaines immobilisations. La haute direction et les gestionnaires du centre voulaient en revoir le mode d'exploitation et la gestion, de même que son approche sur le plan du financement, pour vérifier s'il était possible de gagner en efficacité et d'améliorer la situation. Cette évaluation s'inscrivait dans le plan d'évaluation de 2003 2004.

Détails

Entité responsable de l'évaluation : L'évaluation a été supervisée par le Service de vérification et d'évaluation du MPO.

Ressources externes : Certains travaux ont été confiés à une firme externe, mais la plus grande part de l'analyse a été réalisée à l'interne par Service de vérification et d'évaluation. Coûts : 40 000 $

Durée : L'évaluation a pris moins d'une année, de la phase de planification jusqu'à l'approbation du rapport final. La planification du projet, incluant la définition du mandat, a duré deux mois (novembre et décembre 2003) et sa réalisation, de la cueillette des données jusqu'au dépôt du rapport préliminaire, sept mois (de décembre à juin 2004). Le rapport final et le plan d'action de la direction ont été présentés au comité de vérification et d'évaluation en août 2004.

Structure de gouvernance : On n'a pas fait appel à un comité directeur ou consultatif, mais l'équipe d'évaluation a tenu des consultations tout au long du processus. Le personnel de la région et de l'administration centrale a eu l'occasion de donner son opinion sur le rapport et les recommandations de l'étude d'évaluation.

B. Constatations et recommandations
Objectifs
  1. Évaluer la pertinence, la contribution et la rentabilité de la RLE;
  2. Confirmer l'utilité et les capacités de la RLE en tant que centre d'activités scientifiques permettant au Ministère de s'acquitter de ses responsabilités en matière d'eaux douces; 
  3. Aider à définir le rôle futur de la RLE dans le Secteur des sciences;
  4. Examiner les coûts d'exploitation des installations de recherche de la RLE et trouver des façons de réaliser des économies : recherche de partenaires potentiels, élaboration d'un barème de droits d'utilisation et définition des besoins d'investissement à long terme.
Constatations

L'évaluation portait principalement sur la pertinence du programme, sa réussite et son efficacité par rapport au coût.

  • Pertinence : L'évaluation conclut que les recherches effectuées dans la RLE demeurent tout à fait pertinentes en regard des priorités et des objectifs stratégiques du MPO. Elle relève toutefois que le ministère n'en est pas toujours le premier bénéficiaire, particulièrement lorsque ces études sont réalisées en partenariat avec des organisations externes. Le ministère doit donc, dans ces cas, veiller à ce que la recherche menée dans la RLE ne s'écarte pas du mandat et des priorités du MPO.
  • Pertinence par rapport aux besoins des clients : La recherche menée dans la RLE s'avère pertinente et précieuse pour différents clients, notamment les gestionnaires de l'habitat du poisson du ministère, les organismes gouvernementaux de réglementation et les responsables du financement. L'évaluation fait cependant ressortir qu'on pourrait davantage en faire valoir les possibilités auprès d'autres utilisateurs potentiels à l'échelle du gouvernement et à l'externe, en diffusant, par exemple, des lignes directrices visant les réservoirs hydroélectriques et les entreprises d'exploitation forestière ou à l'intention des propriétaires de chalets.
  • Efficacité de la structure de gestion actuelle : L'évaluation a révélé que la structure de gestion actuelle, peu hiérarchisée, fonctionne bien avec l'équipe de chercheurs expérimentés de la RLE, mais qu'elle pourrait ne pas être appropriée pour l'avenir, lorsque les scientifiques du noyau principal de chercheurs, qui approchent l'âge de la retraite, seront remplacés par de nouveaux chercheurs. L'étude souligne aussi que le processus de sélection et d'approbation des projets de recherche gagnerait à être renforcé.
  • Contribution de la recherche effectuée dans la RLE : L'étude fait ressortir que la possibilité unique de procéder à des manipulations de lacs entiers qu'offrent les installations de recherche de la RLE permet d'obtenir des résultats beaucoup plus probants que les expériences en laboratoires, où il est impossible de reproduire les conditions du milieu naturel. La recherche menée dans la RLE pourrait potentiellement fournir des réponses cruciales pour les sciences des eaux douces et la gestion de l'habitat, et avoir une incidence sur les politiques et la planification au MPO.
  • Rentabilité : L'évaluation a permis de conclure que les scientifiques de l'Institut des eaux douces de Winnipeg qui utilisent les installations font des efforts considérables pour minimiser les coûts de la recherche et de l'exploitation de la station de terrain. Néanmoins, on estime le manque à gagner pour l'exploitation de la station de terrain de la RLE à 77 000 $. L'actuel amalgame des crédits votés du MPO et des droits d'utilisation quotidiens perçus ne permet pas de couvrir les coûts de fonctionnement de la RLE.
Recommandations

Huit recommandations ont été formulées visant à apporter des améliorations aux politiques de financement et au système de gestion, pour mettre en place un meilleur processus de perception et de suivi des droits d'utilisation, de même qu'à la structure administrative et à la direction stratégique au sein de la RLE. (Veuillez consulter l'annexe.)

Processus de mise en œuvre 

Le rapport a été approuvé par le Comité de vérification et d'évaluation en août 2004. 

Les secteurs des Sciences du Centre et de l'Arctique et le SMA des Sciences ont collaboré à l'établissement d'un plan d'action de gestion préliminaire, qui a été intégré au rapport final déposé devant le Comité de vérification et d'évaluation. Selon le suivi du plan d'action, effectué en mars 2005, toutes les recommandations avaient été mises en œuvre ou étaient en voie de l'être.

C. Principaux utilisateurs de l'évaluation
Haute direction ministérielle

Les gestionnaires du secteur des Sciences se sont référés aux résultats de l'évaluation pour alimenter les discussions à propos de l'avenir des installations. Le ministère procède actuellement à une revue majeure de la science, dont les résultats pourront éclairer les discussions en la matière. Il y a déjà eu des pourparlers entre le MPO, Environnement Canada et Ressources naturelles Canada à propos de l'éventuelle création conjointe d'un Centre d'excellence en sciences qui pourrait utiliser les installations. 

La haute direction entend aussi s'appuyer sur le rapport d'évaluation pour étayer les discussions interministérielles sur le financement de la station terrain, notamment pour ce qui a trait au financement à long terme des immobilisations.

Gestionnaires de programme

La direction des installations de la RLE a eu recours aux résultats de l'évaluation pour démarrer la mise en œuvre d'améliorations visant la structure organisationnelle, le comité consultatif du projet et la rentabilité de la station terrain.

Ministres et membres du parlement

Au cours de l'examen des dépenses, les résultats de l'évaluation sont venus étayer la décision ministérielle de permettre des modifications au cadre d'exploitation pour favoriser la réduction des coûts de fonctionnement.

Intervenants externes

Le rapport d'évaluation est disponible sur le site Internet du MPO, de sorte que le grand public peut le consulter. Il a par ailleurs fait l'objet de plusieurs articles dans les journaux et ceux ci sont aussi reproduits sur le site Web du ministère. 

On s'attend à ce que, grâce à la diffusion des résultats de l'évaluation, les utilisateurs de la RLE seront mieux informés du processus d'acceptation des projets et du nouveau mode de fonctionnement, notamment sur le plan de la politique de recouvrement des coûts.

D. Degré d'indépendance de l'étude et caractéristiques de ses répercussions
Sans objet.
E. Utilité de l'étude d'évaluation 
Généralités

De l'avis du personnel du programme, la principale utilité de l'évaluation fut de faire ressortir que les installations ne pouvaient plus être exploitées dans le cadre de leur actuelle structure de financement et qu'il était devenu essentiel de rajuster le mode de perception des droits d'utilisation.

Orientations politiques futures

L'évaluation recommandait que la haute direction du MPO définisse clairement le mandat et l'orientation future du centre de recherche de la RLE de façon à encadrer les discussions sur les orientations futures de la prestation des activités de la RLE. On a donné suite à cette recommandation.

Le SMA et les directeurs régionaux du secteur des Sciences procèdent à une revue nationale de la science pour le compte du MPO. Les conclusions de cette revue affecteront les orientations de la recherche dans la RLE et sur le plan national. Entre temps, le gestionnaire de la Division des sciences de l'environnement (DSE) et les directeurs régionaux du secteur des Sciences collaborent avec les scientifiques de la RLE pour définir des priorités de recherche qui correspondent au Plan stratégique (2005 2010). Les priorités du programme de recherche de la RLE appuieront le développement d'écosystèmes aquatiques sains et productifs et de pêches et d'une aquaculture durables. Les priorités de recherche comprendront les répercussions du développement sur les populations de poissons et leur habitat, la protection des espèces à risque, les répercussions de l'aquaculture et les impacts des espèces envahissantes et des changements climatiques sur les populations de poissons et leur habitat.

Décisions relatives à la gestion et à l'affectation des ressources

L'évaluation proposait deux autres options de prestation d'organisation de la prestation des services qui permettraient la poursuite de l'exploitation de la RLE sans augmentation de son financement : la formation d'un consortium et la gestion par une tierce partie. 

Les directeurs régionaux et le gestionnaire de la DSE vont répertorier les options de gestion mises en œuvre dans d'autres centres de recherche en Amérique du Nord et évaluer ces diverses stratégies en fonction de leur efficacité et de leur rentabilité. Entre temps, le gestionnaire de la DSE a entrepris des discussions avec Environnement Canada et l'Université du Manitoba pour vérifier si ces organismes voudraient mener des recherches dans la RLE. 

Les résultats de l'évaluation ont aussi servi de base à la mise en œuvre de quelques changements qui amélioreront la rentabilité des installations et réduiront son déficit.

  • Gestionnaire de la DSE et directeur des Finances de C et A ont élaboré un système de suivi financier plus efficace pour répondre aux besoins des Finances régionales du MPO et de la DSE pour les activités liées à la RLE. Ce nouveau système sera mis en œuvre en 2005.
  • Gestionnaire de la DSE et directeur des Finances de C et A ont aussi établi un meilleur système de suivi de la facturation et de la perception des taux quotidiens correspondant aux coûts réels de fonctionnement de la RLE. L'augmentation des tarif entrera en vigueur pour les projets qui démarreront à compter d'avril 2005. 
  • On a aussi procédé à un examen approfondi des coûts associés à l'exploitation courante de la station météorologique de la RLE. Les bénéfices qu'en tire le MPO ont été quantifiés et des discussions sont en cours avec Environnement Canada pour en établir les droits d'utilisation.
Expenditure management and resource allocation decisions

The evaluation presented alternative delivery options for the future operation of the ELA so that it can operate appropriately within the current level of funding. These include third party management and participation within a consortium arrangement. 

The RDS and the ESD Manager will summarize management options used by field research centres in North America and evaluate alternate management strategies based on cost and effectiveness. In the meantime, the ESD Manager has had preliminary discussions with Environment Canada and the University of Manitoba to determine local interest in conducting research at the Experimental Lakes Area.

The facility is also using the evaluation results to implement changes that will improve cost-effectiveness and relieve some of the funding pressure to the facility:

  • The ESD Manager and C&A Director of Finance have developed a financial tracking system to meet the needs of DFO Regional Finance and the ESD for ELA operations. The new system will be implemented in 2005.
  • The ESD Manager and C&A Finance have developed a system to track billing and collection of per diem fees at ELA. All science users will pay the same per diem rate and the new rate will reflect operational costs of the ELA. Rate increases will be phased in for ongoing projects starting in April 2005.
  • An in depth review of all costs associated with the ongoing operation of the meteorological station at ELA was conducted. The benefits of the metrological station to DFO were quantified. Discussions are underway with Environment Canada to negotiate costs.
Reddition de comptes et relations hiérarchiques

L'évaluation recommandait de modifier la structure hiérarchique de la RLE de façon à avoir un rapport de subordination clair et efficace. La DSE a déjà donné suite à cette recommandation et elle a élaboré une nouvelle structure organisationnelle pour la RLE. Cette démarche a entraîné le retrait de subordonnés directs du chef de section de la RLE et le transfert dans d'autres sections de certaines membres du personnel non associés à la recherche. 

On recommandait aussi de créer un comité consultatif sur la recherche chargé d'examiner les propositions de projets. Ce comité, qui regroupe des hauts représentants des programmes de l'habitat en région et à l'AC, ainsi que des Sciences à l'AC, a été établi et son mandat provisoire a été défini.

F. Répercussions imprévues de l'étude d'évaluation

Meilleure compréhension du programme de la part de l'équipe d'évaluation. L'équipe d'évaluation interne, en cours de mandat, s'est souvent rendue sur les lieux. Elle a ainsi pu mieux comprendre le fonctionnement de la station terrain que si elle avait procédé à une analyse à distance. Les évaluateurs ont été en mesure d'apprécier précisément comment les installations étaient exploitées et de se faire une meilleure idée des problèmes et des défis auxquels son personnel devait faire face.

G. Principaux facteurs ayant contribué à la réussite de l'évaluation
  1. Demande d'évaluation émanant du personnel du programme. Comme ce sont les groupes client (direction des installations, secteur des Sciences) qui ont demandé que l'on procède à une évaluation, ils étaient donc tout à fait réceptifs dans le cadre du processus et fort intéressé par les constatations et les résultats de l'étude. Pour les gestionnaires, ces résultats ont été grandement utiles, car ils apportaient des solutions à des problèmes qui les tracassaient depuis un bon moment.
  2. Enrichissement du processus grâce à la participation active du personnel du programme. Tout au long du processus d'évaluation, le personnel du programme s'est activement impliqué et il a su entretenir avec l'équipe d'évaluation des relations suivies. Selon les membres du personnel, la possibilité d'interagir et d'émettre son opinion fait toute la différence entre une bonne évaluation et une évaluation qui se distingue par son utilité. Cette situation offrait en outre l'avantage de soutenir l'intérêt des groupes client pour les travaux réalisés par l'équipe d'évaluation.
H. Améliorations proposées et leçons apprises en vue de futures études d'évaluation

Mettre en place un comité directeur ou consultatif pour officialiser la participation des clients au processus et s'assurer que l'évaluation répondra à leurs besoins.

Annexe - Région des lacs expérimentaux 

Aperçu du programme
Description

Le centre de recherche de la Région des lacs expérimentaux (RLE), située au nord ouest de l'Ontario, a été créé en 1968 par le Conseil consultatif de recherches sur les pêcheries et les océans du Canada. La RLE est formée de 58 petits lacs (d'une superficie allant de 1 à 84 ha) et de leurs bassins hydrographiques ainsi que de trois autres tronçons de cours d'eau.

Le centre de recherche de la RLE a été largement utilisé par la Division des sciences de l'environnement dans la Région du Centre et de l'Arctique, établie à l'Institut des eaux douces (IED) de Winnipeg. Pendant plus de trente ans, les chercheurs de l'IED ont réalisé des centaines d'études dans les domaines de l'eutrophisation, des précipitations acides, de l'inondation par réservoirs, des contaminants toxiques, du mercure dans la chaîne alimentaire aquatique, des manipulations biologiques et de la surveillance à long terme des conditions de l'environnement. 

Le centre de recherche de la RLE a évolué au fil des ans, passant d'une exploitation saisonnière à une exploitation à l'année; il est doté d'immeubles, d'habitations, de laboratoires modernes et de services de soutien. La RLE compte aussi des laboratoires où l'on effectue diverses analyses sur des échantillons, notamment d'eau, de zooplancton et de poisson.

Objectifs

Ces installations visent à offrir aux scientifiques et aux biologistes une possibilité unique de faire de la recherche expérimentale à l'échelle d'un écosystème.

Exécution du programme

Le site est géré conjointement par Pêches et Océans Canada (MPO) et le gouvernement de l'Ontario aux termes d'une entente commune. La recherche qui y est effectuée est approuvée par un conseil de gestion établi en vertu de cette entente. Seules les activités de recherche et autres activités compatibles à l'entente commune sont autorisées dans ces bassins hydrographiques et leurs environs.

Financement annuel

La recherche dans la RLE est financée par des ministères gouvernementaux, des universités et des organismes, en coopération et en partenariat avec le personnel du MPO et dans le cadre de ses programmes. Les deux principaux secteurs d'activité de la RLE qui bénéficient de financement sont l'exploitation de la station de terrain et la recherche proprement dite. En 2003 2004, le financement global pour l'exploitation de la station de terrain et la recherche réalisée dans la RLE s'élevait à 2,2 M$, dont 30 % provenait d'organismes de l'extérieur.

Recommandations découlant de l'évaluation
  1. Le directeur régional du secteur des Sciences devrait modifier la structure hiérarchique de la RLE de façon à avoir un rapport de subordination clair et efficace.

  2. Le directeur régional du secteur des Sciences devrait créer au MPO un comité consultatif sur la recherche (CCR) chargé d'examiner les propositions de projets de recherche et d'approuver celles qui pourront être soumises à l'approbation du conseil d'administration de la RLE.

  3. Mettre en œuvre les recommandations du rapport Planning Study for the Experimental Lakes Area Field Station de TPSGC concernant le démantèlement de certaines structures qui servent de dortoirs.

  4. Le gestionnaire de la Division des sciences de l'environnement (DSE) met en œuvre de concert avec le directeur régional des Finances, des modifications au système régional de gestion financière, grâce auxquelles les données financières de la RLE pourront être consignées correctement dans le système et servir ensuite au suivi, à la production de rapports et à la prise de décisions.

  5. Des politiques et des procédures financières doivent être élaborées aux fins d'indiquer clairement les utilisateurs qui paient et ceux qui ne paient pas, et de mettre au point un processus amélioré de perception des droits et de suivi. 

  6. Revoir l'entente entre le MPO et EC et y apporter les ajustements nécessaires pour faire en sorte que le MPO recouvre tous les coûts engagés pour l'exploitation et l'entretien de la station météorologique d'EC.

  7. La haute direction du MPO devrait clairement définir le mandat et l'orientation future du centre de recherche de la RLE.

  8. Une fois le mandat défini, envisager les options suivantes comme solutions de rechange pour la structure de gestion et de prestation des activités de la RLE : gestion par une tierce partie et création d'un consortium.

AVIS AU LECTEUR :

Le présent rapport d'évaluation a été rédigé antérieurement à l'actuel énoncé de politque de défense et aux changements découlant de la transformation des Forces canadiennes.

Les preuves recueillies et les conclusions exprimées dans le présent rapport d'évaluation s'appuyaient sur la situation existant en 2004 et dans les années qui ont précédé. Depuis, un nouvel Énoncé de politique de défense et la vision du Chef d'état-major de la Défense à l'égard des Forces canadiennes ont apporté des changements majeurs. Même si certaines recommandations de l'évaluation s'appliqueront dans une certaine mesure à de nouveaux modèles de forces et au cadre de gestion de la disponibilité operationnelle en général, les concepts d'Avant-garde et de Force de contingence principale sont dorénavant dépassés.

Points de vue sur la préparation et du maintien de l'avant-garde et de FCP
Défense nationale
Octobre 2004

A. Contexte de l'évaluation
Type d'évaluation

Étude axée sur les priorités du Ministère de la Défense nationale (MDN) et des Forces canadiennes (FC) dont l'objectif consistait à formuler des recommandations en vue d'améliorer la préparation et le soutien des FC et du MDN.

Justification

L'étude a été menée à la demande du commandement des FC et de la direction du MDN. À la suite des transformations militaires aux É. U. et dans la perspective de la guerre contre le terrorisme, la préparation des troupes est devenue le paradigme du monde militaire. Tous nos alliés au sein de l'OTAN et de l'ABCA ont décidé d'accroître le niveau de préparation de leurs forces militaires. Plusieurs rapports du Ministère de la Défense, dont le Plan de défense de 2004 2005 et le Livre blanc de 1999, signalent qu'un haut degré de préparation des troupes constitue une priorité cruciale pour le MDN.

Détails

Entité responsable de l'évaluation : Le Chef – Services examen du MDN (CS Ex)

Ressources externes : Aucune. L'évaluation a été menée par une équipe de 2 CS Ex disposant d'une expertise militaire avérée (un militaire et un ex militaire). 

Coûts : Aucun coût pour des ressources externes. 

Durée : L'étude a duré deux ans, depuis la phase de planification jusqu'à l'approbation finale du rapport. La planification du projet et son exécution, depuis la cueillette des données jusqu'au dépôt du rapport préliminaire ont duré 9 mois (de janvier à septembre 2003); la révision du rapport (au sein du Ministère) a pris 4 mois (de septembre à décembre 2003) et l'approbation du rapport 10 mois (de mars à décembre 2004).

Structure de gouvernance : Aucun comité directeur n'a été mis sur pied, mais divers mécanismes ont contribué à la supervision du processus. Un groupe de travail sur les pratiques d'évaluation, relevant du CS Ex et composé de cadres supérieurs de l'Évaluation a régulièrement examiné le rapport et a servi de fonction de remise en question relativement à l'approche et à la méthodologie. Une première ébauche du rapport été examinée par le Chef – Services d'examen et par un groupe de pairs constitué d'anciens cadres militaires issus de l'organisation. Une deuxième ébauche a ensuite circulé parmi les membres de la haute direction du Ministère (incluant le chef d'état major de la Défense, le vice chef d'état major de la Défense, le sous chef d'état major de la Défense, les chefs d'état major des environnements, le SMA politique, le SMA matériel et le SMA RH).

B. Constatations et recommandations
Objectifs
  1. Confirmer que les tâches confiées à l'avant garde et à la force de contingence principale de l'armée, de même qu'à d'autres unités et organisations d'intervention rapide sont adéquates sur le plan de la structure, des délais et des normes.
  2. Vérifier dans quelle mesure le sous chef d'état major de la Défense (SCEMD) et le Chef d'état major d'armée (CEMA) génèrent les forces nécessaires pour respecter les niveaux de préparation requis.
  3. Vérifier dans quelle mesure le CEMA, les SMA (matériel) et d'autres responsables se conforment aux exigences sur le plan du maintien des troupes.
  4. Examiner la pertinence de l'organisation actuelle de l'avant garde, de la force de contingence principale et des unités d'intervention rapide, en vue de dégager des pistes pouvant suggérer des concepts d'avenir.
Constatations

Plusieurs constatations visaient l'état de préparation des FC, leur maintien en puissance et le soutien du personnel. La principale observation touche l'urgence pour les FC d'accomplir les tâches d'intervention rapide décrites dans le Plan de défense. Le financement du programme est insuffisant pour moderniser et transformer la structure actuelle des Forces de façon à assurer la préparation structurelle requise pour répondre aux engagements de NORAD, de l'OTAN et de l'ONU. L'état de la préparation opérationnelle est nettement insuffisant et aucun des services n'est en mesure de respecter et maintenir les engagements prévus dans son Livre blanc sur les FCP dans les délais impartis.

Recommandations

Quatorze recommandations ont été formulées, dont deux principales, dans les domaines de l'état de préparation, du maintien en puissance et du soutien du personnel. Les deux recommandations principales touchaient la surveillance du rendement et l'allocation des ressources financières.

  • Mettre en place un processus de surveillance du rendement similaire au « US Joint Quarterly Readiness Review Process » (recommandation 3).
  • Inscrire dans les priorités de la stratégie nationale d'approvisionnement le financement de la préparation et du maintien en puissance des unités et formations d'intervention rapide (recommandation 8).

Les autres recommandations visaient les domaines suivants : 

  • Orientations politiques futures : Diverses recommandations ont été formulées aux fins de revoir les politiques pour qu'elles se conforment davantage aux besoins et aux normes.
  • Conception du programme et améliorations requises : Plusieurs recommandations proposaient des modifications à apporter au programme, la mise en œuvre de nouvelles mesures ou initiatives et l'instauration d'un système de suivi commun et d'une base de données du personnel.
  • Responsabilisation sur le plan des dépenses : Il a été recommandé de mieux articuler les responsabilités conjointes des SMA (matériel) et leur imputabilité à l'égard de la préparation et du maintien des FC.
  • Évaluation : Il a été recommandé de réaliser une évaluation indépendante de la capacité du Groupe médical des FC à soutenir les opérations en cours.
Processus de mise en œuvre

Le rapport final comprenait le plan d'action de la gestion qui a été présenté au Comité de vérification et d'évaluation en janvier 2005. Ce comité était constitué du sous ministre, du chef d'état major de la Défense (CEMD), des chefs d'état major des environnements (CEMFA, CEMAT et CEMFM), du SMA (matériel) et du SMA (finances).

Un plan d'action de la gestion était intégré au rapport final. Comme la préparation et le maintien des troupes touchent l'ensemble des opérations des FC, la responsabilité de la gestion complète du programme de « préparation » ne relève pas d'un Bureau de première responsabilité (BPR) en particulier. Le plan d'action désigne les BPR responsables de la mise en œuvre de chacune des recommandations et il établit la planification des actions nécessaires pour chacun d'eux. 

La haute direction du MDN et des FC a accepté douze de ces quatorze recommandations et les plans de mise en œuvre de celles ci sont en cours de réalisation. Il convient de signaler que ce sont les deux principales recommandations qui ont été les plus litigieuses et que la haute direction reconnaît que ces recommandations doivent faire l'objet d'une analyse plus poussée avant que l'on puisse prendre les mesures appropriées.

C. Degré d'indépendance de l'étude et caractéristiques de ses répercussions

Selon la haute direction du Ministère, l'étude d'évaluation a donné lieu à une recherche bien menée et documentée et ses résultats donnent une idée juste et équilibrée de l'état de préparation et du maintien en puissance des Forces canadiennes. On s'entend généralement pour dire que l'étude a réussi à faire ressortir avec précision les questions cruciales auxquelles font actuellement face les FC.

D. Principaux utilisateurs de l'évaluation
Haute direction du Ministère

L'évaluation a été bien perçue par la haute direction du Ministère de la Défense et par le haut commandement des Forces canadiennes, y compris le chef d'état major de la Défense (CEMD), le vice chef d'état major de la Défense (VCEMD), le sous chef d'état major de la Défense (SCEMD) et les chefs d'état major des environnements (CEMFA, CEMAT et CEMFM). De l'avis de ces officiers, le rapport d'évaluation est un document précieux qui aidera les FC à aller de l'avant pour relever les défis auxquels elles font face.

Gestionnaires de l'exploitation

Les gestionnaires de l'exploitation s'appuient sur l'étude pour mettre en œuvre des modifications au programme et aux modes de soutien du personnel.

Ministre et autres membres du Parlement

Le rapport de cette évaluation figure parmi d'autres documents clés à l'appui du nouvel énoncé de la politique de défense du Canada – Fierté et influence : notre rôle dans le monde – présenté par le ministre de la Défense nationale en mai 2005.

E. Utilité de l'étude d'évaluation
Pertinence et réussite

La toute première utilité de l'étude fut de dégager des éléments de preuve démontrant que le MDN et les FC n'étaient pas en mesure de remplir de façon complète et efficace les tâches et missions d'intervention rapide décrites dans des documents clés comme le Livre blanc et le Plan de défense, et qu'il y avait lieu de prendre des décisions stratégiques pour que la préparation et le soutien des forces deviennent une réalité.

Orientations politiques futures

Au début de 2005, le gouvernement du Canada a intégré un nouvel énoncé de politique de la défense au cadre général de sa politique internationale. Cet énoncé constitue le premier examen de la politique de défense du Canada à être effectué en plus de dix ans, et il « définit une nouvelle vision pour les Forces canadiennes du XXIe siècle. Il envisage des forces armées transformées, qui seront dotées des capacités, des technologies et de l'équipement voulus, ainsi que du leadership et des structures de commandement et de fonctionnement leur permettant de mener à bien des opérations exigeantes. Les forces seront parfaitement intégrées et capables d'optimiser leurs ressources pour obtenir des résultats ciblés et précis ». Même si ce document se fonde sur de nombreuses sources d'information, incluant des consultations publiques, des comités parlementaires et des avis d'experts de la défense, il ne fait aucun doute que certaines des recommandations clés de l'étude d'évaluation s'y retrouvent.

Conception du programme et améliorations

Des travaux sont en cours au sein du ministère pour mettre en œuvre beaucoup des recommandations formulées dans le rapport qui présentaient des mesures concrètes pour améliorer la politique et l'infrastructure qu'exigent la préparation et le soutien des troupes. 

Dans le domaine de la préparation des troupes, par exemple, on s'affaire à redéfinir les normes et la terminologie touchant les unités et formations d'intervention rapide, de façon à les harmoniser avec celles de nos alliés et de la navigation commerciale. Les forces aériennes élaborent une nouvelle structure en matière de forces expéditionnaires aériennes. Le SMA (matériel) évalue les moyens d'améliorer la stratégie des transports, par voie navale et aérienne, pour assurer le déploiement et le ravitaillement en temps opportun des Forces canadiennes. Le SCEMD et le SMA (politique) collaborent avec le ministère des Affaires étrangères à l'établissement du cadre requis pour le déploiement et le ravitaillement de formations des FC dans les principaux pays du monde. 

Dans le domaine du maintien en puissance des troupes, un groupe d'appui conjoint a été mandaté pour organiser l'activation dans le théâtre, la logistique et le soutien. Le SMA (matériel) élabore un système de suivi des équipements qui sera conforme aux exigences militaires des É. U. et de l'OTAN. 

Toutes les recommandations visant le soutien du personnel faisaient déjà l'objet d'un suivi avant le dépôt du rapport final de l'étude. Ceci témoigne de la qualité de communications que l'équipe d'évaluation a su entretenir tout au long du processus avec les secteurs opérationnels. Le SMA (RH) a apporté des améliorations, en établissant une politique sur la sélection et la réintégration (en réponse à la recommandation 12), en mettant en œuvre un système de sélection en deux étapes, tant pour la Force régulière que pour la Force de réserve (en réponse à la recommandation 13) et en commandant une évaluation de la capacité du Groupe médical des Forces canadiennes d'appuyer les opérations (en réponse à la recommandation 14).

Reddition de comptes

Une des principales recommandations suggérait de réorienter l'utilisation des fonds de l'approvisionnement national (opérations et maintenance) pour financer la préparation opérationnelle des unités et formations d'intervention rapide. Il s'agit d'une recommandation plus difficile à appliquer, car ces fonds sont limités et ils ont été récemment utilisés à des fins d'immobilisations, comme la remise en état des véhicules militaires. Cette recommandation a mis en relief le rôle de la haute direction sur le plan de l'établissement des priorités, la décision lui incombant d'affecter les fonds de l'approvisionnement national à des projets d'immobilisation ou aux équipements nécessaires à la préparation des unités d'intervention rapide.

F. Répercussions imprévues de l'étude d'évaluation

Le quatrième objectif de l'évaluation consistait à examiner la pertinence de l'organisation actuelle de l'avant garde et de la force de contingence principale en vue de dégager des pistes pouvant suggérer des concepts d'avenir. À cet égard, l'évaluation a fourni des données capitales, en proposant un nouveau cadre conceptuel qui stipule que les notions d'avant garde et de force de contingence principale ne correspondent plus à la réalité opérationnelle du XXIe siècle de l'après 11 septembre 2001. Des approches et des options sont proposées pour une mise en place progressive, ou par étapes, d'un nouveau modèle de préparation des forces, similaire à celui qu'ont adopté nos alliés de l'OTAN et de l'ABCA, qui donnera aux Forces canadiennes la capacité militaire et la préparation requise pour un déploiement rapide, tant pour prévenir les crises éventuelles que pour les résoudre rapidement. Ces options prendront toute leur valeur pour la haute direction de MDN et des FC lorsqu'on ira de l'avant avec la nouvelle politique et le nouveau plan de défense.

G. Principaux facteurs ayant contribué à la réussite de l'évaluation
  1. Approche de participation pour la conduite de l'étude. À chacune des étapes importantes du projet, les évaluateurs ont encouragé la participation d'experts et de clients, et notamment d'un groupe de travail sur les pratiques d'évaluation, d'un ex officier supérieur au sein du Ministère et de cadres de premier niveau. Les avis d'expert et les données recueillies ont permis de modeler l'évaluation de façon à garantir sa pertinence, à respecter les délais et à produire des résultats précis et fondés sur les faits. Cette démarche a contribué à faire de l'évaluation un investissement rentable pour le Ministère.
  2. Appui de la haute direction. Tout au long du processus, les membres du haut commandement, plus particulièrement le CEMD, le VCEMD, le SCEMD et les chefs d'état major des environnements, ont suivi de près l'évaluation et la formulation des recommandations.
  3. Choix de moment de l'évaluation. Cette évaluation a été menée à un moment idéal, alors que le Ministère élaborait une nouvelle politique de la défense, de sorte qu'il y avait un fort intérêt, doublé d'un besoin, pour un examen de l'état de préparation des troupes. Concurremment, les résultats de cet examen ont aussi suscité beaucoup d'intérêt et les recommandations ont été bien reçues.
H. Améliorations proposées et leçons apprises

Aucune n'a été identifiée.

Annexe - Préparation et du maintien de l'avant-garde et de FCP (DN)

Aperçu de l'état de préparation et du maintien des FC
Contexte

Cette évaluation présente un point de vue indépendant sur les défis et les enjeux qui caractérisent l'ensemble des secteurs stratégiques et opérationnels des Forces canadiennes (FC) et du Ministère de la Défense nationale (MDN), plutôt qu'un examen d'un programme ou d'un service en particulier. C'est pourquoi nous résumons ci dessous le contexte général de l'état de préparation et du maintien en puissance au sein du MDN et des FC.

Évaluation de la situation tactique

Au cours des dix dernières années, la mission du MDN et des FC n'a pas changé – défendre le Canada ainsi que ses intérêts et ses valeurs, tout en contribuant à la paix et à la sécurité internationales. Pour mener à bien cette mission, le Canada doit disposer forces terrestres, maritimes et ariennes capables d'une très prompte réponse pour remplir une vaste gamme de tâches et de missions. 

Au cours des dernières années, le Canada a exigé que les FC soient en mesure de répondre promptement en cas de crise. Le pays a engagé dans des interventions d'urgence des formations de ses trois armes : mobilisation de forces terrestres et aériennes dans les Balkans, de forces aériennes et navales en Iraq, de forces terrestres au Timor Oriental et interventions en Asie du Sud Ouest dans le cadre de la guerre contre le terrorisme. La poursuite de ces engagements a d'importantes répercussions sur la charge opérationnelle et sur le personnel, qui menacent la capacité future des FC de répondre à des situations d'urgence, tant au pays que sur le plan international. 

Préparation et maintien en puissance

La préparation des FC désigne leur capacité à répondre de façon efficace et en temps opportun, tant sur le plan structurel que sur le plan opérationnel, en fonction des circonstances et de leurs engagements – ces derniers étant établis au préalable par des politiques, des plans et des ententes. Le maintien en puissance correspond à l'habilité des FC à soutenir le rythme des opérations aussi longtemps que nécessaire pour l'atteinte de leurs objectifs militaires. La définition de la capacité opérationnelle, sur le plan de la préparation et du maintien en puissance, met en jeu les aspects suivants :

  • Équipement : La mise en œuvre d'un inventaire complet d'équipements appropriés, de portée adéquate, et qui doivent être fiables et durables;
  • Effectifs : Une réserve de main d'œuvre suffisante, adéquatement entraînée du point de vue tactique et technique, tant sur le plan individuel qu'à titre d'équipe ou de groupe;
  • Rendement collectif : La capacité avérée de respecter la doctrine en cours et la structure de commandement, dans n'importe quelle opération mixte ou conjointe; 
  • Capacité de déploiement : La possibilité de déployer un élément des forces dans le théâtre d'opérations voulu, dans les délais de préparation impartis et d'être à même d'intervenir dès l'arrivée des troupes;
  • Soutenabilité : La possession d'approvisionnements de combat en attente et d'équipements de remplacement, et la possibilité de les déployer sur le théâtre des opérations et de les déplacer à l'intérieur de celui ci. Cette notion comprend aussi la capacité de générer (ou de régénérer) suffisamment d'effectifs et de matériel pour soutenir l'opération, quelle que soit sa durée. 

On trouve dans le plan de défense annuel du MDN et de FC, et dans certains documents de NORAD et de l'OTAN, des directives relatives à l'état de préparation et au maintien en puissance, qui stipulent les instructions que recevront les unités et formations de CF quant à leur délai de préparation et à la période de soutenabilité des tâches d'intervention. Dans la plupart des cas, on y identifie la taille des unités ou formations, de même que le délai avant le départ et la durée de soutenabilité. 

Voici les principales tâches d'intervention rapide et les exigences sur le plan de la soutenabilité qui ont principalement fait l'objet de l'étude d'évaluation.

  Tâche Avis de départ Soutenabilité
Forces navales Groupe opérationnel naval de quatre bâtiments 90 jours 60 jours de combat/180 jours de conflit de faible intensité
Forces terrestres Groupement tactique d'infanterie légère 21 jours Période indéterminée pour les conflits de faible intensité
Groupement tactique de moyenne envergure (avant garde) 21 jours Période indéterminée pour les conflits de faible intensité
Groupe brigade (incluant l'avant garde et jusqu'à trois groupements tactiques) 90 jours 60 jours de combat/180 jours de conflit de faible intensité
Forces aériennes Missions de NORAD – CF 18 « X » mins Période indéterminée
CF-18 (Avant garde) 21 jours Période indéterminée pour les conflits de faible intensité
CF-18 en renfort de la FCP 90 jours 60 jours de combat/180 jours de conflit de faible intensité
Recommandations découlant de l'évaluation

État de préparation :

  1. Harmoniser les délais de préparation du Plan de la défense avec ceux du Questionnaire sur les plans de défense de l'OTAN et, dans la mesure du possible, faire en sorte que les engagements prévus dans les deux documents correspondent plus précisément aux capacités actuelles.

  2. Modifier les tâches de défense pour refléter les tâches spécifiques qui font l'objet de priorités en regard du temps de réponse et de la durée de soutenabilité.

  3. Mettre en place un processus de surveillance de l'état de la préparation similaire au « US Joint Quarterly Readiness Review Process ».

  4. Pour les unités et formations d'intervention rapide, redéfinir les « jours d'approvisionnement », réviser le barème de dotation et adopter un tableau d'effectifs et de dotation normalisé, en lien avec le tableau des mouvements de la force opérationnelle.

  5. Examiner la faisabilité de la mise sur pied progressive d'une structure de corps expéditionnaire pour la collectivité des chasseurs CF-18.

  6. Conclure les ententes nécessaires en matière de mouvements stratégiques pour garantir en temps opportun le déploiement et le ravitaillement des FC, conformément aux délais prévus dans le plan de la défense.

  7. En collaboration avec la DAF, établir le cadre nécessaire aux déploiements futurs de formations des FC et à leur maintien en puissance dans les pays clés dans le monde, en incluant les PE et SOFA requis. 

Maintien en puissance :

  1. Placer au sommet de priorités du MDN et des FC la préparation et le maintien de formations et unités d'intervention rapide, en s'assurant que le financement provenant de l'approvisionnement national les visera en premier lieu, incluant la régénération des stocks opérationnels et logistiques.

  2. Articuler de façon plus claire les responsabilités conjointes des SMA (matériel) et leur imputabilité à l'égard de la préparation et du maintien des FC.

  3. Créer un groupe d'appui conjoint pour organiser l'activation dans le théâtre, la base logistique et le soutien à l'arrivée des troupes, la préparation et le suivi de leur intégration et de leurs mouvements, y compris l'intégration du soutien médical et la fermeture de la base du théâtre.

  4. Instaurer un système de suivi commun, compatible avec les systèmes américains, pour la surveillance de l'état des équipements et de la disponibilité et du mouvement des stocks, d'un bout à l'autre de la chaîne d'approvisionnement, depuis le Canada jusque sur les divers théâtres des opérations.

Soutien du personnel :

  1. Créer une base de données nationale de FC pour assurer le suivi des membres des Forces régulières et des Forces de réserve qui ont été déployées dans le cadre d'opérations internationales, de façon à pouvoir mieux les encadrer pendant et après leur réintégration.

  2. Revoir les politiques liées aux opérations en cours, incluant celles qui touchent les indemnités de retour au domicile, les passeports et la sélection des réservistes, de même que les pratiques en matière d'impartition.

  3. Commander une évaluation indépendante de la capacité du Groupe médical des FC à soutenir les opérations en cours.

Évaluation formative : Prestations d'emploi et mesures de soutien en vertu 
des Ententes sur le développement du marché du travail 
DRHC (devenu RHDCC)
1999-2002

A. Contexte de l'évaluation
Type d'évaluation

Formative
Cette étude de cas englobe une série d'évaluations formatives des Prestations d'emploi et mesures de soutien (PEMS), programmes gérés par les provinces et les territoires en vertu des Ententes sur le développement du marché du travail (EDMT).

Justification

Ces évaluations formatives des PEMS sont prescrites par la Loi sur l'assurance emploi et elles doivent être intégrées au Rapport de contrôle et d'évaluation. Le Cadre de responsabilité prévu à l'Entente prévoit aussi une évaluation de la mise en œuvre et de la prestation de services de ces programmes.

Détails

Entité responsable des évaluations : Évaluation et Développement des données, Politique stratégique 

Ressources externes : Des firmes externes ont été appointées pour mener chacune des évaluations, sous la supervision du service d'évaluation de RHDCC. 

Coûts : Variables selon chaque évaluation; coût moyen approximatif de 250 000 $.

Durée : Les évaluations formatives ont été entreprises au cours de la première année de mise en œuvre de chacune des ententes, ou peu après. Les douze évaluations ont été réalisées en 1999 et en 2002 dans chacune des provinces et chacun des territoires (à l'exception du Nunavut, pour lequel il n'y avait pas encore d'entente). 

Structure de gouvernance : Chaque EDMT est gérée par un comité directeur mixte qui regroupe des représentants du gouvernement fédéral et du gouvernement provincial ou territorial, et dont la présidence est habituellement conjointement confiée à un directeur exécutif régional de RHDCC et aux SMA des provinces. En vertu des modalités des EDMT, ce comité mixte est responsable de la tenue des évaluations des Prestations d'emploi et mesures de soutien. Cette responsabilité englobe la supervision du déroulement et de la coordination de chacune des évaluations.

B. Constatations et recommandations
Objectifs

Ces évaluations visaient toutes à fournir des informations sur les modifications à apporter à la conception et à l'exécution du programme pour mieux atteindre les objectifs établis. Les objectifs communs de ces évaluations étaient les suivants :

  • vérifier à quel point les prestations et mesures provinciales ainsi que leur « infrastructure » (dans la plupart des cas, l'EDMT) ont permis d'atteindre l'objectif de l'EDMT qui consiste à aider des personnes à obtenir un emploi et à le conserver;
  • procurer aux gestionnaires, décideurs et concepteurs de programme de l'information dans divers domaines comme la conception d'un programme, sa mise en œuvre, son exécution et les cheminements et expériences de la clientèle, afin d'utiliser au maximum les ressources de chaque marché du travail local;
  • établir le rapport coût efficacité des interventions;
  • faire ressortir « ce qui fonctionne le mieux » et « les leçons à tirer ».
Constatations

Les constatations de ces évaluations portent généralement sur la mise en œuvre des programmes, leur conception, le mode de prestation des services et les cheminements et expériences de la clientèle. On a accordé une attention particulière à l'harmonisation du programme et des services, à la coopération et aux partenariats, à la souplesse d'exécution sur le plan local, à l'accès aux services, à la satisfaction de la clientèle, aux répercussions sur les collectivités, de même qu'au suivi du programme et à l'imputabilité.

Recommandations

Seules quelques équipes d'évaluation ont formulé des recommandations. Comme il s'agissait d'évaluations formatives, on a généralement davantage mis l'accent sur la documentation des constatations, aux fins de dégager des façons d'améliorer le programme. 

On trouvera en annexe un résumé des recommandations formulées dans trois des provinces.

Processus de mise en œuvre

L'administration et la mise en œuvre des EDMT sont supervisées par un comité directeur mixte qui regroupe des représentants du gouvernement fédéral et du gouvernement provincial ou territorial. Chacun de ces comités s'est activement engagé pour donner suite aux constatations des évaluations et mettre en œuvre ses recommandations, le cas échéant. L'approbation finale des rapports d'évaluation relevait du comité de vérification et d'évaluation de RHDCC.

C. Degré d'indépendance de l'étude et caractéristiques de ses répercussions

Sans objet

D. Principaux utilisateurs de l'évaluation
Gestion du programme

Les principaux utilisateurs de l'évaluation ont été les équipes de gestion du programme, tant à la DRHC qu'au sein des gouvernements des provinces et des territoires. Les comités mixtes se sont appuyés sur les résultats d'évaluation pour renforcer les processus de prise de décisions et améliorer les programmes et services offerts à la clientèle. Les évaluations ont aussi permis vérifier dans quels volets du programme les objectifs étaient atteints et d'identifier les éléments de conception qui nécessitaient des correctifs.

Ministres et membres du parlement

Les résultats de l'évaluation sont versés dans le Rapport annuel de contrôle et d'évaluation du Régime d'assurance emploi, qui doit être soumis au ministre de Développement des ressources humaines Canada, en vertu de l'article 3 de la Loi sur l'assurance emploi.Ces résultats (de même que d'autres rapports clés de gestion) ont aussi servi à la mise en œuvre du nouveau système de suivi des subventions et contributions de la DRHC, qui vise à améliorer les processus de surveillance des paiements de transfert et de l'imputabilité.

Conseil du Trésor

Le Conseil du Trésor a été informé des résultats des évaluations, bien que la présentation des résultats à cette instance ne fasse l'objet d'aucune exigence officielle.

E. Répercussions imprévues de l'étude d'évaluation

Aucune n'a été identifiée.

F. Utilité de l'étude d'évaluation 
Généralités

Comme il s'agissait d'évaluations formatives, leur première utilité fut de vérifier si les programmes étaient gérés de façon efficace, en particulier dans le cadre des Ententes sur le développement du marché du travail. Ces ententes ayant été mises en œuvre de façon progressive entre les provinces et les territoires, les évaluations ont permis d'identifier les volets qui fonctionnaient correctement et ceux auxquels il était nécessaire d'apporter des correctifs. Les résultats ont donc pu servir à ajuster les pratiques pour les juridictions qui n'avaient pas encore mis en œuvre leur EDMT. 

Au cours des dernières années, le ministère a aussi procédé à des évaluations sommatives des PEMS. Quelques unes d'entre elles ont été complétées, mais leurs résultats n'ont pas encore été publiés. On s'attend à ce que ces évaluations soient encore plus utiles sur le plan des prises de décisions touchant la conception du programme et les politiques qui le sous tendent.

Réussite

Aux fins de faire ressortir les volets permettant une réussite rapide de la clientèle, ces évaluations n'ont eu qu'une portée limitée. Bien que centrées sur la mise en œuvre et l'exécution du programme, ces évaluations formatives ont tout de même permis de dégager quelques indications à propos des résultats. 

De façon générale, les études d'évaluation formatives ont conclu que les programmes régis par les EDMT correspondaient aux besoins personnels de la clientèle face au marché de l'emploi, de même qu'à ceux des collectivités, des employeurs et des secteurs industriels en croissance. Elles aussi ont confirmé les forces de l'approche fondée sur les partenariats, tout en mettant en relief certains aspects nécessitant des améliorations. 

La plupart des évaluations formatives ont mesuré les répercussions croissantes des activités des PEMS sur les individus, et elles ont démontré que leurs interventions avaient un impact positif sur l'employabilité, la confiance en soi et le sens des responsabilités des clients. On a toutefois constaté qu'à court terme, la participation aux programmes ne réduisait pas sensiblement la dépendance de la clientèle au soutien du revenu, sauf pour le volet d'aide au travail indépendant dans le cadre duquel les participants ont réduit leur dépendance aux prestations d'a. e. 

Les évaluations comportaient aussi un examen des répercussions sur les collectivités. Les constations portent à croire que les programmes d'intervention directe sur le marché du travail sont favorablement accueillis dans les collectivités et que les groupes communautaires apprécient l'accent que les EDMT mettent sur les forces et le rôle des collectivités pour aider les gens à retrouver un emploi. D'après les résultats, il semblerait que les programmes ont déjà des répercussions sur le marché local de l'emploi.

Harmonisation du programme

Une autre des principales utilités de ces évaluations fut de démontrer que, de façon générale, la coordination des programmes entre le palier fédéral et les administrations provinciales et territoriales était adéquate. Dans une évaluation antérieure à la mise en œuvre des EDMT, on avait constaté qu'il y avait des risques de chevauchement entre les interventions des PEMS et celles d'autres programmes. La mise en place de EDMT a aidé à réduire ces dédoublements. Les études ont permis de constater que, dans la plupart des cas, les programmes étaient complémentaires, sans chevauchement apparent, car ils s'adressent à des clientèles différentes ou, dans le cas contraire, visent des étapes spécifiques de leur démarche de retour au travail. Dans la plupart des juridictions, on croit qu'il y a encore place à l'amélioration sur le plan de la coordination des programmes entre les paliers de gouvernements, et cet aspect est une préoccupation constante des comités mixtes de gestion.

Conception du programme et améliorations requises

Les évaluations ont eu une certaine incidence sur le plan de la distinction des éléments de conception et d'exécution du programme relevant des gestionnaires du programme et du comité mixte qui fonctionnaient correctement de ceux pour lesquels des améliorations étaient requises. Par exemple : 

  • La coopération et les partenariats : Malgré quelques inévitables ajustements de la méthode de travail, les EDMT ont contribué à la croissance des partenariats entre les gouvernements et au sein de ceux ci. Ceci a demandé, et continuera de demander, de forts investissements en temps et en énergie de la part de toutes les parties impliquées.
  • L'accès aux programmes et aux services : Les constatations suggèrent que les programmes d'intervention directe sur le marché du travail sont tout à fait pertinents en regard de besoins de la clientèle de l'Assurance emploi et qu'ils ont pu rejoindre la majorité des prestataires dont la demande est active. Toutefois, les études d'évaluation indiquent que l'accès aux programmes est plus difficile dans les régions rurales ou éloignées, en raison des obstacles que constituent les grandes distances et la faible taille du marché du travail. Par ailleurs, les évaluations relèvent aussi que, comme c'est la Loi sur l'assurance emploi qui définit la clientèle visée, beaucoup de personnes qui pourraient tirer parti des programmes n'y sont pas admissibles.
  • La souplesse sur le plan local : La plupart des juridictions sont d'avis que les programmes d'intervention directe sur le marché du travail offrent suffisamment de souplesse pour pouvoir s'adapter aux besoins locaux. Elles considèrent qu'il s'agit de programmes d'une portée très large permettant beaucoup de souplesse sur le plan de l'interprétation, et qu'il est en conséquence possible de les adapter aux caractéristiques des différentes collectivités.
  • La satisfaction des clients en regard des programmes et des services : La grande majorité des clients se disent très satisfaits de la qualité de la prestation des services dans le cadre de ces programmes. Plus des trois quarts d'entre eux considèrent que les services sont bons ou excellents, alors que seulement 10 % expriment de l'insatisfaction.
Reddition de comptes

Les évaluations ont mis en relief le fait qu'il y avait lieu d'apporter des améliorations aux procédures de cueillette de données sur le rendement et d'échange d'informations; il s'agit d'un nouveau centre d'intérêt pour de nombreuses administrations. En particulier, l'intégrité des données et les systèmes de saisie de l'information demeurent un défi à relever en raison de la complexité des systèmes, parfois incompatibles, dont dépendent les transferts de données entre les provinces ou territoires et la DRHC. De façon générale, la gestion quotidienne des rapports d'information s'est avérée problématique (p. ex., la production de rapport sur la clientèle et les interventions). La DRHC et ses partenaires des provinces et territoires s'affairent ensemble à gérer et résoudre ces problèmes.

G. Principaux facteurs ayant contribué à la réussite de l'évaluation

Participation conjointe du gouvernement fédéral et des gouvernements provinciaux ou territoriaux dans le cadre des évaluations. Dans chaque province et territoire, on a établi un processus conjoint avec le gouvernement fédéral pour mener à bien l'évaluation des services offerts dans le cadre des EDMT. Le cadre de la plupart des ententes requiert qu'un comité mixte d'évaluation soit créé aux fins de soutenir et superviser l'évaluation des PEMS. Ce comité doit comprendre des représentants de la province ou du territoire de DHRC (représentants issus des bureaux régionaux ou de l'ACN.) Ce processus de coopération a engendré un intérêt réciproque et des prises de décisions sur une base conjointe. C'est ce comité qui a approuvé la méthodologie et les produits livrables des évaluations, de même que leurs rapports.

H. Améliorations proposées et leçons apprises en vue de futures études d'évaluation

L'échéancier de réalisation des évaluations et de diffusion des résultats pourrait être resserré. Cette dimension a une grande importance pour le personnel responsable d'une politique ou d'un programme qui devra être modifié en fonction des constatations de l'évaluation. Les résultats de l'évaluation doivent être connus en temps opportun, pour que les modifications puissent être effectuées alors qu'elles sont encore pertinentes.

Annexe - Ententes sur le développement du marché du travail 

Aperçu du programme
Description

Les Prestations d'emploi et mesures de soutien sont définies dans la partie II de la Loi sur l'assurance emploi et sont constituées de mesures actives conçues pour aider les travailleurs en chômage à retrouver du travail. Les personnes qui répondent aux critères de sélection et qui sont disposées à participer ont accès à des interventions personnalisées. Pour être admissibles aux prestations d'emploi et mesures de soutien, les chômeurs doivent toucher des prestations d'assurance emploi, avoir touché des prestations d'assurance chômage au cours des trois dernières années ou encore avoir reçu des prestations de maternité ou prestations parentales au cours des cinq dernières années. Les prestations visent les personnes qui ont besoin d'une aide supplémentaire et qui sont disposées à prendre un engagement personnel à l'égard d'un plan d'action visant leur retour au travail.

Les cinq grands volets des PEMS sont les suivants :

  • Subventions salariales ciblées (SSC) – conçues pour encourager les employeurs à recruter des travailleurs qu'ils n'auraient pas envisagé d'embaucher autrement;
  • Aide au travail indépendant (ATI) – dont l'objectif est d'aider les particuliers qui ont un projet solide à lancer leur propre entreprise en leur offrant du soutien au revenu, des services de mentorat / encadrement et de l'aide technique; 
  • Achats de formation et Prêts et subventions de perfectionnement (PSP) – conçus pour aider les travailleurs à acquérir la formation et les compétences dont ils ont besoin. (L'achat de cours de formation est en train d'être éliminé progressivement pour être remplacé par le nouveau régime de Prêts et subventions de perfectionnement);
  • Partenariats de création d'emplois (PCE) – des projets spéciaux conçus pour créer des emplois incrémentiels et valorisants à l'intention des clients en offrant des activités qui contribuent au développement de la collectivité et de l'économie locale peuvent être élaborés en partenariat avec les CRHC, les provinces, le secteur privé et les groupes communautaires; 
  • Services d'aide à l'emploi (SAE) – un ensemble de services pouvant revêtir diverses formes, notamment la présentation d'outils d'information sur le marché du travail, de l'aide pour trouver du travail bénévole, participer à des clubs de recherche d'emploi et être aiguillés vers l'une des composantes des prestations d'emploi ou toute autre intervention jugée appropriée.
Objectifs

Aider les particuliers à se préparer à l'exercice d'un emploi, à se trouver un emploi et à le conserver, de façon à réduire leur dépendance aux programmes gouvernementaux de soutien du revenu, dont les prestations d'Assurance emploi et de la Sécurité du revenu.

Exécution du programme

En mai 1996, le gouvernement du Canada a proposé à toutes les provinces et territoires de créer des partenariats dans le but de répondre aux besoins particuliers des Canadiens sans emploi et d'adapter les mesures aux conditions de leur marché du travail. Dans le cadre des Ententes sur les mesures de développement de l'emploi (EDMT), les deux paliers de gouvernement convenaient de partager la responsabilité de la conception et de l'exécution de programmes d'intervention directe sur le marché du travail, tels qu'ils sont définis dans la deuxième partie de la Loi sur l'Assurance emploi

On distingue deux types d'entente : les ententes de cogestion et les ententes de transfert. Les provinces et territoires qui ont signé une entente de transfert s'engagent à assumer la responsabilité de la conception et de l'exécution des mesures actives d'aide à l'emploi financée par le programme de l'Assurance emploi. Dans le cadre d'une entente de cogestion, les deux paliers de gouvernement se chargent conjointement de la conception, de l'exécution et de l'évaluation de ces mesures, tandis que la DRHC poursuit la prestation des services de ses programmes par le biais de son réseau. 

À l'exception de l'Ontario, toutes les juridictions ont signé une entente avec le gouvernement fédéral. Il s'ensuit qu'en Ontario, c'est le gouvernement fédéral qui demeure responsable de l'application des parties I et II de la Loi sur l'assurance emploi.

Budget annuel

Au cours de l'exercice 2001 2002, les provinces et les territoires ont disposé d'un budget de 1,95 milliard de dollars pour assurer la gestion des Ententes sur les mesures de développement du marché du travail.

Recommandations découlant de l'évaluation

Nouveau Brunswick : 

  1. Il convient de mettre au point une stratégie globale touchant les communications internes en vue de résoudre les difficultés ministérielles et interministérielles. Cette stratégie devrait englober les questions touchant la précision des rôles et des responsabilités dévolus respectivement au personnel et aux ministères qui sont parties à l'Entente, ainsi que les changements que la mise en œuvre de l'Entente a provoqués dans la prestation des services. Il y aurait peut être lieu, par exemple, pour venir en aide aux employés de première ligne, de mettre au point un système d'information unique sur les programmes, qui soit automatisé et convivial. 

  2. Des décisions s'imposent touchant des questions d'intérêt mutuel pour les ministères partenaires au sujet de la mise en œuvre. Il s'agit de questions relatives à la promotion des programmes et des services découlant de l'EDMT de même qu'à l'exécution des services, notamment en ce qui a trait à l'accueil et à la signalisation dans les CSRH.

  3. Les partenaires fédéraux et provinciaux doivent s'entendre sur la responsabilité des services auprès de la clientèle autochtone, en particulier celle qui vit dans les réserves.

  4. En matière de promotion, il faudra mettre au point une stratégie des communications externes afin d'accroître la sensibilisation des prestataires d'a.-e. dont la participation aux prestations et aux mesures est très inférieure à l'objectif fixé. 

  5. Une recherche qualitative plus poussée s'impose quant aux raisons de la participation marquée des anciens prestataires réadmissibles, en particulier dans le cadre du programme Entrepreneur. Les travaux permettront de déterminer si cette participation élevée est attribuable aux démarches des agents chargés du service à la clientèle, à une demande d'aide plus forte que prévue de la part des anciens prestataires réadmissibles ou à d'autres facteurs.

  6. Une meilleure intégration des systèmes d'information maintenus par les trois ministères permettrait de mieux contrôler le déroulement du programme et ses résultats, ce qui faciliterait la gestion du programme et de la prestation des services, de même que la détermination ultérieure des impacts aux niveaux provincial et local. Dans le même ordre d'idée, il est nécessaire de préciser les exigences en matière de comptes à rendre et de responsabilité à l'égard de tels et tels résultats, de définir des mesures de résultat valables et de régler la question des renseignements personnels de manière à favoriser le partage de l'information que les partenaires de l'Entente détiennent sur les clients

  7. Des changements doivent être apportés afin que les programmes correspondent bien aux besoins de la clientèle visée, compte tenu de la proportion plus faible que prévue de prestataires d'a.-e. qui ont participé aux programmes de l'EDMT. À cet égard, nous avons pu constater que des clients de l'a.-e. n'ont pas été dirigés vers les PMP. Il se peut que les faibles résultats concernant l'atteinte des objectifs découlent de problèmes associés à la prestation des services, aux communications interministérielles et à un mauvais ciblage

  8. En matière d'exécution du programme, une meilleure coordination entre les trois ministères améliorerait la prestation des services et la participation aux programmes de l'EDMT. Les efforts pourraient porter, par exemple, sur les heures de bureau et les renvois de clientèle entre les ministères.

  9. La nomination d'un responsable de projet chargé spécifiquement de surveiller la mise en œuvre de l'Entente (y compris la suite à donner aux présentes recommandations) permettrait d'aplanir les difficultés qui risquent de surgir d'ici la fin du processus de mise en œuvre. Parmi les bienfaits pouvant découler de cette nomination, mentionnons que ce responsable pourrait faciliter la communication entre les trois ministères, désamorcer au fur et à mesure les difficultés et travailler à l'établissement de lignes directrices concernant de nombreux aspects de la mise en œuvre qui n'ont pas été résolus avant la signature de l'EDMT (p. ex., la définition des responsabilités respectives touchant les frais d'administration).

  10. Pour résoudre les problèmes d'uniformité dans la prestation des services, il faudrait encourager les divers bureaux à s'échanger leurs points de vue et leurs expériences au moyen, entre autres, du courrier électronique ou d'un site Internet prévu à leur intention.

  11. Il faudra approfondir la recherche, notamment lors de l'évaluation sommative, en vue de poser un jugement plus définitif sur l'impact relatif des différents programmes sur les résultats dans divers domaines, dont l'emploi.

Nouvelle Écosse

  1. Stratégie. DRHC devrait examiner le degré de flexibilité qu'il a accordé aux responsables du réseau d'exécution des PEMS. Il conviendrait de rédiger un manuel de directives abrégé expliquant comment et quand utiliser chaque volet des PEMS et précisant les règles obligatoires à respecter.

  2. Administration. Les administrateurs dans les services centralisés et les gestionnaires de secteurs devraient veiller à ce que le personnel chargé de l'exécution respecte les lignes directrices établies pour le programme.

  3. Formation. La formation relative aux nouveaux programmes doit être plus spécifique, particulièrement lorsque le personnel de première ligne a de grands pouvoirs discrétionnaires. Il convient d'expliquer clairement les grandes règles stratégiques qui doivent être respectées.

  4. Suivi des programmes. Il y a lieur de resserrer le suivi des programmes. La DRHC devrait fournir les ressources nécessaires à la collecte de données pertinentes, et veiller à ce que les gestionnaires et le personnel aient accès à l'information. 

Colombie Britannique

  1. Dénouer l'impasse au niveau de la haute direction au sujet des priorités et des objectifs du gouvernement fédéral et de la province et se mettre d'accord sur un plan commun, à l'échelle de la province, pour la prochaine année.

  2. Compte tenu de la méthode de prestation des services de la DRHC depuis juillet 1996, intégrer les tiers fournisseurs de services dans le processus décisionnel et la planification au niveau local. Leur donner un rôle qui soit significatif et respecté.

  3. Trouver moyen de permettre au personnel de voir aux besoins des clients qui peuvent les empêcher de se chercher du travail ou de garder un emploi lorsqu'ils en ont trouvé un.

  4. Examiner les besoins de plans infraprovinciaux pour veiller à ce qu'ils soient suffisamment complets pour les fins du cadre de responsabilité. Les plans doivent comprendre tous les clients (et pas seulement les clients mutuels) et présenter des renseignements sur les cibles en unités qui se prêteront à des comparaisons avec les cibles et à des comparaisons d'une année à l'autre.

  5. Pour chacune de ces catégories, fixer des cibles pour : le nombre prévu des personnes à servir, par genre de PEMS; les coûts prévus (par PEMS et autres); le nombre ou le pourcentage prévu de retours au travail; les économies nettes prévues (reconnaissant que les dépenses en vertu de la partie II de l'a. e. sont un coût) pour le Compte d'a.-e. Faire un contrôle par rapport à ces cibles au niveau local. Faire enquête sur les écarts par rapport aux cibles et, s'il y a lieu, prendre des mesures correctives.

  6. Vérifier qu'il y a des systèmes d'appoint suffisants, fonctionnant sans problèmes, pour fournir des données fiables, exactes et convergentes.

  7. Travailler avec les gestionnaires de première ligne à la définition de leurs besoins en matière de rapports de données, puis veiller à intégrer ces besoins dans les systèmes.

  8. Déterminer pourquoi les totaux de participants sont faibles.

  9. Revoir les méthodes utilisées pour mesurer le succès. Apporter des changements qui mettent l'accent sur le succès attribuable, permettent de faire une meilleure utilisation des renseignements disponibles et augmentent l'uniformité de la mesure du succès.

  10. Au minimum, présenter les mesures du succès séparément pour les apprentis et les non-apprentis. De préférence, éliminer les apprentis des cibles et de la mesure du succès.

Évaluation de programme : Évaluation du programme Rescol
Industrie Canada
Janvier 2004

A. Contexte de l'évaluation
Type d'évaluation

Étude sommative présentant une synthèse des constatations de l'évaluation en cours et des six évaluations antérieures des composantes et du fonctionnement du programme Rescol.

Justification

Parmi les principaux facteurs justifiant de mener cette évaluation, soulignons les besoins suivants :

  • déterminer les meilleurs moyens d'adapter l'initiative à l'évolution des besoins; examiner les différentes composantes du programme Rescol pour identifier lesquelles doivent être reconduites et, le cas échéant, l'élément de conception du programme qui les chapeautera; regrouper et synthétiser les résultats des évaluations des phases précédentes du programme en vue d'une présentation à la haute direction aux fins de renouveler la conception, l'orientation et la programmation de l'initiative;
  • contribuer à réaliser l'engagement qu'a pris le gouvernement fédéral dans son budget de 2003 de revoir tous ses programmes branchant les Canadiens à l'information et à la connaissance pour déterminer la meilleure façon de collaborer, entre autres, avec l'industrie, les provinces et les collectivités canadiennes;
  • obtenir une rétroaction des participants externes pour vérifier si le programme répond à leurs besoins;
  • se conformer aux exigences des présentations au Conseil du Trésor.
Détails

Entité responsable de l'évaluation : La responsabilité globale du processus relevait de la Direction de la vérification et de l'évaluation d'Industrie Canada.

Ressources externes : La réalisation de l'étude a été confiée à une firme externe.

Coûts : 68 480 $ (incluant la TPS)

Durée : Le processus d'évaluation a duré 7 mois, de juillet 2003 à janvier 2004. Les résultats de l'évaluation ont été soumis au Comité ministériel de la vérification et de l'évaluation (CMVE) en février 2004. 

Structure de gouvernance : Industrie Canada a mis sur pied un comité directeur de l'étude d'évaluation du programme Rescol dont le mandat consistait à seconder l'équipe des évaluateurs pour l'établissement et le maintien d'un encadrement adéquat, émettre des directives en cas d'ambiguïtés ou de problèmes, et fournir une rétroaction en regard des constatations et recommandations de l'étude d'évaluation. Ce comité regroupait des représentants d'Industrie Canada (évaluation, programme et personnel politique), des gouvernements provinciaux, des secteurs privé et académique, de même que des observateurs du ministère de Finances et du Secrétariat du Conseil du Trésor. 

Le Comité ministériel de la vérification et de l'évaluation a entériné la version finale du rapport.

B. Constatations et recommandations
Objectifs

Apporter des renseignements qui pourront contribuer aux décisions de développement des politiques et de la programmation qui ont trait à l'élaboration de la suite de la stratégie Un Canada branché et de la Stratégie d'innovation d'Industrie Canada, et particulièrement aux programmes qui relèvent de Rescol.

Constatations

Les constatations ont été regroupées sous diverses catégories :

  • Pertinence du programme – l'étude conclut qu'il y a de solides justifications économiques à l'appui de la poursuite du programme Rescol, bien que quelques correctifs soient nécessaires pour l'adapter à l'émergence de nouvelles problématiques. 
  • Atteinte des objectifs – l'étude conclut que le programme Rescol a atteint beaucoup de ses objectifs, mais qu'il a des carences sur le plan du développement des compétences en TIC dans les écoles des Premières nations.
  • Options pour répondre avec efficacité aux défis actuels en matière de connectivité et d'innovation.
Recommandations

Treize recommandations ont été formulées, touchant les orientations politiques futures, la conception du programme et la reddition des comptes. On trouvera en annexe des précisions à propos de ces recommandations.

Processus de mise en œuvre

Un plan pour le suivi des résultats et des recommandations a été soumis au Comité ministériel de vérification et d'évaluation. En raison de décisions budgétaires et de l'établissement d'une nouvelle stratégie, le budget du programme Rescol a été réduit de 45 M$ à 25 M$ peu après le dépôt des résultats. Cette compression budgétaire a eu pour effet de restreindre la mise en œuvre de beaucoup des recommandations de l'étude. On a donc dû mettre fin à certaines initiatives ou en réduire la portée (notamment, le volet Rescol à la source et le programme du Réseau des écoles innovatrices). Malgré ces contraintes, les recommandations ont été mises en œuvre ou sont en voie de l'être. 

Une mise à jour de plan d'action a été produite par la Direction générale des applications de l'autoroute de l'information (DGAAI) au cours des mois de janvier et février 2005. Depuis lors, la Direction de la vérification et de l'évaluation a assuré un suivi officiel de la mise en œuvre du plan d'action initial dont les résultats ne sont pas encore diffusés, car ils doivent faire l'objet d'un examen interne au sein du ministère.

C. Principaux utilisateurs de l'évaluation
Haute direction

Pour le directeur général de la DGAAI, les résultats de l'évaluation ont constitué une source importante d'information à l'appui des initiatives et programmes associés à l'initiative Rescol. Ils ont été repris de façon systématique dans le mémoire présenté au Cabinet aux fins de reconduire le programme.

Gestionnaires de programme

C'est à partir des résultats de l'évaluation que l'on a complètement repensé le programme pour en faire une initiative d'apprentissage sur Internet. Les résultats mettent en relief les aspects touchant l'apprentissage interactif et peuvent facilement servir à la conception d'initiatives connexes dans ce domaine. C'est dans ce contexte d'ensemble, et en tenant compte d'autres priorités concurrentes, que les gestionnaires du programme ont établi les nouvelles orientations qu'ils ont présentées au Cabinet.

D. Degré d'indépendance de l'étude et caractéristiques de ses répercussions

Plusieurs facteurs tendent à démontrer que l'étude d'évaluation était impartiale :

  • elle était sous la responsabilité de la Direction de la vérification et de l'évaluation, et non sous celles de la direction du programme; 

  • la présence de représentants d'organismes externes au sein du comité directeur rehaussait le degré d'objectivité de l'étude;

  • la décision finale d'accepter le rapport d'évaluation a été prise conjointement par la Direction de la vérification et de l'évaluation et le comité directeur. 

L'objectivité de l'étude a contribué à la crédibilité des résultats et à l'acceptation des recommandations.

E. Utilité de l'étude d'évaluation
Généralités

Dans l'ensemble, le processus d'évaluation, conduit par une tierce partie, a permis de recueillir de précieuses informations provenant de sources externes. Elle a aussi été l'instrument qui a permis de poursuivre le programme Rescol deux ans après la date prévue de la fin de son mandat et de remodeler ses principales activités.

Décisions relatives à la gestion et à l'affectation des ressources

Les résultats de l'évaluation ont aussi contribué à déterminer comment les ressources seraient réaffectées lorsque le budget du programme a soudainement été réduit de 40 %. D'autres processus ou instruments ont davantage contribué à ces prises de décisions, parce que le budget du programme était moindre et que l'on a dû mettre fin à certaines activités dont le taux de réussite était très élevé.

Orientations stratégiques futures

On a donné suite à la recommandation de procéder à l'examen d'une large gamme de questions. On s'attend à ce que les résultats de cet examen contribuent à l'élaboration des futures orientations politiques. De plus, les résultats de l'évaluation servent de base à la rédaction d'un mémoire au Cabinet pour corriger les lacunes du programme.

Conception du programme

Bien que le budget total du programme ait été réduit, les fonds alloués à la composante visant les Premières ont été multipliés par 5 ou 6. Il s'agit d'une composante dont la conception devait être revue. Les principes dégagés par l'étude, comme l'importance de tenir des consultations, de mettre sur pied des partenariats et d'adapter les règles de déploiement selon les besoins des communautés locales, ont servi de base pour remodeler cette composante du programme.

Améliorations apportées au programme

Les résultats de l'évaluation ont facilité la restructuration de certaines composantes du programme, comme le recyclage des déchets électroniques et le volet touchant les Premières nations.

Amélioration du processus de reddition de comptes et des relations hiérarchiques

La réalisation de cette évaluation avait une grande importance pour démonter l'intégrité de l'ensemble du processus de gestion. Dans le discours du Trône, le gouvernement s'est engagé à examiner tous les programmes visant à « brancher les Canadiens ». Le Rescol est l'un des principaux programmes de cette catégorie, et son évaluation a permis de constater qu'il atteignait ses objectifs.

F. Répercussions imprévues de l'étude d'évaluation
  1. L'évaluation s'est révélée être une puissante source de motivation pour le personnel et les gestionnaires du programme. La confirmation de la réussite du programme constitue une reconnaissance du travail des employés du programme qui vient rehausser leur niveau de confiance.
  2. L'évaluation peut servir d'étalon sur le plan de la prestation des services dans le cadre de programmes similaires et ses recommandations sont perçues comme des pratiques exemplaires pouvant s'appliquer à plusieurs autres programmes.
G. Principaux facteurs ayant contribué à la réussite de l'évaluation
  • Appui rapide du processus par la direction, qui s'est manifesté par sa participation à l'établissement du mandat et au choix des questions fondamentales auxquelles l'évaluation devait répondre.
  • Communications fréquentes et mises au point avec les intervenants, de la part du directeur de la vérification et de l'évaluation responsable de l'étude.
  • Recours à des experts conseils de haut niveau disposant d'une expertise appropriée en matière d'élaboration d'un cadre d'évaluation et d'une connaissance approfondie des résultats des évaluations antérieures du programme.
  • Définition claire des attentes sur le plan des résultats et caractère ouvert et équilibré du processus, sans problèmes inattendus.
  • Participation des gestionnaires du programme à la présentation du plan d'action de la direction au CMVE. Ceci a permis à ces gestionnaires de s'intégrer au processus et de s'approprier le plan d'action.
H. Améliorations proposées et leçons apprises

On juge que le processus était exhaustif et qu'aucune modification n'est requise.

(Back)

Annexe - Programme Rescol

Aperçu du programme
Description

L'initiative Rescol consiste en une série d'activités et de programmes qui visent à fournir aux écoles et aux bibliothèques canadiennes un accès Internet amélioré et une intégration accrue des technologies d'informations et de communications (TIC), en vue de développer au sein de la population des compétences en TIC qui lui permettront de participer pleinement à l'économie axée sur le savoir. C'est la Direction générale des applications de l'autoroute de l'information (DGAAI) d'Industrie Canada qui gère et surveille la prestation des programmes Rescol.La première phase de l'initiative Rescol a duré de 1994 à 1999 et elle a été évaluée en 2000. La phase en cours a démarré en 1998.

Objectifs

Les principaux objectifs des diverses composantes de Rescol, définis dans le CGRR de Rescol, sont les suivants :

  • favoriser l'utilisation de l'infrastructure de télécommunications Internet à des fins d'apprentissage en appuyant des services pédagogiques en ligne sécuritaires et de qualité ou en créant des liens vers de tels services;
  • soutenir l'utilisation de l'infrastructure de télécommunications Internet à des fins d'apprentissage en facilitant la connectivité de l'infrastructure des bibliothèques canadiennes;
  • fournir et maintenir la connectivité et les services de soutien connexes aux écoles des Premières nations;
  • augmenter le nombre d'ordinateurs multimédias utilisés dans les écoles au moyen des activités de recyclage et de réutilisation du Programme ordinateurs pour les écoles;
  • améliorer l'interfonctionnalité et l'accessibilité du contenu pédagogique canadien offert aux écoles canadiennes;
  • soutenir les compétences à utiliser les TIC au moyen de projets d'apprentissage coopératif et interactif; 
  • faciliter l'adoption des TIC dans le système d'apprentissage par le partage des meilleures pratiques et des réalisations
  • offrir des services de perfectionnement et d'orientation professionnels pour les diplômés du secondaire;
  • favoriser l'adoption de pratiques d'affaires électroniques et d'autres pratiques Internet par les petites et moyennes entreprises canadiennes.
Budget annuel

Le gouvernement a octroyé au groupe de programmes Rescol la somme de 30 millions de dollars en 2002 2003 et le même montant en 2003 2004. De plus, ces programmes bénéficient de 14 747 000 dollars accordés chaque année dans le cadre de la Stratégie emploi jeunesse. De 1995 1996 à 2005 2006, Industrie Canada a investi près de 268 millions de dollars dans le programme Rescol.

Recommandations découlant de l'évaluation

Treize recommandations ont été formulées, dans les domaines suivants :

  • Orientations politiques futures (3) : Nécessité d'articuler le programme autour d'une nouvelle mission à long terme, étant donné qu'il est question de l'état probable de la formation de la population canadienne en matière de TIC dans cinq ans. La nouvelle orientation du programme Rescol devrait mettre l'accent sur l'innovation et cette dimension doit être clairement établie dans les politiques et la conception du programme. Enfin, il est recommandé de soutenir les recherches visant à comprendre quels sont les mesures incitatives et le modèle de gestion appropriés pour impliquer le secteur privé dans les futures initiatives de Rescol.

  • Conception du programme (3) : Plusieurs recommandations ont été formulées pour améliorer la conception du programme, d'autant plus que beaucoup des objectifs établis ont été atteints. On suggère, entre autres, d'incorporer une prestation axée sur les projets et des processus de perfectionnement professionnel des enseignants, de façon à favoriser l'implication des partenaires et à mettre en œuvre des solutions technologiques innovantes dans l'enseignement; de promouvoir des initiatives fondées sur la participation volontaire des partenaires, en offrant des mesures incitatives financièrement intéressantes et des avantages en nature, qui contribuent à l'adoption et à l'utilisation des TIC; et de tenir compte des divers niveaux d'introduction des participants au programme.

  • Exécution du programme (5) : Les recommandations vont généralement dans le sens de maintenir la souplesse de l'approche de la prestation de programmes, qui permet de répondre à la diversité des exigences des systèmes d'éducation des provinces, des territoires et des Premières nations du Canada; de continuer à utiliser un mécanisme décentralisé de prestation des composantes du programme (tout en conservant le contrôle du budget d'ensemble, la responsabilité de la surveillance et la charge décisionnelle en matière de politiques et de conception et de prestation des programmes); et de poursuivre la collaboration avec les écoles et les commissions scolaires. Les nouvelles recommandations visent l'organisation de nombreux événements de réseautage afin de donner l'occasion aux participants et aux partenaires du programme de se rencontrer et d'étudier les mécanismes de prestation de remplacement qui paraissent les plus efficaces du point de vue du coût et des résultats.

  • Reddition de comptes (2) : On recommande qu'Industrie Canada prenne l'initiative de réaliser une vaste analyse des questions qui touchent les besoins et le travail à faire en ce qui a trait aux futures applications des TIC dans l'éducation au Canada et d'assumer un rôle de chef de file dans l'articulation d'une vision claire de la stratégie nationale dans ce domaine.

Évaluation du Programme de développement économique des collectivités
Affaires indiennes et du Nord Canada 
Septembre 2003

A. Contexte de l'évaluation
Type d'évaluation 

Évaluation de type sommative visant à examiner le rendement du programme au cours de la période 1996- 2002.

Justification 

Cette évaluation a été menée à la demande du directeur du programme. Bien que convaincu que le programme, dans son ensemble, répondait à un besoin réel, il s'inquiétait de son adéquation compte tenu de l'évolution du milieu. Le programme avait été évalué en 1994 et reconduit l'année suivante en incorporant plusieurs améliorations suscitées par les recommandations de l'évaluation. Toutefois, depuis lors, le milieu avait évolué et l'on craignait que le programme n'ait pas suivi le rythme de l'inflation. Il fallait donc vérifier que le programme donnait bien les résultats escomptés et identifier les volets qui nécessitaient une refonte sur le plan de leur conception. Comme l'autorisation du PDÉC arrivait à échéance à la fin de mars 2005, le moment semblait idéal pour procéder à une évaluation.

Détails

Entité responsable de l'évaluation : Direction générale de l'évaluation et de la vérification interne (DGÉVI). 

Ressources externes : L'évaluation a été menée par une firme externe d'experts conseils spécialisée dans le développement économique des collectivités.

Coûts : Environ 200 000 $ pour les services et frais de déplacement de la firme externe, partagés dans une proportion de 60/40 entre le programme (Développement économique et des Projets spéciaux) et la DGÉVI. 

Durée : L'étude d'évaluation a duré environ deux ans, depuis la phase de planification jusqu'à l'approbation finale du rapport. La planification du projet, incluant l'élaboration du mandat, le processus d'appel d'offres et l'évaluation des soumissions, a duré trois mois (de décembre 2001 à février 2002); la réalisation du projet, depuis l'embauche des consultants jusqu'à la remise du rapport final, a duré treize mois (de mars 2002 à mars 2003); et l'approbation finale du rapport a pris quatre mois (de juin à septembre 2003).

Structure de gouvernance : Un comité consultatif de 17 membres a été mis sur pied pour superviser le processus d'évaluation. Les deux tiers des membres de ce comité étaient des représentants des collectivités autochtones (provenant des dix régions, de l'Assemblée des Premières Nations et du Conseil pour l'avancement des agents de développement autochtones), de trois directeurs régionaux adjoints d'AINC, du directeur responsable du PDÉC et de membres du personnel de la Direction de la vérification et de l'évaluation.

B. Constatations et recommandations
Objectifs
  • Vérifier rétrospectivement la capacité du PDÉC d'atteindre ses objectifs et mettre en lumière les répercussions du programme;
  • déterminer la pertinence de la structure d'exécution en place et vérifier s'il existe d'autres modifications ou solutions qui pourraient améliorer ses répercussions et sa rentabilité;
  • contribuer à la préparation des options pour les orientations futures du programme et proposer également des mesures supplémentaires susceptibles d'être mises en place afin d'évaluer le rendement.
Constatations

Les constatations de l'évaluation ont été regroupées sous les rubriques suivantes :

  • Évaluation du rendement : Il a été démontré que le programme progressait de façon constante tout au long de la période d'évaluation pour ce qui a trait à la mise en valeur des ressources, au développement du marché du travail et des occasions d'affaires, au contrôle des collectivités sur l'économie et les ressources naturelles et aux possibilités de mettre en place de nouveaux projets. On a aussi remarqué que certaines modifications pourraient favoriser un meilleur rendement.
  • Pertinence du programme : Il y a un solide consensus chez les intervenants quant à l'idée que la présence des ODEC dans la collectivité a favorisé l'engagement institutionnel de la collectivité face au développement économique, tant sur le plan local que régional. On a aussi constaté dans les collectivités autochtones une croissance de la demande pour des activités économiques susceptibles de promouvoir leur viabilité.
  • Efficacité de la gestion : On a constaté qu'il y avait des progrès constants relativement à l'amélioration de l'efficacité de la gestion du programme, mais il n'en reste pas moins qu'il y aurait lieu d'en resserrer la coordination et d'accroître la fréquence des communications entre les ODEC et le ministère.
  • Rentabilité : Selon les premières constatations de l'évaluation, il semble que les conseils tribaux et les ODEC de plus grande envergure sont plus que les plus efficaces par rapport aux coûts que ne le sont les plus petits ODEC.
Recommandations

Le rapport d'évaluation proposait une série de neuf recommandations à mettre en œuvre aux fins de consolider le programme. Ces recommandations comprennent des modifications à apporter à l'objectif du programme et à son cadre d'évaluation du rendement, au système de reddition des comptes, à la nature et au niveau de son financement, au type de soutien administratif offert, aux pratiques de gestion et à la façon dont le programme s'harmonise avec d'autres programmes fédéraux.

Comme la nature de ces changements pourrait avoir des répercussions sur les modalités d'exécution du programme, il a été proposé d'entamer des discussions avec les intervenants à propos des éventuelles implications d'une modification des orientations du programme et que, dans ce cadre, on se penche aussi sur toutes les options possibles de transformation de ces orientations.

Processus de mise en œuvre

Le Comité de vérification et d'évaluation a approuvé le rapport final de l'évaluation en septembre 2003. La Direction du développement économique et des projets spéciaux a élaboré un plan d'action qui aborde chacune de ces neuf recommandations. 

Dans le cadre de ce plan d'action, cette Direction et le Comité consultatif du PDÉC ont mené des discussions intensives avec les intervenants pour connaître leur opinion à propos de la refonte du programme, dans la perspective qui se dégage des recommandations de l'étude d'évaluation. On a organisé neuf ateliers de travail régionaux à la grandeur du pays pour préparer un document de travail qui définit les principales orientations et questions relatives à la gestion qui ressortent du rapport d'évaluation. Chacune des régions a élaboré sa propre stratégie, à partir des discussions et des résultats de ces ateliers, et l'on prévoit d'autres discussions avec les communautés autochtones. 

Des mesures propres à chacune des recommandations ont été prises, mais la mise en œuvre de certaines d'entre elles est entravée par l'absence des fonds supplémentaires qu'elles nécessiteraient.

C. Principaux utilisateurs de l'évaluation
Haute direction du ministère

L'étude a aussi fait ressortir un problème plus vaste touchant les rôles respectifs du ministère et de la communauté autochtone en regard des activités de développement économique. L'évaluation, de même que les travaux de suivi auprès de la communauté, a permis de dégager comment AINC pourrait évoluer de façon à jouer un rôle de soutien de la gestion et des politiques.

Gestionnaires de programme

L'évaluation a été fort utile aux gestionnaires du programme pour déterminer quels aspects de sa conception devaient être améliorés.

Conseil du Trésor

Le conseil a reconduit le mandat du programme pour cinq années supplémentaires (2005 2010).

Intervenants et prestataires

Les groupes de la collectivité autochtone ont activement participé à la conception et à l'amélioration du programme, de sorte que celui ci tienne compte de leurs besoins et de leurs préoccupations.

D. Degré d'indépendance de l'étude et caractéristiques de ses répercussions

On s'entend généralement pour considérer que l'évaluation a été menée de façon tout à fait impartiale. Plusieurs facteurs ont contribué à produire des résultats exhaustifs, équilibrés et objectifs.

  1. Le recours à une firme externe d'experts conseils très au fait des programmes de développement économique, plus particulièrement des programmes communautaires, et de la méthodologie d'évaluation. L'analyse produite par ces consultants a permis de mieux comprendre les problèmes et les défis à relever dans le cadre du programme.

  2. Les besoins de la collectivité régionale ont été intégrés au processus de façon équilibrée, grâce au rôle joué par le comité consultatif externe, qui regroupait un bon nombre d'intervenants et de membres du personnel du programme, et à une approche collaborative pour la planification et la réalisation de l'évaluation.

  3. L'utilisation d'une vaste gamme de mécanismes de collecte des données, incluant des entrevues avec 151 intervenants clés, des groupes de discussions, des rencontres régionales et la sollicitation de mémoires auprès des groupes autochtones afin de leur permettre d'exprimer leur point de vue sur le programme.

E. Utilité de l'étude d'évaluation
Pertinence et réussite

La principale utilité de l'étude fut de démontrer le bien-fondé du programme. L'évaluation recommande la poursuite des activités du programme, sous réserve qu'on lui apporte quelques ajustements. Pour les gestionnaires du programme, il s'agissait d'un objectif central par rapport à cette évaluation – qu'elle ne soit pas l'instrument de l'abolition du programme, mais qu'elle serve plutôt à faire reconnaître que le contexte avait évolué et que des modifications étaient requises pour que le programme réponde mieux aux besoins de 21e siècle. 

L'étude d'évaluation venait donc étayer la thèse d'une refonte du programme. La Direction du développement économique et des projets spéciaux a demandé au Conseil du Trésor d'autoriser une refonte du PDÉC d'après les recommandations de l'évaluation. Cette demande a été approuvée et le nouveau programme est entré en vigueur le 1er avril 2005.

Décisions relatives à la gestion des dépenses et à l'affectation des ressources

La refonte du programme intégrait les recommandations visant à améliorer la rentabilité de l'ensemble de l'initative, comme l'incitation à un financement progressif ou graduel des programmes, pour réaliser des économies d'échelle; la mise en place de mesure assurant que les fonds servent directement à la réalisation des activités et l'adaptation du type et des niveaux de financement en fonction des diverses approches d'exécution.

Orientations politiques futures

La nouvelle conception du programme tient aussi compte d'une redéfinition à long terme du rôle du ministère, voulant qu'AINC abandonne sa programmation usuelle pour passer à un rôle de soutien stratégique de la gestion. Ceci se traduirait par un renforcement des capacités institutionnelles sur le plan du soutien technique, de la planification, de la mesure du rendement, de la reddition des comptes et du soutien au développement d'entreprises.

Conception du programme

Le nouveau programme intègre aussi beaucoup des suggestions quant à sa conception que l'on retrouvait dans les recommandations de l'évaluation. Il comprend aussi d'autres améliorations, découlant des recommandations élaborées par le comité consultatif et les groupes de travail régionaux de l'ensemble du pays, comme la possibilité d'adopter des stratégies d'exécution diversifiées pour répondre aux besoins particuliers des collectivités, la promotion de partenariats régionaux, le soutien des institutions et des réseaux régionaux aux initiatives de la collectivité et l'élaboration d'approches spécifiques pour favoriser la croissance économique des collectivités autochtones les moins développées.

Reddition de comptes et des relations hiérarchiques

Le système des relations hiérarchiques et de la reddition de comptes du programme a été revu de façon à s'assurer que le programme, et plus particulièrement chacun des ODEC, sera imputable de l'allocation des fonds. Plusieurs recommandations ont été mises de l'avant pour renforcer le cadre des relations hiérarchiques à l'intérieur du programme. Entre autres, des modifications à apporter au cadre et aux indicateurs de mesure du rendement du programme permettant de faire valoir une plus large gamme d'objectifs pour les organisations locales subventionnées par le PDÉC; une plus grande concertation avec les groupes autochtones, fin d'améliorer les pratiques de gestion; une clarification des rôles et responsabilités propres à AINC et aux ODEC; ainsi que d'autres améliorations de la structure hiérarchique pour accroître la cohérence et la transparence des résultats.

F. Répercussions imprévues de l'étude d'évaluation
  1. Confiance accrue dans beaucoup de collectivités autochtones. Le processus d'évaluation a été géré conjointement par le ministère, la direction du programme et la collectivité autochtone, par l'intermédiaire du comité consultatif. Comme il s'agissait d'un travail concerté pour améliorer le programme, cet exercice n'a pas été perçu par les intervenants comme une obligation « imposée par Ottawa ». Cette situation a permis une excellente synergie entre la direction du programme et les groupes d'intervenants.
  2. Meilleure compréhension des besoins et des désirs des intervenants. La méthodologie de collecte des données a permis à la direction du programme de se rendre compte que la collectivité des Premières nations ne voulait pas nécessairement employer les fonds de la même façon que celle prévue dans le cadre du programme. Il a donc été possible d'apporter des correctifs et des améliorations pour répondre aux besoins de cette collectivité.
  3. Reconnaissance accrue de l'utilité du programme au sein du ministère. Un des objectifs de l'évaluation consistait à faire la démonstration de la pertinence de la poursuite du programme, spécialement devant les cadres supérieurs du ministère. Si l'on avait auparavant l'impression que le programme ne donnait pas ou peu de résultats tangibles, l'étude d'évaluation est venue nuancer cette perception en présentant des preuves concrètes des réalisations du programme.
G. Principaux facteurs ayant contribué à la réussite de l'évaluation

Participation des principaux intervenants. L'évaluation a été supervisée par un comité consultatif regroupant un nombre significatif de représentants des collectivités autochtones. C'est de façon délibérée que l'on avait choisi d'impliquer activement ces intervenants dans le processus de planification et de surveillance de l'évaluation, de même qu'au niveau des prises décisions relatives aux orientations du programme, une fois l'étude complétée. Les membres du conseil consultatif ont collaboré à la définition du mandat de l'étude, ils ont encouragé leurs communautés respectives à participer aux séances de consultation, ils ont contribué à la diffusion de l'information sur l'avancement des travaux et, tout au long du processus, ils ont fait profiter l'évaluation de leurs opinions et de leurs conseils. Cette façon de faire a favorisé l'acceptation de la démarche par les intervenants, de même que leur participation. Dès le début, il a été clairement établi que cette démarche n'était pas une directive du gouvernement fédéral, mais un processus collectif qui aiderait à remodeler le programme de façon à ce qu'il puisse mieux répondre aux besoins qui caractériseront le 21e siècle.

H. Améliorations proposées et leçons apprises en vue de futures études d'évaluation

Aucune n'a été identifiée

Annexe - Programme de développement économique des collectivités

Aperçu du programme
Description

Le Programme de développement économique des collectivités (PDÉC) octroie aux collectivités inuits et des Premières nations les ressources dont elles ont besoin pour promouvoir le développement économique de leurs communautés. Il s'agit du principal instrument de la mise en œuvre de la mission d'AINC en regard du développement économique de ces communautés, et il est intégré à la Stratégie canadienne de développement économique des autochtones (SCDEA) instaurée en 1989 afin de s'attaquer aux disparités économiques entre les peuples autochtones et les autres Canadiens.

Objectifs

Soutenir la croissance et l'indépendance économiques des collectivités des Premières nations et des Inuits et éliminer les disparités en matière d'économie et d'emploi entre les collectivités des Premières nations et des Inuits et le reste du Canada. 

Exécution du programme

Le PDÉC fournit le financement de base pour l'établissement et le fonctionnement des Organismes de développement économique communautaire (ODEC) en tant que principaux agents de mise en œuvre au sein des collectivités inuits et des Premières nations. Les ODEC utilisent leurs ressources (PDEC et autres) pour élaborer des plans stratégiques économiques pour les collectivités, pour fournir des services consultatifs, pour planifier des projets de développement d'entreprises ou de développement des ressources, pour offrir des contributions, des contributions remboursables ou des prêts aux membres des collectivités pour la formation et les projets de développement des entreprises ou des ressources, pour détenir des participations dans des entreprises privées ou communautaires, pour offrir une formation liée au travail et des programmes d'emploi, et pour gérer les services financiers et techniques.

Budget annuel

Le budget national annuel du PDEC (47 M$) est réparti entre les régions grâce à une formule de calcul tenant compte du nombre d'habitants indiens et inuits dans chaque réserve. À l'échelle régionale, les ressources sont attribuées aux collectivités selon des formules qui varient d'une région à l'autre, mais qui comprennent généralement une subvention de base assortie d'une majoration fondée sur la taille de la population.

Recommandations découlant de l'évaluation
  1. On devrait maintenir le financement de base du PDEC pour soutenir les modèles de mise en œuvre au niveau de la bande, de la tribu et de la région en y apportant un certain nombre de changements.

  2. On devrait faire une distinction dans ce programme remanié entre les collectivités qui désirent continuer à incorporer le financement du PDEC dans le budget de la bande ou de la tribu pour soutenir des programmes de développement économique gérés par les bandes et celles qui désirent prendre des mesures en vue de la création progressive d'une institution – un organisme de développement économique communautaire (ODEC).

    1. Les objectifs révisés du programme devraient permettre une mesure plus concrète des résultats du programme.
    2. Il faut apporter des changements au cadre de mesure du rendement et aux indicateurs du programme pour tenir compte de l'étendue des objectifs de développement des organisations financées par le PDÉC au niveau local.
    1. On devrait remanier la présentation du rapport d'activité annuel du PDEC et les exigences qui y sont associées. L'information recueillie devrait toucher aux intérêts de la collectivité aussi bien que d'AINC.
    2. La compilation nationale des résultats devrait être mise à la disposition des gestionnaires du développement économique des collectivités et du Ministère.
    3. On devrait s'efforcer d'explorer la possibilité de créer pour les ministères un modèle fédéral commun de rapports sur le développement économique qui fournirait certaines données de base communes à toutes les collectivités. 
    1. L'élaboration d'une nouvelle approche progressive ou graduée pourrait obliger à reconsidérer la base sur laquelle le financement est réparti tant à l'échelle nationale que régionale. Les intervenants devraient participer pleinement aux discussions sur les modifications à apporter au programme dans l'avenir. AINC devrait instituer l'approche révisée sur une base régionale. 
    2. Comme ce processus de discussion pourrait prendre du temps, AINC devrait ajuster la formule du financement dans les territoires (en particulier au Nunavut et dans les Territoires du Nord-Ouest) pour assurer une meilleure équité. 
  3. Les partenaires (les ODEC et AINC) devraient élaborer des stratégies conjointes au niveau régional sur la façon d'améliorer les pratiques de gestion du programme. Ces stratégies doivent préciser plus clairement les rôles et les responsabilités respectifs des acteurs, en particulier en ce qui concerne les exigences de formation spécialisée pour les ADE et les systèmes et réseaux de soutien des organisations. Ces stratégies devraient aussi établir des politiques ou lignes directrices sur la répartition du financement régional et les priorités concernant les questions liées à l'égalité des sexes, aux membres qui ne vivent pas dans les réserves et à l'éloignement.

  4. Le Ministère devrait envisager des moyens d'améliorer l'harmonisation d'un PDEC remanié avec les autres programmes fédéraux.

  5. Les partenaires devraient examiner plus à fond les questions essentielles, comme les moyens d'améliorer la rentabilité globale du programme grâce à des possibilités d'économies d'échelle au niveau régional et les approches permettant de favoriser le développement dans les collectivités autochtones les moins développées.

  6. Le Comité consultatif de l'évaluation devrait avoir le mandat de passer en revue les constatations faites à l'issue de l'évaluation et de donner des conseils sur la mise en œuvre des recommandations.

Évaluation de programme : Sondage d'évaluation du site Web de la CNN
Commission de la capitale nationale
23 mai 2003

A. Contexte de l'évaluation
Type d'évaluation

Évaluation formative de programme visant à déterminer le degré de réalisation de la stratégie initiale du site Web de la Commission de la capitale nationale et à établir l'ordre de priorité de futures étapes.

Justification

Plusieurs facteurs étaient à l'origine de la réalisation de cette évaluation.

  • L'ampleur des investissements consentis pour le site faisait en sorte qu'il devenait nécessaire de l'inclure dans le plan de vérification et d'évaluation de la Commission et de procéder à une évaluation formelle;
  • Les deux sites Internet de la CCN ont pour elle une grande importance, car ils servent à la fois d'instrument stratégique et de véhicule de son image de marque. Le site de la Capitale nationale a été inauguré en 1997 et il a été restructuré en 2000. Le site corporatif, quant à lui, a été mis en ligne en 2001. En 2003, on a décidé qu'il serait souhaitable de faire le point et d'examiner le rendement des deux sites Internet en regard de la stratégie initiale;
  • Au niveau de la direction, les opinions étaient partagées quant à l'établissement des priorités de développement des sites. Il fallait donc clarifier les orientations d'avenir et reconfirmer les objectifs de départ;
  • On sentait aussi le besoin d'effectuer un sondage pour obtenir une rétroaction impartiale à propos des sites et pour établir un profil des utilisateurs.
Détails

Entité responsable de l'évaluation : C'est la Direction de la vérification, de la recherche et de l'évaluation de la CCN qui a supervisé et géré l'évaluation. 

Ressources externes : L'évaluation a été menée par une firme externe pour le compte de la CCN.

Coûts : Environ 47 000 $ en honoraires pour les services de la firme externe, plus un directeur de l'évaluation de la CCN qui a supervisé le processus à temps partiel.

Durée : L'étude d'évaluation a duré environ six mois, depuis la phase de planification jusqu'à l'approbation finale du rapport. La planification du projet a démarré en décembre 2002 et le rapport préliminaire a été produit en mars 2003. Le rapport a été approuvé par le Comité de vérification et d'évaluation à la mi juin 2003. 

Structure de gouvernance : Une équipe de base, constituée de directeurs et de gestionnaires de deux directions clientes (la Direction de la vérification, de la recherche et de l'évaluation et la Direction des communications, marketing et relations extérieures) a travaillé de concert avec le gestionnaire responsable de l'évaluation pour établir le mandat, évaluer les fournisseurs, élaborer les outils de collecte des données et revoir les résultats de l'étude. 

Le Comité directeur des technologies Web, qui regroupe des représentants de toutes les directions, a été consulté à propos du mandat de l'évaluation et il a été tenu informé de l'évolution des travaux lors de séances à intervalles réguliers. Tout au long du déroulement du processus, ce comité a pu émettre ses directives. 

Le comité exécutif de gestion de la CNN a aussi été continuellement informé de l'évolution des travaux. Le président de la CNN a été consulté au cours de la phase de planification et débreffé au moment de la remise du rapport préliminaire.

Conformément aux statuts et règlements de la CNN, un mécanisme de suivi de la mise en œuvre des recommandations de l'évaluation a été mis en place à l'automne 2004. Les constatations de cette étude ont été transmises au Comité de vérification et d'évaluation en juin 2005.

B. Constatations et recommandations
Objectifs

Voici les principaux objectifs de l'étude d'évaluation :

  • déterminer l'état de la mise en œuvre des stratégies Web de la CCN;
  • déterminer la vision qu'ont les cadres des stratégies Web de la CCN pour faire ressortir leur divergences ou les écarts;
  • vérifier les attentes de la CCN en regard de la stratégie Web dans l'avenir;
  • comparer les sites Web de la CCN à des étalons réputés correspondre à des pratiques exemplaires en matière de sites;
  • recommander les étapes à suivre pour passer à la prochaine étape;
  • établir un profil des visiteurs des deux sites Web de la CNN;
  • vérifier dans quelle mesure les sites Web de la CCN contribuent à l'atteinte des objectifs prioritaires de la Commission;
  • identifier les besoins futurs et la préparation requise pour une éventuelle migration en ligne des produits et services de la CCN;
  • vérifier si les cadres de la CNN sont prêts pour une éventuelle migration en ligne des produits et services.
Constatations

Les principales constatations ont été regroupées sous les thèmes de la participation des citoyens/consultations publiques, des visites virtuelles, du commerce électronique, de la stratégie de marque, du nombre de sites Web, des partenariats virtuels et de la Capitale verte.

  • Participation des citoyens/consultations publiques : L'étude a fait ressortir que la participation des citoyens et les consultations publiques constituaient un secteur que les cadres considèrent comme un facteur d'évolution privilégié de la présence Web de la Commission. Sur le plan des meilleures façons d'inciter la participation du public, l'évaluation tend à démontrer que les visiteurs préfèrent interagir par courriel, ou à l'aide de formulaires en ligne, de façon à pouvoir choisir eux mêmes quand et comment ils communiqueront avec la CCN.
  • Visites virtuelles : Dans le cadre du sondage, tant les cadres de la CCN que les utilisateurs des sites ont indiqué qu'il y avait lieu de rendre les sites plus dynamiques et interactifs par le biais d'un enrichissement des contenus, incluant des visites virtuelles. On a aussi noté que les utilisateurs considèrent que la CCN effectue un bon travail sur le plan de l'organisation du site la Capitale nationale.
  • Commerce électronique : Les résultats du sondage tendent à indiquer que, même si la CCN offre déjà quelques services en ligne, l'affluence n'est pas suffisante pour justifier la mise sur pied d'un projet de commerce électronique. On a aussi constaté que les cadres de la CCN craignaient que les coûts d'une telle initiative ne soient pas justifiés par la demande. Le rapport conclut que la CCN a été bien avisée de procéder à une étude des coûts et avantages avant de se lancer dans une aventure potentiellement onéreuse de commerce électronique.
  • Stratégie de marque et positionnement : L'évaluation a fait remarquer que l'on se demandait, à l'interne, si la diffusion par le truchement de deux sites distincts d'informations sur l'organisme et sa planification et de des renseignements touristiques constituait la stratégie la plus efficace possible. À cet égard, l'étude a aussi mis en relief les éléments suivants :

    - comme la promotion touristique n'est pas l'objectif principla la de la CCN, le maintien d'un portail touristique ne constitue peut-être pas la meilleure utilisation de ses ressources, qui sont limitées; 
    - les sites similaires ont davantage tendance à se concentrer sur les informations relatives à la planification et à l'organisme, plutôt que sur les renseignements touristiques;
    - les sites similaires font ressortir leur image de marque sur les différentes pages de leur site en s'appuyant sur une unité de présentation de toutes leurs pages.
     
  • Nombre de sites : L'étude d'évaluation s'est aussi penchée sur la question de l'intégration du site corporatif de la CCN et du site de la Capitale du Canada dans un site unique. Elle arrive à la conclusion que la réponse à cette question dépend des décisions que prendra la CNN en regarde sa stratégie de marque et de son positionnement futur. 
  • Partenariats virtuels : L'évaluation a permis de mettre au jour une occasion de créer un partenariat virtuel et d'élargir ses partenariats existants en s'associant aux villes de Gatineau et d'Ottawa pour inciter les citoyens à s'engager dans les futures étapes de la planification de la Région de la Capitale nationale.
  • Capitale verte : Étant donné l'intérêt que portent la plupart des Canadiens à l'environnement, et compte tenu de la place qu'il occupe dans le mandat de la CCN, l'étude a fait ressortir le besoin d'une présence accrue de la notion de Capitale verte sur les sites de la Commission. On a fait remarquer que, bien que la couverture actuelle est adéquate (notamment pour le parc de la Gatineau), il y aurait place pour un supplément de renseignements sur la Ceinture verte et d'autres régions.
Recommandations

Les recommandations ont été regroupées sous six grandes catégories qui faisaient respectivement ressortir le besoin de préciser la vision des cadres pour être en mesure de la réaliser, la nécessité de prendre des décisions relatives à la stratégie de marque et au positionnement de la CCN, la mise en ordre par priorité des éléments constitutifs de la nouvelle vision, la poursuite des efforts visant à accroître l'affluence de visiteurs, et les initiatives éventuelles qui réclament une diligence raisonnable, comme le projet de commerce électronique, les visites virtuelles et le renforcement des partenariats internes. (On trouvera en annexe la liste complète des recommandations).

Processus de mise en œuvre

Après l'évaluation, un atelier d'une journée portant sur la vision a eu lieu, animé par une tierce partie. Au cours de cette séance, les membres du Comité directeur de la technologie Web, qui regroupe des représentants de toutes les directions de la CCN, ont élaboré un plan d'action pour assurer le suivi des recommandations de l'évaluation et établir un échéancier de mise en œuvre des solutions retenues. 

La Direction de la vérification, de la recherche et de l'évaluation de la CCN a assuré de façon informelle le suivi du plan d'action, par le biais de sa participation au Comité directeur de la technologie Web. De plus, à l'automne 2004, une étude complémentaire a été réalisée pour vérifier dans quelle mesure les recommandations avaient été mises en œuvre. Cette étude, complétée au printemps 2005, concluait que toutes les recommandations avaient été mises en œuvre.

C. Principaux utilisateurs de l'évaluation
Vice-présidents et directeurs de la CCN 

Les premiers utilisateurs de l'évaluation ont été les vice-présidents et les directeurs de la Direction générale de la gestion de l'information et de la Direction des communications, marketing et relations extérieures. Les résultats de l'étude ont permis de mettre au point une vision des sites Web de la CCN et de soumettre les prochaines étapes à suivre au Comité exécutif de gestion.

D. Degré d'indépendance de l'étude et caractéristiques de ses répercussions

De façon générale, on s'entend pour dire que l'étude a été menée avec une grande impartialité, car l'équipe d'évaluation n'avait aucun intérêt direct sur le plan des résultats. Les évaluateurs ont colligé les données à partir de plusieurs sources : entrevues, sondages auprès des utilisateurs et revue des sites Web similaires. La démarche empirique à l'appui des constatations a renforcé la confiance des intervenants en regard de la valeur des résultats. Les preuves empiriques dégagées ont aussi aidé à réfuter certains mythes et à expliquer pourquoi certaines hypothèses étaient invalidées par une analyse objective du profil des utilisateurs.

E. Utilité de l'étude d'évaluation 
Généralités

Les recommandations de l'étude se sont avérées précieuses pour les prises de décisions de la direction relatives à l'orientation future du site Web. Elles ont aussi aidé à mieux cibler les activités susceptibles de produire la plus grande valeur ajoutée dans la perspective des utilisateurs et d'après une analyse impartiale.

Décisions relatives à la gestion et à l'affectation des ressources

L'évaluation a permis d'étayer la décision de ne pas investir dans la production de visites virtuelles, en se fondant sur les préférences des utilisateurs dégagées par le sondage. De la même manière, les résultats ont permis de justifier la décision de ne pas mettre en œuvre un mécanisme de commerce électronique, le profil des achats en ligne suggérant que la demande était insuffisante parmi la clientèle de la CCN.

Orientations stratégiques futures, conception du programme et améliorations requises

L'évaluation a fait ressortir avec plus d'acuité la nécessité de développer une nouvelle vision pour le site Web et d'identifier plus précisément les secteurs d'intervention à privilégier. Cette nouvelle vision a mené à l'intégration des deux sites de la CCN en un site unique dont le contenu a été amélioré.

Amélioration du processus de reddition de comptes et relations hiérarchiques

L'évaluation a aussi l'instrument d'une clarification des rôles respectifs des deux directions responsables des sites Web. En outre, l'atelier de la vision du site qui a suivi l'évaluation et la mise en œuvre de ses recommandations sont venus confirmer leurs rôles et responsabilités.

F. Répercussions imprévues de l'étude d'évaluation
  1. Renforcement des relations de travail à l'interne. La démarche de mise en œuvre des recommandations de l'évaluation a fait émerger une compréhension commune des objectifs du site Web et de l'orientation qu'il fallait lui donner. La poursuite de cette démarche a renforcé les relations de travail sur le plan horizontal.
  2. Obligation pour la CNN de considérer un point de vue externe. Les constatations empiriques et objectives découlant de l'évaluation ont forcé l'organisation à mettre de côté sa perception interne (souvent fondée sur des intuitions ou des analyses subjectives) pour se concentrer sur les besoins des utilisateurs. 
  3. Confirmation de la qualité des sites Web de la CCN. La rétroaction objective recueillie grâce aux sondages auprès de la clientèle a convaincu les personnes sceptiques au sein de l'organisation de la qualité des sites Web de la CNN. D'après ces sondages, 85 % des utilisateurs se disent satisfaits des sites Web.
G. Principaux facteurs ayant contribué à la réussite de l'évaluation
  1. Le choix judicieux d'une firme d'experts-conseils disposant des compétences techniques appropriées (par exemple, pour la réalisation de sondages en ligne) et d'une connaissance des stratégies et solutions d'entreprise.
  2. La participation des gestionnaires du programme à la planification de l'évaluation (y compris la définition des objectifs et du mandat, l'évaluation des fournisseurs, la sélection des répondants et l'élaboration du contenu du questionnaire du sondage en ligne) et les nombreuses consultations internes visant à vérifier que l'évaluation répondrait aux préoccupations des gestionnaires.
  3. La création d'une équipe pluridisciplinaire composée de membre du personnel et de la clientèle du programme, du personnel d'évaluation et de consultants externes. 
  4. La grande compétence du personnel interne d'évaluation sur le plan de la supervision de l'évaluation et de la transmission de l'information aux intervenants.
H. Améliorations proposées et leçons apprises

Le site Web, utilisé à la grandeur de l'organisation, rejoint de nombreux intervenants, en plus des directions de la CNN impliquées dans le processus d'évaluation. En conséquence, il est essentiel que la planification et les communications tiennent compte de ce plus large public. Ainsi, on peut gérer plus efficacement les attentes tout au long du processus d'évaluation et, au bout du compte, mieux faire comprendre les décisions de la direction.

Annexe - Sondage d'évaluation du site Web de la CNN

Aperçu de l'organisation
Description

La Commission de la capitale nationale (CCN) est une société d'État qui a pour but de préparer des plans d'aménagement, de conservation et d'embellissement de la région de la capitale nationale. En 1988, la CCN a reçu un nouveau mandat du Cabinet : faire de la capitale un lieu de rencontre pour tous les Canadiens, faire en sorte que la capitale reflète le Canada aux Canadiens, et préserver et conserver son patrimoine.

Objectifs

La mission de la Commission consiste à faire en sorte que la région de la capitale soit une source de fierté et un symbole d'unité pour la population. La CNN est le seul organisme fédéral mandaté pour coordonner la mise en valeur de la capitale nationale. Dans le cadre de ce mandat et pour offrir aux Canadiens un accès en ligne à la capitale nationale, la CNN a développé deux sites Web, le site corporatif de la Commission et le site touristique de la région de la capitale nationale. Ces deux sites, depuis leur création, attirent de plus en plus de visiteurs et ils ont pris une importance de premier plan pour ce qui a trait aux communications et au marketing de l'organisation.

Recommandations découlant de l'évaluation
  1. Faire valoir la réussite actuelle des sites Web :

    1. Le site touristique est très favorablement coté par les utilisateurs et par les responsables de sites similaires et, avec quelques ajustements, le site corporatif de la Commission se classerait aussi bien;
    2. Élaborer et clarifier la vision de la direction quant à l'évolution future de la stratégie Web de la CNN et établir les priorités qui permettront sa mise en œuvre.
  2. Trancher la question de l'image de marque et du positionnement : Déterminer comment la CCN désire être perçue, comme un organisme de planification du développement de la capitale, une organisation de promotion touristique ou les deux. Décider si la CCN doit continuer d'exploiter ses deux sites Web ou les regrouper sous une même enseigne.

  3. Déterminer l'ordre de priorité des éléments de la future vision : Examiner la liste des initiatives futures et les placer par ordre de priorité, en fonction des informations dégagées dans le rapport d'évaluation et en tenant compte du mandat et des objectifs de la CCN, de la viabilité technologique et financière de ces initiatives, de l'évolution des besoins de la clientèle et des intervenants, ainsi que des tendances générales du développement des médias et de la technologie.

  4. Poursuivre le travail visant à accroître l'affluence de visiteurs, particulièrement en provenance de l'extérieur de la RCN : Aux fins de maximiser le rendement des investissements, poursuivre les efforts de marketing visant à accroître l'affluence sur le site et d'attirer des visiteurs de toutes les régions du pays.

  5. Se pencher avec diligence requise sur certains dossiers en particuliers :

    1. Compléter l'analyse coûts-avantages du développement de la stratégie de commerce électronique et de l'accès universel par le biais d'Internet;
    2. Effectuer une analyse de rentabilisation du projet des visites virtuelles;
    3. S'appuyer sur les diagnostics du site pour mieux comprendre les visiteurs et déterminer la configuration du trafic;
    4. Effectuer régulièrement des sondages en ligne pour recueillir la rétroaction des visiteurs.
    5. Poursuivre le renforcement des partenariats internes : Prendre appui sur le leadership de la CCN pour mettre de l'avant la vision et l'orientation stratégique de sa présence sur le Web.

Évaluation du volet des nouveaux bâtiments de l'Initiative des habitations éconergiques
Ressources naturelles Canada
Mars 2005

A. Contexte de l'évaluation
Type d'évaluation

Examen stratégique du rendement de l'initiative pour des habitations éconergiques, incluant le programme R 2000 et le programme ÉnerGuide pour les maisons neuves.

Justification

L'étude a été entreprise à la demande à la demande des gestionnaires du programme des habitations éconergiques pour répondre à certains de leurs besoins.

  1. Le mandat du Programme des habitations éconergiques devait être renouvelé, dans le cadre d'un examen d'ensemble des programmes environnementaux du gouvernement fédéral. Cette évaluation était par ailleurs requise en vue d'une présentation au Conseil du Trésor à l'appui de la poursuite du programme et le volet pour les maisons neuves était l'un des programmes sur les changements climatiques faisant l'objet d'une évaluation continue.
  2. La direction de l'initiative désirait revoir les objectifs stratégiques et la structure du programme et vérifier dans quelle mesure celui-ci contribuait à l'atteinte des objectifs relatifs aux changements climatiques et au respect de nos engagements en vertu du protocole de Kyoto.
  3. L'Association canadienne des constructeurs, qui est l'un des principaux intervenants dans le domaine, avait clairement exprimé ses arguments à propos du programme et, plus particulièrement, à propos de la norme R 2000. Le Ministère voulait obtenir des preuves concrètes qui viendraient justifier ou réfuter ces arguments et qui permettraient d'en vérifier le bien-fondé, pour qu'on puisse apporter les correctifs requis et que les deux parties puissent poursuivre leur collaboration.v
Détails

Entité responsable de l'évaluation : Le processus d'évaluation a été supervisé par la Direction de la vérification et de l'évaluation de RNCan. 

Ressources externes : La collecte des données a été confiée à une firme externe, sous la supervision d'un Chef de l'Évaluation de RNCan. Le travail d'analyse a été effectué par le Chef de l'Évaluation, en consultation avec le sous-traitant et les intervenants du programme (direction, personnel et participants). 

Coûts : 80 000 $

Durée : L'étude d'évaluation a duré environ dix mois, depuis la phase de planification jusqu'au dépôt du rapport préliminaire. La phase de cueillette des données a duré environ quatre mois. (Remarque : En juillet 2005, l'évaluation n'avait pas encore reçu l'approbation du comité de gestion.) 

Structure de gouvernance : Un comité consultatif regroupant des intervenants de l'interne et de l'extérieur a été chargé de superviser le processus d'évaluation. Il comprenait des membres du personnel du Programme des habitations éconergiques de l'Office de l'efficacité énergétique (OEE), des représentants du CTEC (le groupe des technologies dans les bâtiments du Centre canadien de la technologie des minéraux et de l'énergie/CANMET), de l'Association canadienne des constructeurs d'habitations, de la Société canadienne d'hypothèques et de logement (SCHL), des gouvernements provinciaux et d'associations provinciales de constructeurs d'habitations. Ce comité a approuvé les outils d'évaluation (p. ex., les listes de répondants et les guides d'entrevue) et il a revu les rapports intérimaires. 

Remarque : RNCan ne fait actuellement pas appel à des comités directeurs, parce que ceux ci peuvent compromettre l'objectivité des décisions que doit prendre le Chef de l'Évaluation.

B. Constatations et recommandations
Objectifs

Examiner le rendement du volet des nouveaux bâtiments de l'Initiative des habitations éconergiques (principalement axé sur la norme R 2000), vérifier dans quelle mesure ce volet contribue à l'atteinte des objectifs du programme et identifier les éventuels rajustements qu'il faudrait lui apporter.

Constatations

Les constatations ont été présentées en regard de dix sept questions clés élaborées au cours de la collecte des données. Elles peuvent être regroupées sous quelques catégories principales.

  • Pertinence du programme/Atteinte des objectifs : Bien que les deux programmes soient adéquatement alignés sur les objectifs stratégiques de l'initiative des habitations éconergiques, on a constaté que le taux de pénétration du marché de l'habitation n'évoluait pas avec la rapidité prévue (mais ces programmes sont tout de même en voie d'atteindre leurs objectifs sur le plan de la réduction des émissions de gaz à effet de serre). Par ailleurs, le rythme actuel des certifications R 2000 ne peut évidemment pas garantir l'atteinte de l'objectif de réduction des gaz à effets de serre (GES) de l'initiative, établi pour 2010. L'étude a révélé que le programme R 2000 a eu de nombreuses répercussions bénéfiques sur la conservation de l'énergie et la réduction des émissions de GES, mais que la poursuite de ce programme dans sa forme actuelle ne permettrait pas d'atteindre d'ici 2010 les objectifs établis relativement aux changements climatiques.
  • Conception et exécution du programme : Les conclusions de l'évaluation font ressortir quelques améliorations qui pourraient être apportées à la gestion et à la structure du programme R 2000. Elles indiquent qu'on devrait changer le mode actuel de promotion de la norme R 2000 et que l'on pourrait positionner le programme sur le marché en faisant valoir ses avantages concurrentiels, sa technologie de pointe et ses aspects expérimentaux. Sur le plan de l'exécution, l'étude relève que la majorité des agents de prestation ont les qualifications requises pour exécuter efficacement le programme R 2000 et qu'ils le font avec dévouement. Néanmoins, on a constaté quelques disparités d'exécution entre les régions.
  • Partenariats : L'étude conclut qu'il y a lieu de renforcer et de diversifier les relations de partenariat pour mieux soutenir le programme R 2000, notamment avec les constructeurs certifiés, les agents de prestations, les prêteurs hypothécaires, les évaluateurs de biens immobiliers, les écoles d'enseignement technique, les gouvernements fédéral et provinciaux et la SCHL.
Recommandations

Six recommandations ont été formulées à propos des futures orientations politiques et de la conception du programme (voir l'annexe pour plus de détails). Le rapport d'évaluation présentait aussi diverses options de modification du volet des nouveaux bâtiments de l'Initiative des habitations éconergiques, visant plus particulièrement le programme R 2000, qui permettraient d'être mieux à même d'atteindre les objectifs, notamment pour ce qui a trait à la réduction des émissions de GHG d'ici 2010.

  • En rester au statu quo – ce qui se traduirait par un déclin général du programme.
  • Mettre fin au programme R 2000 et le remplacer par le volet des nouveaux bâtiments de l'initiative des habitations éconergiques.
  • Renouveler le programme, en révisant le volet R 2000 de façon à en faire un programme d'avant garde, d'en simplifier les processus de gestion et d'améliorer sa structure de gouvernance. 
  • Procéder à une restructuration stratégique de l'initiative des habitations éconergiques de façon à la recentrer en fonction des futures orientations politiques et de mieux l'aligner sur les préférences des consommateurs.
  • Repenser la norme R 2000 comme une norme industrielle axée sur le marché et contrôlée par une organisation de constructeurs R 2000 assortie d'un processus de certification des constructeurs et des habitations.
Processus de mise en œuvre

En juillet 2005, l'évaluation n'avait pas encore reçu l'approbation du Comité de vérification et d'évaluation de RNCan. Bien qu'on ne puisse mettre officiellement en œuvre des recommandations avant que le rapport définitif soit achevé, le personnel et la direction du programme ont été informés tout au long du processus et ont eu accès à un rapport préliminaire détaillé. Pendant la phase de rédaction de ce rapport, des mesures ont été prises pour mettre en œuvre les recommandations au fur et à mesure qu'on les développait. 

Pour assurer leur mise en œuvre, on définira un plan d'action et des mesures seront prises pour en surveiller l'exécution et communiquer les résultats à la direction et au personnel du programme (il s'agit là d'un mécanisme intégré aux processus d'évaluation interne de RNCan).

C. Principaux utilisateurs de l'évaluation
Gestionnaires de programme

Les gestionnaires du Secteur des programmes et de la technologie énergétiques et de l'Office de l'efficacité énergétique ont pris connaissance du rapport préliminaire de l'évaluation et ils se serviront des constatations et des recommandations qu'il contient.

Intervenant et prestataires

Les principaux intervenants, dont l'Association canadienne des constructeurs d'habitations, la SCHL et les associations provinciales de constructeurs, ont activement collaboré à l'étude, tout au long du processus. On croit que ces intervenants se sentent plus à l'aise dans le cadre du programme en raison des modifications qui lui ont été apportées pour donner suite à l'évaluation.

Haute direction du Ministère

Sans objet – Le rapport n'a pas encore été transmis à la haute direction.

Conseil du Trésor

On s'attendait à ce que l'évaluation puisse servir à étayer la présentation au CT en vue de la prolongation du programme au delà de la date de fin prévue, le 31 mars 2006, mais l'examen des programmes sur les changements climatiques a eu préséance, conformément à l'énoncé du Budget de 2005. Bien que les résultats de l'évaluation ne seront pas directement transmis au CT, on y fera référence pour étayer toute présentation ultérieure aux fins de reconduire le financement du programme.

D. Degré d'indépendance de l'étude et caractéristiques de ses répercussions

La méthodologie retenue nécessitait des techniques rigoureuses de collecte des données, comprenant, entre autres, une revue documentaire, des entrevues avec les intervenants et deux sondages auprès de constructeurs d'habitation. Le premier de ces sondages visait les constructeurs détenant la certification R 2000 (73 questionnaires ont été remplis, ce qui représente un taux de réponse de 60 %), le second s'adressait aux constructeurs anciennement certifiés ou non certifiés (162 questionnaires ont été remplis, correspondant à un taux de réponse de 23 %).

Bien qu'aucune preuve n'atteste cette opinion, la direction du programme croit que certains résultats des sondages pourraient être biaisés en raison des intérêts particuliers de certains intervenants.

E. Utilité de l'étude d'évaluation 
Pertinence / réussite

Dans l'ensemble, les membres de la direction du programme s'entendent pour dire que la principale utilité de l'évaluation fut de formuler de façon succincte les questions qu'il fallait se poser à propos de la pertinence et du rendement du volet des nouveaux bâtiments de l'Initiative des habitations éconergiques et, plus particulièrement, du programme R 2000. À savoir, principalement, si le volet des nouveaux bâtiments pouvait se poursuivre tel quel, ou s'il fallait apporter des modifications à la conception du programme. 

L'étude d'évaluation a fait ressortir que la contribution directe de ces deux programmes à l'atteinte des objectifs de l'Initiative demeure faible et qu'il semble que le programme R 2000 entraîne des retombées sur le plan de l'expertise et des pratiques en matière de construction d'habitations éconergiques, et que, dans l'ensemble, si le programme n'a pas réussi à atteindre le taux prévu de pénétration du programme du marché de l'habitation, il serait ne voie de réaliser ses objectifs sur le plan de la réduction des émissions de gaz à effet de serre. Le programme R 2000, en particulier, n'a pas au départ été conçu en vue de conquérir un marché de masse dans le domaine de la conservation de l'énergie. Il s'ensuit que la poursuite de ce programme dans sa forme actuelle ne permettrait pas d'atteindre d'ici 2010 les objectifs établis relativement aux changements climatiques et que des modifications stratégiques sont essentielles.

Orientations politiques futures

L'évaluation a permis de dégager plusieurs options que la direction du programme pourra étudier dans le cadre de l'élaboration des orientations futures de l'initiative. Dans les prochains mois, ces propositions pourront éclairer les décisions que la direction doit prendre quant aux options à retenir pour accroître l'efficacité de la conception du programme et à l'approche de la prestation de services à adopter pour la poursuite du volet des nouveaux bâtiments. En outre, ces données pourront être utiles pour l'examen d'autres programmes environnementaux.

Conception du programme

D'un point de vue exclusivement opérationnel, les constatations de l'étude suggèrent que l'on pourrait apporter à court terme des améliorations au programme R 2000, aux fins de simplifier les processus administratifs, de réduire les chevauchements avec d'autres programmes d'efficacité énergétique, de bonifier les aspects du programme qui touchent directement les consommateurs et de recentrer le rôle de la norme R 2000 sur le marché de l'habitation. Beaucoup de ces modifications viendraient répondre aux préoccupations exprimées par les constructeurs d'habitation et par la SCHL, et on s'affaire déjà à les mettre en œuvre. D'après les gestionnaires du programme, les représentants de la SCHL seraient satisfaits des changements en cours d'implantation.

Exécution du programme

L'une des plus importantes observations de l'étude faisait ressortir que la fragilité des relations entre RNCan et la SCHL entravait l'efficacité des communications entre ces deux organismes et minait leur confiance réciproque. À la source de cette situation, il y a des différences fondamentales entre les deux organisations sur le plan de la compréhension du bien-fondé, des objectifs et des limitations pratiques du programme R 2000. L'évaluation aura eu le mérite de mettre en lumière ces divergences de perceptions, de sorte que les deux parties pourront surmonter cet obstacle.

F. Répercussions imprévues de l'étude d'évaluation
  1. Confirmation de la nécessité d'aller de l'avant avec un programme renouvelé. Si la direction du programme était consciente des limitations du programme, l'évaluation est venue confirmer à l'aide de preuves dûment documentées le fait que l'on ne pouvait plus continuer de gérer le programme R 2000 et de planifier son avenir en s'appuyant sur ses activités et succès antérieurs. Elle a mis en lumière la nécessité de changements majeurs pour que le programme puisse de façon réaliste concourir à atteindre les objectifs visant les changements climatiques.
  2. Mise en relief des divergences entre la perception du ministère et celle des intervenants. L'évaluation a attiré l'attention sur le fait qu'il y avait d'importantes divergences entre le Ministère et la SCHL à propos des objectifs de base à l'origine de la mise en œuvre du programme R 2000. Cette situation a influé sur la façon dont ces deux organismes ont perçu la raison d'être du processus d'évaluation. Contrairement au Ministère, qui considérait que l'objectif premier du programme était de favoriser une transformation du marché de l'habitation qui donnerait lieu à une diminution des émissions de GES, la SCHL avait adopté une perspective plus large, selon laquelle cet objectif s'intégrait à plusieurs autres. La mise en lumière de cette différence pourra aider le Ministère à prendre des mesures pour l'aplanir.
  3. Amélioration des relations avec le principal intervenant du programme (SCHL). Le simple fait que RNCan commande et entreprenne son étude d'évaluation a été interprété par les constructeurs d'habitation comme un signe du sérieux du ministère dans son intention de résoudre les problèmes. Ceci, en conjonction avec d'autres mesures prises antérieurement, a permis d'ouvrir la porte à des relations plus cordiales avec leur association.
G. Principaux facteurs ayant contribué à la réussite de l'évaluation

Les résultats de l'évaluation sont tributaires du travail concerté de la direction du programme et du principal intervenant (la SCHL) autour d'une problématique commune (l'évaluation), ce qui a permis de produire des résultats acceptables pour les deux parties et d'améliorer leurs relations.

H. Améliorations proposées et leçons apprises en vue de futures études d'évaluation
  1. Obtention d'une réponse de la direction en temps opportun. L'équipe des évaluateurs a souligné que l'obtention de l'aval de la direction, ou d'une réponse de sa part ou de celle du personnel du programme, pouvait occasionner des délais indus. Parmi les suggestions mises de l'avant pour résoudre ce problème, soulignons l'établissement d'échéances pour rendre des réponses, y compris le plan d'action, le partage (entre le personnel du programme et celui de l'évaluation) de la responsabilité de rendre des comptes au Comité de vérification et d'évaluation, le débreffage de la haute direction (SMA) avant les réunions de ce comité et la communication à ce comité de tout retard dans la production de rapports.
  2. Définition claire et acceptation du mandat et des objectifs de l'évaluation. Avant même de démarrer le processus, il faut s'assurer que toutes les parties qui collaborent à l'évaluation, de même que tous les membres du comité consultatif, interprètent de la même manière les objectifs, la méthodologie et l'approche de l'évaluation, et qu'ils s'entendent à leur sujet.
  3. Identification de tout biais éventuel ou apparent dans les résultats de l'évaluation. On sait que, malgré les précautions raisonnables qu'ont prises les experts conseils chargés de l'évaluation pour obtenir des données impartiales et équilibrées, la direction du programme a exprimé des doutes quant à certains biais éventuels dans les résultats des sondages. La direction du programme recommande, le cas échéant, que tout biais éventuel ou apparent soit indiqué dans le rapport d'évaluation, pour qu'il soit possible de mettre en perspective les résultats et les recommandations touchant les éléments en question.

Annexe - L'Initiative des habitations éconergiques

Aperçu du programme
Description

L'Initiative des habitations éconergiques est l'un des sept programmes qui relèvent de l'Office de l'efficacité énergétique de RNCan. Elle comporte un volet pour les nouveaux bâtiments, lequel englobe le programme R 2000 et le programme ÉnerGuide pour les maisons neuves, et un volet pour les maisons existantes, qui propose les programmes ÉnerGuide pour les maisons et Encouragement écoénergétique ÉnerGuide pour les maisons. 

La norme R 2000 a été développée en 1982 en collaboration avec des partenaires de l'industrie de la construction domiciliaire canadienne pour favoriser la mise en place de pratiques et de techniques de construction efficace sur le plan de la conservation de l'énergie. Les gouvernements provinciaux, le secteur privé et les services publics ont aussi participé à cette démarche. Le programme s'appuie sur la norme R 2000, une norme de rendement qui prend en compte l'efficacité énergétique, la qualité de l'air ambiant et la prise des responsabilités face à l'environnement dans le choix des produits et des matériaux. En moyenne, une maison conforme à cette norme consomme 30 % moins d'énergie que les maisons neuves ordinaires. L'adhésion au programme s'effectue sur une base volontaire. Les constructeurs qui adoptent la norme R 2000 le font parce qu'ils croient qu'elle permet de construire des habitations de meilleure qualité. 

Jusqu'à tout récemment, les nouvelles constructions étaient admissibles au programme R 2000 uniquement. En 1999, RNCan a élargi le programme ÉnerGuide en lui ajoutant le volet ÉnerGuide pour les maisons neuves. Le programme ÉnerGuide, développé en collaboration par l'OEE et la Société canadienne d'hypothèques et de logement (SCHL) a démarré en 1998. Le but du programme ÉnerGuide pour les maisons neuves est d'encourager les propriétaires de maisons à faire appel à des professionnels pour vérifier l'efficacité énergétique de leur habitation, et de les aider à le faire. Ce volet du programme a été inauguré officiellement en Alberta en 2003, et depuis, il s'est répandu au Manitoba, au Nouveau-Brunswick, en Ontario, au Yukon, en Nouvelle-Écosse et dans la province de Terre-Neuve.

Objectifs

Le programme vise à promouvoir la construction et l'achat de maisons éconergiques et écologiques ainsi que la rénovation des maisons pour les rendre éconergiques. Il doit contribuer à la réduction des émissions canadiennes de gaz à effet de serre, qui diminueront monsignet de 0,3 mégatonne d'ici 2010 selon des estimations sur la conversion des économies d'énergie.

L'objectif de réduction des émissions de GES de l'initiative, pour la portion résidentielle du secteur de la construction, représente 4,6 % de l'objectif total de 23,7 mégatonnes annoncé en 2001 par le Ministère de l'Environnement et Ressources naturelles. Il n'y a pas d'objectifs officiels de réduction des émissions de GES pour les programmes R 2000 et ÉnerGuide, mais l'on s'attend à une réduction de 0,3 mégatonne pour le secteur des maisons neuves et de 0,8 mégatonne pour celui des maisons existantes. 

Le principal objectif du programme R 2000 consiste à encourager « les entrepreneurs canadiens à construire des maisons plus écoénergétiques, respectueuses de l'environnement et salubres », en respectant des normes d'efficacité énergétique plus rigoureuses que celles qui s'appliquent aux maisons ordinaires.

Exécution du programme

L'exécution du programme R 2000 relève d'agents de prestations et de fournisseurs de services qui agissent tant au niveau fédéral qu'au niveau provincial, généralement dans le cadre d'un accord de contribution (agents de prestation) ou par le biais de la tarification des services aux constructeurs (fournisseurs). La SCHL reçoit aussi une compensation annuelle pour son apport au soutien du programme. 

Les travaux effectués dans le cadre du programme ÉnerGuide pour les maisons sont attribués par le biais de soumissions en régime de concurrence à des entreprises de service qualifiées. Celles ci peuvent être des entreprises du secteur privé, des services publics, des associations non gouvernementales de protection de l'environnement, de même que des organismes d'un gouvernement provincial ou territorial. La responsabilité d'embaucher les experts conseils qui se chargeront des évaluations de l'efficacité énergétique des habitations relève de ces entreprises qualifiées. 

Budget annuel

Les fonds alloués à l'initiative pour 2005 2006 s'élèvent à 8 M$, dont 1,3 M$ proviennent des programmes de subventions et de contributions et 6.2 M$ du budget d'exploitation et d'entretien. Le budget destiné aux maisons neuves, pour la même année, est de 3 M$. Le financement du volet pour les nouveaux bâtiments représente un tiers du budget total de l'initiative réparti sur cinq ans (35 M$), soit en moyenne 3 M$ par année. La gestion du programme relève d'une équipe de sept ÉTP sous la direction du Chef des programmes d'habitation. Cette équipe est responsable de la conception et de la mise en œuvre du programme, des communications avec les agents de prestation, du soutien technique, de l'élaboration du matériel et des sessions de formation, de la gestion de la base de données, de l'assurance de la qualité et de la promotion du programme à l'échelle nationale.

Recommandations découlant de l'évaluation
  1. Planification stratégique : Il est recommandé que l'OEE entreprenne une planification stratégique pour intégrer les composantes de l'Initiative des maisons éconergiques dans le cadre d'un ensemble de programmes, après avoir clarifié avec ses partenaires la définition des rôles de chacun en regard de ces composantes (particulièrement les programmes R 2000 et ÉnerGuide pour les maisons).

  2. On recommande que l'OEE fasse en sorte que le programme R 2000 soit repositionné en tant que programme d'avant garde dont la mise en œuvre est immédiatement réalisable. Il y aurait lieu d'élaborer un programme distinct de recherche et de développement, en collaboration avec le CANMET, la SCHL, le CRNC et d'autres organismes fédéraux ou provinciaux (remarque : cette recherche est déjà en cours; cette recommandation vise surtout la coordination des activités de recherche).

  3. Étude des besoins de la clientèle : Il est fortement suggéré que les partenaires de l'initiative, sous la direction de l'OEE, entreprennent une étude approfondie de la prise de conscience et des préférences des consommateurs pour mieux positionner le Programme des habitations éconergiques et les autres instruments qui pourraient être mis en œuvre. 

  4. Consultation formelle des partenaires de l'industrie : Il est recommandé que RNCan et la SCHL s'efforcent de resserrer leurs relations, en mettant l'accent sur leurs objectifs communs.

  5. Renforcement des partenariats avec les organisations pertinentes (SCHL, CNRC, institutions financières). L'OEE devrait s'investir d'un rôle prépondérant vis-à-vis des organisations partenaires, au moins au niveau fédéral (SCHL, CNRC). 

  6. Promouvoir l'efficacité énergétique dans l'information destinée aux acheteurs de maison. L'OEE pourrait envisager de mettre davantage l'accent sur les économies possibles dans l'information qu'elle diffuse dans le grand public à propos de l'achat d'une maison (sous réserve des résultats de l'étude de la prise de conscience et des préférences des consommateurs faisant l'objet d'une autre recommandation).

Évaluation de programme : Évaluation de l'initiative des autres formes de prestation de services
TPSGC
Février 2003

A. Contexte de l'évaluation
Type d'évaluation

Étude d'évaluation sommative du programme des Autres formes de prestation de services (AFPS) dans le cadre des services de gestion immobilière. Cette évaluation mettait l'accent sur les contrats conclus avec le secteur privé et sur les portefeuilles immobiliers connexes. Les protocoles d'entente avec deux provinces en étaient exclus.

Justification

En 2002, TPSGC faisait une présentation au Conseil du Trésor (CT) aux fins d'obtenir des fonds pour relancer l'appel d'offres pour l'initiative des AFPS. Les contrats de sous-traitance dans le cadre de l'initiative des AFPS avaient été conclus en 1998 et ils arrivaient à échéance. La demande initiale soumise au CT prévoyait un seuil annuel d'environ 120 M$ pour les coûts contractuels, ou 800 M$ répartis sur sept ans. Les dépenses annuelles réelles (d'environ 1,2 milliard de dollars) excédaient significativement ce seuil et TPSGC désirait qu'on l'augmente. Le CT a décrété qu'une évaluation en profondeur de l'initiative était requise pour démontrer sa rentabilité et justifier l'accroissement de son seuil de financement.

Détails

Entité responsable de l'évaluation : La responsabilité de l'ensemble de l'évaluation relevait de la Direction générale de la vérification et de l'éthique (DGVE) de TPSGC (auparavant Direction de la vérification et de l'évaluation). 

Ressources externes : L'évaluation a été menée par Conseils et Évaluation Canada pour le compte de la Direction générale de la vérification et de l'éthique (DGVE) de TPSGC.

Coûts : 230 000 $ en honoraires pour les consultants de l'extérieur. Une partie importante de ce montant a servi à une analyse du « faire ou faire faire ». 

Durée : L'évaluation a démarré en août 2002 et le rapport préliminaire a été produit le 9 janvier 2003. Ce rapport a été finalisé en mars 2002 et il a été accepté par le SCT et par le programme (Services immobiliers). 

Structure de gouvernance : L'évaluation n'a pas été supervisée par un comité consultatif ou directeur. CVC a présenté ses rapports préliminaires à la DGVE et aux Services immobiliers (SI). Par la suite la DGVE a approuvé le rapport final sur le plan de la méthodologie et les SI en ont officiellement accepté les résultats qui ont été transmis au Comité de la vérification et de l'éthique.

B. Constatations et recommandations
Objectifs

L'évaluation visait à :

  • évaluer l'efficacité générale du programme des AFPS, en mettant l'accent sur les objectifs de rendement, la satisfaction des clients et des locataires et les incidences dans les milieux de travail;
  • trouver les améliorations que l'on pourrait apporter aux AFPS dans ces secteurs.
Constatations

Les constatations de l'étude sont regroupées selon les catégories suivantes : la justification, la conception et la réalisation du programme; sa rentabilité; les systèmes financiers et le concept et la réussite globale du programme.

  • Justification du programme : L'étude conclut que de solides raisons militent en faveur de la poursuite de l'initiative, particulièrement dans la perspective de l'intérêt soutenu que suscitent les modèles de prestation de services diversifiés pour le gouvernement et compte tenu du soutien apporté par les intervenants dans le cadre des AFPS.
  • Conception et réalisation du programme : L'étude relève que le caractère exhaustif et novateur du processus de planification a joué un rôle majeur sur le plan de la réussite globale de l'initiative; que le processus d'attribution des contrats était juste et efficace; que, bien que la période de mise en œuvre a été difficile, les problèmes ont été résolus par des mesures prises lors du renouvellement des contrats; et que le processus de gestion du rendement a été revu et amélioré au fil de l'évolution de l'initiative. 
  • Rentabilité : L'analyse a fait ressortir que les AFPS ont permis de réaliser des économies de l'ordre de 12 millions de dollars en 2001 2002. Elle souligne que des lacunes des systèmes d'information entravent la précision de l'estimation des économies réalisées. L'étude va même jusqu'à suggérer que l'on pourrait optimiser les avantages de l'initiative des AFPS en étendant sa portée à toutes les propriétés du portefeuille de TPSGC.
  • Efficacité du programme : L'étude a permis de confirmer que :
    - l'intégrité des biens confiés au Ministère est assurée grâce au rendement satisfaisant du prestataire de services pour l'entretien des installations;
    - les attentes sur le plan de la satisfaction des locataires ont été dépassées après les premiers 18 mois de la mise en œuvre; 
    - la gestion des relations avec la clientèle s'est développée depuis les deux premières années de fonctionnement des AFPS. Le lancement d'un sondage sur la satisfaction des clients a accru l'objectivité de l'évaluation et il a permis de l'orienter avec plus de précision, tout en fournissant des données qui serviront d'assises pour les analyses ultérieures.
    - la diligence raisonnable et le respect des normes du gouvernement en ce qui concerne les langues officielles, la santé et la sécurité, l'environnement et le développement durable sont tous conformes à une norme entièrement satisfaisante;
  • Systèmes financiers : L'analyse a démontré les données nécessaires pour établir la totalité des coûts relatifs au programme des AFPS et aux programmes immobiliers sont disponibles, mais que celles ci et les détails justificatifs sont actuellement dispersés entre les différentes sources d'information dans la Région de la capitale nationale, dans les autres régions et auprès du prestataire de services. L'étude confirme aussi l'opinion selon laquelle il existe des contrôles suffisants pour éviter que le prestataire de services augmente les dépenses consacrées aux projets sans qu'elles soient contrôlées.
  • Réussite globale et concept de l'initiative : L'étude conclut que sous tous leurs aspects, les AFPS ont constitué une initiative fructueuse, tout en soulignant qu'il faut d'ores et déjà s'assurer qu'on a facilement accès à l'information sur l'ensemble du programme pour la surveillance continue et la gestion stratégique de l'initiative.
Recommandations

Quatre recommandations ont été formulées touchant la rentabilité et l'efficacité du programme et les systèmes financiers. On trouvera en annexe des détails sur ces recommandations.

Processus de mise en œuvre

Le processus d'évaluation de TPSGC exige qu'un plan d'action soit instauré pour le suivi des recommandations. Celui ci a été préparé puis soumis au Comité de la vérification et de l'éthique. La responsabilité finale de ce plan d'action relevait du sous-ministre des SI. 

Les SI ont avisé le Comité de la vérification et de l'éthique que des mesures avaient été prises à l'égard de chacune des recommandations. L'utilité de ces recommandations ne se limitait pas aux seuls gestionnaires des SI, mais, en raison de la valeur même des approvisionnements (environ 3 milliards de dollars), elles s'avéraient extrêmement importantes dans la perspective de l'atténuation des risques. Les SI ont adopté la recommandation visant à ce que le contrat attribué précise clairement les coûts du prestataire de services compris dans les honoraires de gestion et ceux qu'il peut répercuter dans le cadre du contrat, mais elle n'a pas été mise en application lors de la reconduite du contrat, car les frais de gestion du soumissionnaire retenu étaient nuls.

C. Principaux utilisateurs de l'évaluation
SM, SMA du programme et directeurs généraux

Les hauts fonctionnaires du ministère se sont appuyés sur les résultats de l'évaluation pour soutenir leur vision de la « voie à suivre » et pour arrêter les décisions stratégiques relatives à un nouvel appel de soumissions et à l'élargissement de sa portée. Le sous-ministre adjoint responsable du programme s'est aussi servi des résultats pour faire ses recommandations au sous-ministre à l'égard de l'avenir de l'initiative.

Conseil du Trésor 

Le CT s'est appuyé sur les résultats de l'évaluation pour :

  • justifier l'augmentation du seuil de financement des contrats d'AFPS en cours;
  • développer l'argumentaire à l'appui d'un nouvel appel d'offres pour les AFPS;
  • accroître le financement de l'appel d'offres pour permettre l'intégration d'immeubles additionnels.
D. Degré d'indépendance de l'étude et caractéristiques de ses répercussions

On s'entend pour dire que l'évaluation a été tout à fait indépendante. En effet, la confiance qu'a manifestée le SCT à l'égard des résultats de l'étude et son acceptation par le Conseil ont été vues comme des preuves de la rigueur et de l'impartialité de l'évaluation. Au bout du compte, le rapport d'évaluation a constitué une pièce fondamentale pour obtenir du CT la permission de procéder à un nouvel appel d'offres et de poursuivre l'initiative des AFPS.

E. Utilité de l'étude d'évaluation
Généralités

L'évaluation a atteint ses objectifs sur le plan de l'autorisation de fonds accrus pour relancer l'appel d'offres. Elle a aussi permis de répondre aux questions du SCT relatives à la rentabilité de l'initiative. En outre, elle a fourni des recommandations susceptibles d'améliorer la gestion des contrats des AFPS.

Décisions relatives à la gestion des dépenses et à l'affectation des ressources

L'évaluation est venue confirmer que les AFPS atteignaient leurs objectifs financiers, y compris sur le plan de l'efficacité par rapport aux coûts, et qu'il serait illogique et hors de prix de revenir à une solution interne pour la prestation de ces services. Elle a permis au sous-ministre et au SMA des SI d'étayer leur recommandation de poursuivre l'initiative et d'en étendre la portée..

Orientations stratégiques futures

L'évaluation n'a pas entraîné de nouvelles directives ou décisions politiques, mais elle a confirmé que la réussite de l'initiative militait en faveur de son maintien.

Conception du programme et améliorations requises

L'évaluation a appuyé la décision du sous-ministre et du SMA d'étendre la portée du contrat, conformément aux recommandations.

Reddition de comptes et relations hiérarchiques

L'évaluation a souligné deux faiblesses, l'une sur le plan de la gestion d'ensemble du contrat, l'autre touchant l'obtention de renseignements financiers fiables qui pourraient permettre une analyse exhaustive de la totalité des coûts relatifs à la prestation des services (par exemple, en effectuant des comparaisons et des analyses de tendance par périodes). Pour corriger la situation, l'appel d'offres exige des sous-traitants des rapports financiers plus détaillés.

F. Répercussions imprévues de l'étude d'évaluation
  1. Les SI ont entrepris une étude en profondeur des coûts et des frais et ils ont mis en place une initiative de comptabilité par activités qui permettra de mieux comprendre les coûts et d'établir les assises pour d'autres initiatives similaires.
  2. L'évaluation a entraîné une meilleure confiance en regard de l'impartition des services gouvernementaux, car il n'y avait que peu de données relatives à la réussite de ce type d'initiatives.
G. Principaux facteurs ayant contribué à la réussite de l'évaluation
  1. Engagement de la part de l'équipe externe d'évaluateurs. CVC a délégué certains de ses meilleurs conseillers pour faire en sorte que le travail soit de très haute qualité et que les délais soient respectés.
  2. Coopération des gestionnaires et du personnel du programme. L'approche des SI était centrée sur l'achèvement en temps opportun de l'étude d'évaluation, car le nouvel appel d'offres dépendait de ses résultats. En conséquence, les gestionnaires et les employés ont été des plus coopératifs et très ouverts à la transmission des informations.
  3. Rapport équilibré. L'évaluation a fait mention de lacunes dans le contrat initial des AFPS, tout en reconnaissant les nombreux aspects qui militaient en faveur de la poursuite de l'initiative.
  4. Caractère utile des recommandations. Les recommandations de l'évaluation étaient concrètes, sans être trop directives, et elles tenaient compte de l'aspect axé sur le rendement du contrat. Elles témoignaient par ailleurs d'une bonne compréhension de la philosophie à la base des AFPS – qui préconise un équilibre entre le transfert des responsabilités à un prestataire de services tiers tout en maintenant à l'intérieur de TPSGC l'imputabilité pour l'ensemble des services donnés en impartition. Ces recommandations ont mis en relief la nécessité pour TPSGC de réaffirmer ses responsabilités à cet égard.
H. Améliorations proposées et leçons apprises

Il y aurait lieu de mieux informer les cadres supérieurs de l'investissement (p. ex., coûts et temps) requis par un processus d'évaluation, de façon à susciter le développement d'un cadre d'évaluation permettant un suivi systématique et une cueillette continue des données. Il faut en fait intégrer les besoins du processus d'évaluation aux instruments de contrôle et d'imputabilité standard de la fonction publique.

Annexe - L'Initiative des autres formes de prestation de services

Aperçu du programme
Description

Travaux publics et Services gouvernementaux Canada est, par l'entremise de sa Direction générale des services immobiliers, le principal locateur et gardien d'un nombre considérable de biens immobiliers du gouvernement fédéral. À titre de locateur, le ministère est chargé de l'entretien permanent, de la maintenance courante et de l'intégrité des biens immobiliers du gouvernement et il doit offrir un large éventail de services immobiliers aux ministères locataires, allant des services de conciergerie jusqu'à l'optimisation des locaux dans le cadre de la conception et de la réalisation des programmes.

L'initiative des AFPS puise ses origines dans l'Examen des programmes réalisé en 1994 dans l'ensemble du gouvernement et dans le principe qui consiste à repenser le rôle de l'État. Cette initiative a notamment amené les ministères à faire la distinction entre les activités que le gouvernement doit exercer et celles qui pourraient être réalisées plus efficacement et plus économiquement par d'autres paliers de gouvernement ou par le secteur privé. Conformément à ce principe et à la contrainte de satisfaire à des attentes légitimes en matière de réduction de coûts, la Direction générale des services immobiliers (SI) de TPSGC a procédé, en 1996, à un examen détaillé des services essentiels, qui a en bout de ligne donné lieu à la sous-traitance des services de gestion immobilière et de certains services de réalisation de projets, dans le cadre de l'initiative des autres formes de prestation de services, lancée en mai 1998. Grâce à la mise en œuvre de cette initiative, on prévoyait réaliser des économies de 20 millions de dollars, annuellement. 

L'initiative des AFPS comprend 13 contrats avec un prestataire de services du secteur privé et deux protocoles d'entente (PE) avec des provinces (la Colombie-Britannique et la Saskatchewan). Les contrats conclus avec le secteur privé comprennent des activités précises, à savoir des services de gestion immobilière (inspections annuelles des bâtiments, nettoyage, maintenance, respect des normes en matière de santé et de sécurité), des services de réalisation de travaux de réparation, d'amélioration et d'aménagement dont la valeur est inférieure à 200 000 $ et la gestion des opérations de location de locaux pour commerce de détail.

Budget annuel

Actuellement, le budget de l'initiative est de 1,2 milliard de dollars, réparti sur sept ans.

Recommandations découlant de l'évaluation

Au total, quatre recommandations ont été formulées, dans les domaines suivants.

  • Rentabilité : Le Ministère devrait renforcer sa relation avec son prestataire de services éventuel et il devrait songer à modifier la portée des travaux pour tenir compte de la préparation d'un rapport sur l'état des immeubles qui serait établi chaque année.

  • Efficacité du programme : Dans le nouvel appel d'offres qui sera lancé, il faudrait traiter plus systématiquement la question des langues officielles, en intégrant des indicateurs de surveillance dans le contrat et dans le cadre des IRC.

  • Systèmes financiers : Il y avait deux recommandations relatives à cet aspect. La première visait à regrouper toutes les données actuellement dispersées au sein des divers systèmes, à instaurer une méthode partage des données, créer un entrepôt de données et nommer un champion pour s'assurer qu'on puisse facilement consulter l'information sur la gestion de l'ensemble du programme. La seconde recommandation suggérait que les contrats éventuels prévoient clairement quels coûts engagés par les fournisseurs de services sont inclus dans les honoraires de gestion peuvent être intégrés aux frais généraux et elle proposait que les fournisseurs de services soient tenus d'inclure davantage de détails dans leurs rapports financiers, pour permettre une analyse du coût réel de la prestation de services et des tendances au fil du temps.

Évaluation de l'initiative de la Prestation nationale pour enfants : Rapport de synthèse
Développement social Canada
Février 2005

A. Background on Evaluation
Type d'évaluation

Une évaluation sommative centrée sur les résultats découlant des activités en cours dans douze administrations dans le cadre de l'initiative de la Prestation nationale pour enfants (PNE), à l'exception des Premières nations (qui ont fait l'objet d'une évaluation distincte). Le cadre d'évaluation englobait les trois premières années (1998 2001) de mise en application de la PNE.

Il s'agissait d'un processus d'évaluation particulièrement complexe du point de vue de la méthodologie et compte tenu des différents paliers de gouvernement visés dont les priorités et les points de vue sur la nécessité d'une évaluation ne convergeaient pas nécessairement. Il a fallu dégager un consensus entre les représentants du gouvernement fédéral et ceux des gouvernements provinciaux et territoriaux à propos d'un bon nombre d'aspects du processus, notamment, le choix des experts-conseils à embaucher, la méthodologie à utiliser et la teneur du rapport synthèse.

Justification

Les résultats obtenus en vertu des dispositions de responsabilisation du Cadre de gestion et de responsabilité de l'initiative de la PNE étaient au cœur de la démarche d'évaluation. Dans ce cadre, les ministres responsables des services sociaux des gouvernements fédéral/provinciaux/territoriaux se sont engagés à communiquer annuellement aux citoyens les résultats et les progrès de l'initiative de la PNE. L'évaluation a servi de courroie de transmission de l'information vers les citoyens, de même que de mécanisme de rétroaction.

Détails

Entité responsable de l'évaluation : L'évaluation a été supervisée par les cadres supérieurs de la Direction de la vérification et de l'évaluation de Développement social Canada. Son directeur général est personnellement intervenu dans de nombreux aspects du processus. 

Ressources externes : Trois firmes externes d'experts-conseils ont collaboré à l'évaluation, l'une d'elle étant désignée comme principal maître d'œuvre. De plus, trois pairs ont aussi travaillé à l'étude. 

Coûts : L'évaluation a coûté environ 600 000 dollars. Ces coûts ont été partagés par les trois paliers de gouvernement. La contribution du gouvernement fédéral provenait du Conseil du Trésor. 

Durée : L'évaluation a pris environ trois ans. Nombre de facteurs expliquent cette durée, notamment, la nécessité :

  • d'offrir une formation à certains représentants des gouvernements provinciaux et territoriaux, car les représentants des différentes administrations n'avaient pas tous la même expérience des processus d'évaluation
  • de s'assurer de la robustesse de la méthodologie et de dégager un consensus entre les membres de l'équipe de travail;
  • d'obtenir l'approbation de tous les ministres impliqués au sein des trois paliers de gouvernement (douze administrations étaient touchées) quant à la teneur du rapport de synthèse. Ce processus a pris environ un an et a nécessité la tenue de treize conférences téléphoniques. 

Malgré la longue durée de l'évaluation, des résultats partiels ont été transmis au Parlement et aux citoyens au fur et à mesure que des projets étaient achevés. Les résultats d'ensemble initiaux ont été communiqués dans un rapport d'étape publié en 2002. 

Structure de gouvernance : L'évaluation était encadrée par un groupe de travail fédéral/provincial/territorial constitué de représentants de toutes les provinces (le Québec y participait à titre d'observateur), de représentants du ministère des Finances, de l'Agence de revenu du Canada, de Développement social Canada et d'observateurs des Affaires indiennes et du Nord du Canada. Ce groupe était coprésidé par des représentants du fédéral et du provincial. 

Le gouvernement fédéral a assumé la direction du processus pour ce qui touche à la planification, à l'élaboration du mandat, à la préparation et à la tenue des appels de soumission, à l'attribution des contrats, à l'examen de la méthodologie et des résultats et aux négociations en vue de l'approbation du rapport de synthèse par toutes les administrations impliquées. Le groupe de travail, de son côté, s'est chargé de revoir le processus contractuel, le mandat de l'évaluation et les rapports d'étapes produits tout au long de l'exercice. Au besoin, il a aussi participé à la conduite de l'évaluation lorsque son aval était requis.

B. Constatations et recommandations
Objectifs

L'objectif fondamental de cette évaluation consistait à vérifier dans quelle mesure l'initiative de la PNE atteignait les objectifs fixés.

Constatations

Pertinence : Cette évaluation a permis de conclure à l'existence de preuves solides appuyant la raison d'être de l'initiative de la PNE. Toutefois, bien que des progrès aient été réalisés au cours des dernières années, environ 10 % des enfants canadiens continuent de vivre dans une situation de faible revenu. D'après les résultats de l'évaluation jusqu'ici, il apparaît évident que la PNE a un rôle à jouer pour remédier à ce problème.

Atteinte des objectifs : De façon générale, les objectifs de l'initiative ont été atteints. LA PNE a eu une incidence marquée sur la diminution de la pauvreté des enfants, sans toutefois l'éliminer, ce qui milite en faveur de la poursuite de cette initiative. 

L'étude constate que l'incidence de la PNE sur la participation au marché du travail est variable. Les caractéristiques de l'initiative ont entraîné la création de mesures d'incitation financières et des avantages en nature pour aider les gens à passer de l'aide sociale au monde du travail. Il est probable que la PNE a eu pour effet de réduire le nombre de nouvelles familles devant recourir à l'aide sociale, mais il semble également que l'instauration de cette initiative n'a pas permis d'abréger la durée de l'aide sociale. Enfin, l'évaluation fait état d'importants effets de synergie attribuables à l'harmonisation de la PNE entre les divers paliers de gouvernement. 

Efficacité relative par rapport aux coûts : Les données disponibles sur les coûts supplémentaires et les répercussions nettes n'étaient pas suffisantes pour effectuer une analyse de l'efficacité par rapport aux coûts. Néanmoins, l'étude a relevé des indications indirectes voulant que l'initiative soit efficace par rapport aux coûts. Dans l'ensemble, on a constaté que le manque de données sur les réinvestissements provinciaux indiquait qu'il était nécessaire de renforcer le cadre de responsabilisation fédéral/provincial.

Recommandations

Bien que l'étude ne présente pas de recommandations formelles pour l'avenir, plusieurs constatations disséminées à même le rapport méritent d'être examinées pour combler les lacunes du programme.

Processus de mise en œuvre

Bien qu'aucune recommandation précise n'ait été formulée, l'évaluation a soulevé des questions qui seront approfondies dans une phase ultérieure, comme la nécessité de concilier le travail et les responsabilités de parent et le suivi des réinvestissements des économies que la PNE permet de réaliser.

C. Principaux utilisateurs de l'évaluation
Groupes chargés de l'élaboration des politiques

Les groupes chargés de l'élaboration des politiques se sont appuyés sur les résultats de l'évaluation pour réexaminer les politiques relatives à la garde des enfants, et plus particulièrement la nécessité de concilier le travail et les responsabilités de parent que soulève le rapport de l'étude.

Organismes centraux

Le ministère des Finances a eu recours aux résultats de l'évaluation pour déterminer si l'initiative devait se poursuivre ou non, et pour établir les seuils de financement qui lui sont nécessaires. En effet, les résultats de l'évaluation ont convaincu le ministère qu'il y avait lieu de continuer d'investir dans la PNE. La participation du gouvernement fédéral au financement du programme est ainsi passée de 1,9 milliard en 2001 à 2,5 milliards pour l'exercice se terminant en juin 2002. 

Les résultats de l'évaluation ont aussi alimenté les discussions avec le Bureau du Conseil privé (BCP) à propos d'une initiative similaire – l'initiative de l'apprentissage et de la garde des jeunes enfants. Le manque de données précises sur les responsabilités, mis en relief par le rapport d'évaluation, était au centre de ces discussions.

Intervenants

L'évaluation a permis à tous les intervenants qui travaillent autour de la problématique de la pauvreté chez les enfants de mieux apprécier les répercussions de la PNE.

D. Degré d'indépendance de l'étude et caractéristiques de ses répercussions

On considère que l'étude a été menée en toute indépendance. Bien que le projet d'une évaluation dont les résultats seraient diffusés auprès du grand public n'était pas accueilli favorablement par toutes les administrations,.elles en ont finalement unaniment accepté les résultats (positifs et négatifs) et elles ont approuvé le rapport de synthèse. Ce ralliement a été perçu comme une preuve du caractère indépendant de l'étude.

E. Utilité de l'étude d'évaluation
Généralités

Cette évaluation a établi une nouvelle norme en matière de relations entre les trois paliers de gouvernement. Elle a démontré comment les différentes instances pouvaient travailler de concert de façon efficace pour obtenir des résultats probants et se partager les responsabilités dans le cadre d'une initiative commune. On prévoit que les résultats de cette étude feront l'objet de discussions lors de la prochaine conférence fédérale/provinciale.

Conception du programme

L'évaluation a fait ressortir la nécessité d'un réexamen de certains éléments de la conception du programme, comme les mesures incitatives à l'intention des familles. La PNE a été dénoncée par certaines couches de la population en raison de certains éléments de sa conception, comme la récupération de sommes destinées aux prestataires de l'aide sociale. L'évaluation a fourni des preuves quantitatives du bien-fondé de la conception du programme.

Reddition de comptes et relations hiérarchiques

L'entente de responsabilisation entre les provinces et les territoires était par nature complexe et l'évaluation a permis de dégager les différences entre les approches et les façons de mesurer les résultats dans chacune des administrations. Ce nouvel éclairage du cadre de responsabilisation a aussi servi à l'élaboration de l'initiative de l'apprentissage et de la garde des jeunes enfants (AGJE) sur le plan de la mesure de la réussite et de l'élaboration d'un cadre d'évaluation. Par exemple, on y met l'accent sur la disponibilité des données aux fins du suivi et de l'évaluation de l'AGJE.

F. Répercussions imprévues de l'étude d'évaluation
  1. Confirmation de la faisabilité d'évaluations fédérales/provinciales conjointes. L'évaluation a fait la démonstration qu'un processus conjoint pouvait se réaliser à la convenance des deux paliers de gouvernement. Comme la réussite du processus demandait la collaboration de neuf provinces, trois territoires et quatre ministères du gouvernement fédéral, elle constitue un précédent d'importance en la matière. Elle a aussi convaincu le gouvernement fédéral qu'un cadre conjoint d'évaluation pouvait être exploité avec succès, tout comme c'est le cas pour un cadre de responsabilisation.
  2. Démonstration de la valeur ajoutée par la fonction d'évaluation. L'évaluation a suscité des questions et fourni des informations qui ont alimenté le débat politique et fait évoluer le programme stratégique sur la pauvreté des enfants.
  3. Élaboration d'une approche pour de futures évaluations d'envergure regroupant plusieurs administrations. Les leçons retenues de cette évaluation de l'Initiative de la PNE, comme la nécessité d'obtenir l'adhésion des principaux intervenants en invitant des experts-conseils de renommée mondiale à débattre des enjeux et faire appel à des pairs pour valider la problématique, seront reprises dans le cadre de futurs processus d'évaluation de même nature.
  4. Émergence de nouvelles questions relatives aux objectifs du programme et aux difficultés rattachées à la mesure de sa réussite. L'évaluation a aussi incité les gens à se poser des questions sur les objectifs du programme (p. ex., y inclure à la fois l'incidence et l'étendue de la pauvreté des enfants) qui sont susceptibles d'influer sur ses orientations futures. Elle a aussi mis en relief la nécessité d'un examen sérieux de la façon dont on devrait définir et mesurer la pauvreté chez les enfants.
G. Principaux facteurs ayant contribué à la réussite de l'évaluation
  1. Le recours à des experts-conseils disposant des compétences spécialisées, des connaissances et de l'expertise requise pour réaliser l'évaluation, produire des résultats de très haute qualité et rehausser le degré de crédibilité de la démarche aux yeux des organismes centraux et du Bureau du vérificateur général.
  2. Une méthodologie solide, incluant de multiples sources de données (p. ex., enquêtes, analyses quantitatives, études de cas, revues de documents). Comme on s'attendait à ce que l'évaluation de la PNE pose certaines difficultés, l'approche adoptée a été axée sur l'établissement de multiples sources d'information partielle qui ont permis de corroborer les constatations au moyen de recoupements
  3. Le recours à un examen par des pairs de l'extérieur, pour :
    1. remettre en question et corriger la méthodologie proposée et en rehausse la crédibilité;
    2. revoir certains modules du projet pour s'assurer de la fiabilité des résultats;
    3. désamorcer les situations d'opposition et promouvoir un consensus entre les représentants des quatre ministères fédéraux, neuf provinces et trois territoires.
  4. Un groupe de travail fort composé de représentants des trois paliers de gouvernements qui, pour la plupart, disposaient de compétences pertinentes en matière de recherche et d'évaluation. Les membres du groupe de travail de l'évaluation ont joué un rôle central pour convaincre leurs collègues de la valeur du rapport de synthèse de l'évaluation et, au bout du compte, obtenir que tous les ministres des différents gouvernements l'entérinent.
  5. L'engagement de DSC de faire appel à ses propres ressources pour superviser de bout en bout le processus. L'évaluation a été gérée par des membres expérimentés du personnel de DCS qui comprenaient la fonction d'évaluation et qui étaient reconnus de longue date pour l'excellence de leurs travaux. De plus, le personnel d'évaluation de DSC connaissait bien le contexte des relations fédérales/provinciales et était en mesure d'aider à désamorcer les tensions entre les différents paliers de gouvernement.
  6. La participation de représentants de l'organisme central au sein du groupe de travail de l'évaluation a permis d'éclairer le dialogue entre le Centre et les ministères responsables.
H. Améliorations proposées et leçons apprises

La majorité des travaux de cette évaluation relevaient d'une même firme d'experts-conseils qui avait obtenu un contrat important, d'une valeur approximative de 500 000 $. Cette façon de procéder augmente le risque qu'une erreur grave commise par ce consultant ait d'importantes répercussions sur les résultats de l'évaluation. Rétrospectivement, il semble qu'il aurait été préférable de segmenter l'évaluation en projets de moindre envergure de façon à faire appel à de multiples sources de données et à plusieurs sous-traitants.La levée des obstacles que pose le gouvernement fédéral à l'accès aux données sur l'impôt sur le revenu aurait simplifié le regroupement des données nécessaires à l'évaluation. DSC travaille actuellement avec l'ARC pour faire en sorte que ces données soient disponibles pour les besoins de futures évaluations.

Annexe - Prestation nationale pour enfants

Aperçu du programme
Description

La Prestation nationale pour enfants (PNE) est une initiative conjointe des gouvernements fédéral, provinciaux et territoriaux du Canada. Elle relève des ministres fédéral/provinciaux/territoriaux responsables des services sociaux.

La PNE est une initiative novatrice reposant sur des prestations fiscales fédérales pour enfants versées dans un cadre harmonisé avec les programmes d'aide sociale et les autres services destinés à l'enfance des provinces et territoires. Elle comprend un supplément de la PNE accordé aux familles à faible revenu (payé à 40 % des familles canadiennes) et une composante provinciale/territoriale ou des Premières nations. 

L'élément novateur réside dans l'intégration des prestations fondée sur le revenu – selon le supplément de PNE accordé aux familles, les provinces peuvent rajuster le soutien du revenu prévu pour les enfants dans le cadre de leur programme d'aide sociale et de réinvestir ces fonds dans l'amélioration des programmes existants ou dans la création de nouveaux programmes. 

Les provinces et les territoires ont fait mention de réinvestissements et d'investissements découlant des économies réalisées grâce à la PNE. Ceux ci se sont chiffrés à 534,5, à 632,4 et à 723,2 millions de dollars, respectivement, au cours de la période de trois ans allant de 2000 2001 à 2002 2003.

Objectifs
  1. Contribuer à la prévention et à la réduction de l'étendue de la pauvreté chez les enfants;
  2. Favoriser la participation au marché du travail de sorte qu'il soit toujours plus avantageux pour les familles de travailler;
  3. Réduire le chevauchement et le double emploi en harmonisant davantage les objectifs des programmes et les prestations et en simplifiant l'administration.
Budget annuel

Pour l'exercice financier se terminant en 2003, le gouvernement du Canada a fourni une contribution de 2,4 milliards de dollars, par le biais du supplément du Régime national de prestations pour enfants.

Recommandations découlant de l'évaluation

Sans objet.

Évaluation quinquennale du Programme des chaires de recherche du Canada
Conseil de recherches en sciences humaines
Décembre 2004

A. Contexte de l'évaluation
Type d'évaluation

Sommative.

Justification

Conformément à la Politique sur les paiements de transfert du Conseil du Trésor, une évaluation quinquennale du programme des Chaires de recherche du Canada (PCRC) était requise en vue d'en renouveler le mandat et les modalités. Le programme est tributaire de trois organismes subventionnaires : le Conseil de recherches en sciences humaines (CRSH), le Conseil de recherches en sciences naturelles et en génie (CRSNG) et les Instituts de recherche en santé du Canada (IRSC), de même que d'Industrie Canada et de la Fondation canadienne pour l'innovation (FCI). 

Un examen de la structure et du fonctionnement du programme avait été mené au cours de sa troisième année d'exploitation. Cet examen a été achevé en septembre 2002.

Détails

Entité responsable de l'évaluation : La Direction de la vérification et de l'évaluation du CRSH a géré le processus d'évaluation en collaboration avec un agent supérieur d'évaluation désigné pour le projet. 

Ressources externes : L'organisation a embauché un cabinet extérieur pour effectuer l'évaluation. 

Coûts : Contrat de service de 174 350 $ (excluant la TPS), dont 40 325 $ ont été consacrés à la conception de l'évaluation et 134 025 $ au processus d'évaluation lui même. 

Durée : L'étude d'évaluation a duré dix-huit mois, depuis la phase de planification jusqu'à l'approbation finale du rapport. La planification du projet, incluant l'élaboration du mandat, le processus d'appel d'offres et l'évaluation des soumissions, a duré cinq mois (de juillet à novembre 2003); la réalisation du projet, depuis l'embauche des consultants jusqu'à la remise du rapport final, a duré onze mois (de novembre 2003 à septembre 2004); et l'approbation finale du rapport par le comité directeur interinstitutions et le comité directeur du programme a pris trois mois (d'octobre à décembre 2004). 

Structure de gouvernance : Un comité de direction interinstitutions, constitué de directeurs – chefs d'évaluation des trois organismes subventionnaires d'Industrie Canada – et d'un représentant du FCI. Ce comité était présidé par le directeur de l'évaluation, CRSH. Des représentants de Conseil du Trésor, du Ministère des Finances, d'Industrie Canada et du Secrétariat de Chaires y siégeaient aussi à titre d'observateurs.

B. Constatations et recommandations
Objectifs

Analyser et caractériser les réalisations majeures et les résultats actuels du programme des Chaires de recherche du Canada en regard des objectifs établis, y compris pour la composante qui relève de la Fondation canadienne pour l'innovation (FCI).

Constatations

Les principales constatations sont positives et l'évaluation conclut que le PCRC a favorisé la création d'un environnement de recherche qui permettra d'attirer et de retenir à long terme des chercheurs de haut niveau.

  • Pertinence du programme : Les objectifs du PCRC sont considérés comme étant toujours pertinents cinq ans après le lancement du programme et les constatations décrivent le PCRC comme étant un outil efficace en vue de réaliser ces objectifs. La composante FCI du Programme des chaires de recherche du Canada est considérée comme jouant un rôle essentiel dans la réussite du programme, particulièrement pour ce qui est d'attirer des chercheurs de pointe de l'étranger (en particulier pour les disciplines des IRSC et du CRSNG).
  • Résultats/effets d'ensemble : Selon les titulaires de chaires, la productivité de la recherche et le nombre de personnes hautement qualifiées formées ont augmenté de façon importante. D'autre part, les titulaires de chaires mentionnent les différents impacts de leurs recherches : brevets, inventions et nouveaux traitements potentiels dans le domaine de la santé (bien qu'il soit impossible, cependant, d'attribuer ces effets exclusivement au Programme des chaires de recherche du Canada, vu le peu de temps écoulé depuis l'attribution des chaires dans la plupart des cas). La plupart des universités de petite taille ont le sentiment que le programme les a aidé à mettre en place la « masse critique » nécessaire pour créer des centres d'excellence en recherche. Par ailleurs, les universités mentionnent un certain nombre de risques associés à la participation au Programme des chaires de recherche du Canada, comme les coûts associés au versement des salaires pour les postes de chaires non renouvelés. Les universités expriment aussi leur incertitude concernant le fonctionnement du programme une fois que les 2 000 chaires auront été comblées.
     
Recommandations

Huit recommandations ont été formulées. Principalement, il est recommandé de poursuivre le financement de la FCI au delà du mandat initial. Deux recommandations visent l'orientation générale du programme, la première s'attache au suivi de la gestion du programme, la seconde à la nécessité de reconsidérer ses objectifs fondamentaux. Plusieurs recommandations touchent la conception du programme, notamment pour la formule de répartition du financement entre les organismes, le degré de souplesse, le soutien accordé par les universités aux titulaires de chaires et l'utilisation des fonds du PCRC par les universités. Enfin, l'évaluation a relevé qu'il y aurait lieu de faire un effort en vue de répartir les chaires de façon équitable entre hommes et femmes.

Processus de mise en œuvre

Le rapport final a été approuvé par le Comité directeur de l'évaluation et les recommandations ont donc été en principe entérinées. Le rapport a été soumis pour discussion au comité directeur des CRC. Une réponse de la direction du programme, qui documente les mesures à prendre, a été fournie au comité directeur en juin 2005. Le directeur administratif du PCRC a mis sur pied un groupe de travail responsable du suivi. Ce groupe comprend deux cadres supérieurs du programme, un agent principal d'évaluation et un représentant d'Industrie Canada.

C. Principaux utilisateurs de l'évaluation
Gestionnaires de programme

Secrétariat du programme des chaires – L'évaluation a confirmé que le programme était dans la bonne voie, et elle a ainsi rempli sa mission d'informer le personnel du programme de la perception qu'en a la collectivité des chercheurs qui en bénéficient.

Haute direction

Le Comité directeur du programme – constitué des présidents du CRSH, du CRSNG et des IRSC, de même que du sous-ministre d'Industrie Canada (ou de son délégué) – a approuvé le rapport d'évaluation et entériné son contenu. L'évaluation a permis de démontrer que le programme atteignait ses objectifs de renforcement de la capacité et de la compétitivité du Canada dans le domaine de la recherche

Conseil du Trésor

Le caractère positif des résultats de l'évaluation a permis d'étayer la présentation au Conseil du Trésor (prévue en octobre 2005) pour le renouvellement du mandat et des modalités du programme pour une autre période quinquennale.

Intervenants

Universités – Ces institutions ont été satisfaites de constater que le programme se déroulait de façon adéquate et que leurs préoccupations à propos de la conception du programme avaient été relevées et faisaient l'objet de recommandation. 

FCI – L'évaluation a confirmé le bien-fondé du partenariat instauré entre les organismes subventionnaires et la FCI, et elle a recommandé la poursuite de la composante FCI, considérée comme jouant un rôle essentiel dans la réussite du programme.

D. Degré d'indépendance de l'étude et caractéristiques de ses répercussions

L'évaluation a été menée avec un grand souci d'objectivité. Les experts-conseils ont examiné de façon rigoureuse le contexte d'exécution du programme et ils ont dégagé de façon adéquate les besoins propres aux différents intervenants. Cette démarche avait une importance capitale en raison de la complexité du programme et de l'ampleur de son budget (300 M$ par année). Le programme regroupe de nombreux intervenants (universités, organismes subventionnaires, associations, chercheurs, etc.) qui ont des priorités concurrentes. L'évaluation a réussi à éclairer ce problème d'équilibre entre les perspectives des différents intervenants. 

L'approche sur le plan de la collecte des données et la méthodologie utilisée, tout comme la rigueur de l'étude, ont aussi contribué à rehausser le degré d'objectivité de l'évaluation. On s'est appuyé sur des sources de données multiples, incluant des mesures quantitatives et qualitatives, pour répondre aux questions de l'évaluation : données administratives et revue documentaire (sources : Programme des chaires de recherche, organismes subventionnaires et FCI); demandes spéciales de renseignements adressées aux institutions; enquête auprès des titulaires de chaires et des professeurs, enquête auprès d'autres corps professoraux (en utilisant comme groupe de contrôle les chercheurs les mieux subventionnés par les trois organismes partenaires); une enquête auprès des candidats dont la candidature n'a pas été retenue; des entrevues avec les intervenants principaux (Secrétariat du programme, Comité de direction, Comité de gestion, associations, comme l'AUCC et l'ACPPU); des entrevues avec des chercheurs ayant décliné l'offre d'une chaire de recherche; des études de cas selon le niveau et le groupe de disciplines; et une étude de vingt programmes similaires de financement de la recherche offerts au Canada et dans d'autres pays de l'OCDE.

E. Utilité de l'étude d'évaluation
Pertinence / réussite

La principale constatation du programme confirme que le Programme des chaires de recherche atteint ses objectifs et qu'il contribue à accroître les avantages concurrentiels du Canada. Le secrétariat du programme et le comité directeur considèrent que l'évaluation a été des plus utiles en démontrant que le programme évoluait dans la bonne voie. L'étude a aussi fait la preuve, pour le gouvernement fédéral, le Parlement, les Canadiens et les universités, que cette initiative avançait dans la réalisation de ses objectifs. Les recommandations paraissent raisonnables, et elles sont formulées de façon constructive et réaliste. Des plans ont été élaborés pour assurer le suivi de ces recommandations. 

Les résultats de l'évaluation permettront d'étayer la présentation au CT en vue du renouvellement du mandat et des modalités d'exécution du programme pour un autre quinquennat. L'évaluation a aussi fourni un aperçu des répercussions à long terme du programme et elle a fait valoir comment le programme renforce l'excellence en recherche au Canada. La relation entre l'attribution d'une chaire et la productivité en recherche était l'une des questions clés auxquelles l'évaluation devait répondre. 

L'étude a fait ressortir que, dans l'ensemble, on constatait, depuis que le programme est en place, une plus forte augmentation en pourcentage des activités de recherche chez les titulaires de chaires que chez les autres chercheurs. Malgré que cet impact représente sans doute le point culminant d'un travail de recherche s'étalant sur de nombreuses années et ayant bénéficié d'un financement en provenance de multiples sources, cette constatation n'en demeure pas moins encourageante. 

L'évaluation a aussi rempli sa mission d'information du personnel à propos de la perception du programme dans la communauté des bénéficiaires.

Décisions relatives à la gestion des dépenses et à l'affectation des ressources

L'évaluation recommandait que l'on maintienne la composante FCI dans le financement du programme. Pour donner suite à cette évaluation sommative, le FCI a pris la décision de poursuivre et d'augmenter le financement du Programme des chaires de recherche du Canada. À cette fin, le FCI a instauré le Fonds des leaders, qui permet aux universités admissibles d'acquérir l'infrastructure nécessaire pour leurs chercheurs éminents afin d'entreprendre des recherches d'avant garde et de former des chercheurs dans les domaines désignés prioritaires par l'université. À compter d'octobre 2005, les demandes soumises au Fonds de relève et au Fonds d'infrastructure pour les Chaires de recherche du Canada seront traitées par le nouveau Fonds des leaders. Le budget disponible à partir de ce fonds sera de 338 M$ pour le quinquennat 2006-2010.

Ce supplément de financement du FCI garantira un accès continu à des infrastructures de recherche, un aspect crucial pour le programme des Chaires, particulièrement lorsqu'il s'agit d'attirer des chercheurs de l'étranger.

Orientations stratégiques futures

Les constatations de l'étude sont venues confirmer le bien-fondé des quatre premiers objectifs du programme, tout en soulevant la nécessité de revoir le cinquième objectif – assurer l'utilisation efficace des ressources de recherche grâce à la planification stratégique des établissements ainsi qu'à la collaboration entre établissements et entre secteurs. Les universités ont en effet sentiment que la principale fonction du Programme des chaires de recherche du Canada était de recruter et de retenir des chercheurs et non d'encourager la collaboration.

Conception du programme et améliorations à apporter

L'évaluation a identifié certaines lacunes dans la conception initiale du programme et souligné la nécessité de trouver des moyens pour les combler. Par exemple, le fonctionnement du programme une fois que les 2 000 chaires auront été comblées demeure incertain. Cette situation suscite des risques financiers pour les universités, en cas de perte d'admissibilité d'un titulaire ou de non-renouvellement de sa chaire, et remet en question le fonctionnement futur du programme. Plusieurs autres recommandations touchaient des améliorations de nature administrative qu'il faudrait à apporter à la conception du programme, comme une augmentation du degré de flexibilité pour l'attribution des chaires par niveau et par groupe de disciplines, un meilleur suivi de l'utilisation des fonds et une répartition plus équilibrée des chaires entre les hommes et les femmes. 

Le secrétariat a pu s'appuyer sur ces constatations pour repenser sa stratégie relativement à l'avenir du programme et apporter des correctifs aux aspects qui présentaient des faiblesses.

F. Autres avantages découlant de l'étude d'évaluation
  1. Reconnaissance accrue à l'échelle nationale. La large diffusion du rapport d'évaluation auprès des universités, de diverses associations et groupes d'intérêts a favorisé une meilleure reconnaissance du programme et de sa valeur.
  2. Le secrétariat a une meilleure perception de la compétitivité du programme sur le plan international. Le caractère positif des résultats de l'évaluation et la collecte des données à son sujet à l'extérieur du pays ont permis au personnel de mieux comprendre la situation concurrentielle du programme, ce qui lui permettra de mieux asseoir son positionnement sur le plan international. Ceci est d'autant plus important que l'objectif primaire du programme consiste à attirer et à retenir les meilleurs chercheurs, non seulement du Canada, mais du monde entier.
G. Principaux facteurs ayant contribué à la réussite de l'évaluation
  1. Entente de travail hautement collaborative entre le secteur de l'évaluation du CRSH, le personnel du programme et l'équipe des consultants. Les agents principaux d'évaluation du CRSH ont collaboré de près avec l'équipe des consultants, et en consultation avec les gestionnaires de programme. Des interactions suivies et l'implication du personnel du programme tout au long du processus ont permis de vérifier en tout temps que l'évaluation demeurait sur la bonne voie et d'éviter les surprises de dernière minute. Grâce à leur expertise en matière de gestion de projet, les consultants ont pu faire progresser l'évaluation dans un strict respect des échéances prévues. En outre, l'équipe d'évaluation a travaillé de concert avec Industrie Canada, à la source de la conception initiale du programme.
  2. Recommandations pertinentes et équilibrées. L'équipe d'évaluation a délibérément choisi de ne présenter qu'un nombre restreint de recommandations ciblées, directement reliées aux conclusions de l'étude. Le rapport présentait aussi des options pour leur mise en œuvre. Le secrétariat du programme a bien reçu les recommandations, car illes jugeait raisonnables, constructives et réalistes, ce qui simplifiait grandement le processus de leur mise en œuvre.
  3. Acceptation par les bénéficiaires et les collectivités. La réponse de la communauté universitaire a été très favorable, comme en témoignent le taux de réponse très élevé des titulaires de chaire et des autres corps professoraux et la forte participation aux entrevues auxquelles les représentants d'universités et d'associations avaient été conviés. Ceci a contribué à constituer une solide base de données, de même qu'à susciter une participation soutenue et un fort intérêt pour les résultats de l'évaluation.
  4. Communication ouverte et rapide de l'avancement du processus par l'équipe des évaluateurs. Plusieurs présentations ont été organisées à l'intention de la communauté universitaire et du Comité directeur. Dès le début, on a mis l'accent sur le caractère ouvert du processus pour favoriser une meilleure compréhension et une participation soutenue de la part de tous les intervenants.
H. Limitations et possibilités d'améliorations 

Le personnel du programme et l'équipe d'évaluation ont fait quelques suggestions d'amélioration du processus, dans la perspective de futures études d'évaluation. Notamment :

  1. Assouplir les exigences du Conseil du Trésor. On a avancé que l'exigence du Conseil du Trésor de procéder tous les cinq ans à une évaluation sommative des programmes de recherche pourrait être assouplie pour tenir compte des délais nécessaires pour que les répercussions des mesures de soutien à la recherche soient perceptibles. Une période de cinq ans n'est probablement pas toujours idéale pour évaluer avec précision les résultats attendus à plus long terme de certains programmes.
  2. Clarifier le rôle du Comité directeur de l'évaluation. Il conviendrait de s'assurer que le rôle et les responsabilités du comité chargé de superviser l'évaluation soient clairement définis et documentés, de façon à maximiser l'apport de cette entité. Par exemple, le comité pourrait apporter davantage d'intrants stratégiques plutôt que de s'occuper de questions techniques.
  3. Instaurer un processus d'examen des résultats par des pairs. Étant donné que l'étude visait l'évaluation d'un programme qui met en jeu la recherche de pointe dans plusieurs champs spécialisés, il aurait été approprié de faire appel à des experts de ces domaines pour valider les constatations et les conclusions de l'étude, en particulier sur le plan de leur impact scientifique.

Annexe - Programme des chaires de recherche du Canada

Aperçu du programme
Description

Le Programme des chaires de recherche du Canada (PCRC) est une composante essentielle de la stratégie adoptée par le Canada en vue de devenir un leader mondial dans l'économie du savoir. En 2000, le gouvernement du Canada a affecté 900 millions de dollars à la création de 2 000 chaires de recherche dans les universités à travers le pays. La principale fonction du Programme des chaires de recherche du Canada consiste à aider les universités à recruter et de retenir les meilleurs chercheurs et à atteindre l'excellence en recherche dans les grands groupes de disciplines : sciences naturelles et génie, santé et sciences humaines. Le budget de l'an 2000 comportait aussi un financement supplémentaire de 250 millions de dollars fourni par la Fondation canadienne pour l'innovation pour aider à satisfaire les besoins des nouvelles chaires de recherche sur le plan des infrastructures.

Objectifs
  1. Consolider le niveau d'excellence en recherche et accroître la capacité du Canada en matière de recherche, en attirant et en retenant les meilleurs chercheurs;
  2. Améliorer la capacité des universités à générer et à appliquer de nouvelles connaissances;
  3. Assurer la formation d'un personnel de recherche hautement qualifié; 
  4. Optimiser l'utilisation des ressources de recherche grâce à la planification stratégique des établissements et à la collaboration entre établissements et entre secteurs.
Exécution du programme

Le programme est administré conjointement par trois organismes subventionnaires : le Conseil de recherches en sciences humaines (CRSH), le Conseil de recherches en sciences naturelles et en génie (CRSNG) et les Instituts de recherche en santé du Canada (IRSC). La gestion quotidienne est confiée au secrétariat du Programme des chaires de recherche du Canada, qui est installé dans les locaux du CRSH et emploie 10 ÉTP.

Gouvernance

Le secrétariat fait rapport au Comité de gestion, lequel relève du Comité directeur constitué des présidents du CRSH, du CRSNG et des IRSC, de même que du sous-ministre d'Industrie Canada. La présidence du Comité directeur est assumée par le président du CRSH.

Financement

Au moment de l'étude, en août 2004, le programme avait attribué 1 282 chaires à des chercheurs du Canada et de l'étranger. Ces chaires ont été attribuées entre 2000 2001 et 2004 2005 et l'on s'attend à ce que les titulaires soient en poste d'ici 2007 2008. Les dépenses du programme s'élevaient 146 062 614 $.

Recommandations découlant de l'évaluation
  1. Maintenir la composante FCI du Programme des chaires de recherche du Canada, avec certaines modifications, afin de s'assurer que les nouveaux titulaires de chaires recrutés à mesure que le programme progresse continuent d'avoir accès au financement nécessaire pour les infrastructures et qu'on puisse mettre ces infrastructures à jour.

  2. Régler les problèmes soulevés par les questions d'ordre stratégique et les risques associés au fonctionnement du programme à l'avenir, y compris, par exemple, la question de savoir comment le Programme des chaires de recherche du Canada sera géré à l'avenir et la préparation de ce qui arrivera lorsque les mandats des titulaires de chaires de niveau 2 arriveront à terme, etc.

  3. Mettre en en évidence des mécanismes permettant de garantir le recrutement de chercheurs de pointe à l'avenir. 

  4. Augmenter la marge de flexibilité en accordant un plus grand nombre de chaires « libres » par niveau et par groupe de disciplines.

  5. Réexaminer la formule de répartition par discipline (p. ex., sciences sociales et humanités, génie et sciences naturelles, sciences de la santé) à la lumière des inquiétudes soulevées par les universités concernant le fait que la formule n'est pas conforme à leurs plans en matière d'embauche et de recherche.

  6. Augmenter le contrôle du soutien financier et des charges de cours attribuées aux titulaires de chaires par les universités, étant donné qu'il y a des variations considérables d'une université à l'autre sur ce plan.

  7. Augmenter le contrôle de la répartition hommes/femmes dans l'attribution des chaires.

  8. Réexaminer l'objectif du PCRC qui veut « assurer l'utilisation efficace des ressources de recherche grâce à la planification stratégique des établissements ainsi qu'à la collaboration entre établissements et entre secteurs ».

Évaluation des services subventionnés de traversier dans la Région de l'Atlantique 
Transport Canada
Août 2003

A. Contexte de l'évaluation
Type d'évaluation

Cette étude a été menée pour dégager les données à considérer pour prendre des décisions à l'égard de services subventionnés de traversier dans la Région de l'Atlantique du Canada. Elle s'inscrivait dans le plan d'évaluation de Transport Canada pour l'exercice 1999 2000.

Justification

L'évaluation a été commandée à la suite des changements politiques consécutifs aux modifications apportées à la Loi maritime du Canada de 1998. Cette loi et les politiques maritimes nationales prévoient l'abolition des octrois accordés aux services de traversier, à moins qu'ils fassent l'objet d'une obligation constitutionnelle ou qu'ils desservent des collectivités isolées. Le Ministère voulait vérifier la faisabilité de cette mesure et s'assurer que les fonds octroyés aux deux services de traversier servaient l'intérêt public.

Détails

Entité responsable de l'évaluation : Services ministériels d'évaluation

Ressources externes : La majorité de l'évaluation a été réalisée à l'interne par les Services ministériels d'évaluation. L'enquête a été donnée en sous-traitance à une firme externe d'experts-conseils. 

Coûts : Non disponibles.

Durée : L'étude d'évaluation a duré environ deux ans et demi, depuis la phase de planification jusqu'à l'approbation finale du rapport. La planification du projet a duré deux mois (2002); la réalisation du projet, de la collecte des données jusqu'à la remise du rapport préliminaire  a duré dix mois (de juin 2002 à mars 2003); et la finalisation et l'approbation du rapport ont pris dix-sept mois (d'avril 2003 à août 2004)

Structure de gouvernance : On n'a pas fait appel à un comité directeur ou consultatif. L'équipe d'évaluation a travaillé de concert avec le directeur du programme des traversiers. Aux principales étapes, le directeur générale et le SMA des politiques ont été consultés. Le comité ministériel d'évaluation (composé de membres du comité exécutif) a  apprové le rapport final.

B. Constatations et recommandations
Objectifs

Vérifier la continuité de la pertinence, la réussite et l'efficacité par rapport aux coûts du programme de subvention qui octroie des fonds aux deux services privés de traversier de la Région de l'Atlantique : CTMA Traversier Ltée et Northumberland Ferries Ltd (NFL).

Constatations

Le rapport de l'évaluation comprenait des constatations sur la pertinence du programme, sa réussite et son efficacité par rapport aux coûts.

  • Pertinence : La subvention accordée à CTMA apparaît toujours pertinente, car elle s'inscrit dans le mandat et les objectifs stratégiques de Transport Canada, en ce sens qu'elle s'adresse à une communauté éloignée qui ne dispose d'aucun autre moyen de transport aussi abordable. L'évaluation arrive à la conclusion que la subvention est nécessaire pour maintenir la structure tarifaire et le niveau de service actuel. Par contre, la pertinence de la poursuite du programme dans le cas de NFL n'apparaît pas aussi clairement, car son mandat ne soutient pas directement la mission du ministère. Il n'y a plus d'obligation constitutionnelle engageant le gouvernement à maintenir un service de traversier entre l'Île-du-Prince-Edouard et le continent (cette obligation étant maintenant remplie par le Pont de la Confédération), et il n'y a pas de preuve d'une dépendance économique des communautés locales à l'égard du service de traversier. 
  • Réussite : L'évaluation conclut que les deux services de traversier atteignent leurs objectifs en contribuant à l'économie locale par leur incidence sur l'affluence des touristes et qu'ils offrent un service efficace, de qualité et abordable qui correspond aux besoins des usagers. Par contre, les programmes de subvention ont eu moins de succès en regard de l'objectif d'amener les fournisseurs de service à respecter davantage les normes environnementales.
  • Efficacité par rapport aux coûts : L'évaluation a révélé que les deux fournisseurs de service ne seraient pas en mesure de maintenir leurs niveaux de service actuel sans le soutien financier du programme. Dans le cas de CTMA, aucun autre mode de transport aussi abordable n'existe, ni n'est prévu.
Recommandations

Quatre recommandations ont été formulées. Les trois premières visaient le programme de subvention de CTMA et proposaient de reconduire la subvention, de revoir les hypothèses servant à l'établir et d'améliorer les initiatives touchant l'environnement pour réduire les émissions de mazout. La quatrième recommandation, davantage sujette à la controverse, suggérait de mettre fin au programme de subvention du service de traversier NFL, considérant que la pertinence de cette subvention n'était pas établie.

Processus de mise en œuvre

L'évaluation a été soumise au comité de la haute direction qui l'a approuvée en août 2004. Toutes les recommandations ont aussi été entérinées par ce comité. 

Les subventions accordées aux services de traversier visés par cette évaluation sont gérées par la Direction générale des politiques et des programmes. Celle ci a établi un plan d'action, approuvé par le comité de gestion et par le ministre, pour assurer le suivi des quatre recommandations. 

À ce jour, deux de ces quatre recommandations ont été mises en œuvre. La dernière recommandation, proposant l'abolition de la subvention au service de traversier de NFL, n'a finalement pas été adoptée en raison d'une décision ministérielle. La troisième recommandation, portant sur des initiatives technologiques pour la protection de l'environnement, est en cours de mise en œuvre et la direction collabore de près avec le fournisseur de service pour faire avancer ce dossier.

C. Degré d'indépendance de l'étude et caractéristiques de ses répercussions

Il semble que l'évaluation a été menée avec l'objectivité et la diligence voulue. Les constatations et les recommandations étaient rationnelles, logiques et équilibrées, et elles étaient directement en lien avec les objectifs stratégiques du programme. Le caractère objectif de la démarche ressort clairement de la formulation d'une recommandation délicate sur le plan politique (l'abolition de la subvention accordée au service de traversier de NFL dans une des régions canadiennes où le taux de chômage est le plus élevé). En dépit de l'éventuelle controverse, le personnel du programme et la haute direction ministérielle se sont dits satisfaits de la formulation des constatations de l'évaluation.

D. Principaux utilisateurs de l'évaluation
Haute direction ministérielle

L'évaluation a servi de document de travail à l'équipe de la haute direction ministérielle et au sous-ministre. Ce dernier a fait valoir que l'évaluation était claire, bien étayée et qu'elle indiquait sans équivoque la voie de l'avenir.

Gestionnaires de programme

L'évaluation a constitué un outil précieux pour la gestion courante du programme. Les gestionnaires ont apprécié ce point de vue externe et objectif de l'état du programme.

Le ministre et les autres membres du Parlement

Au cours de l'examen des dépenses, l'évaluation a permis au ministre de proposer l'abolition de la subvention accordée à NFL comme moyen éventuel de réduire les dépenses.

Conseil du Trésor

L'évaluation a servi de base à la présentation au Conseil du Trésor pour le renouvellement du mandat du programme de subventions.

Intervenants et bénéficiaires

Bien que le rapport de l'évaluation n'ait pas encore été rendu public, Transport Canada prévoit le diffuser sur son site Internet. Malgré les éventuelles controverses que ce rapport pourra susciter, il convient de le diffuser, par souci de transparence, car il explique la logique et les justifications de l'étude.

E. Utilité de l'étude d'évaluation 
Généralités

L'évaluation a permis de dégager des constatations fondées sur les faits pour soutenir les prises de décisions. Bien qu'une des recommandations ait été sujette à la controverse, elle s'inscrivait dans le mandat législatif du ministère, en vertu de la Loi maritime du Canada, d'abolir les ententes de subvention qui ne font pas l'objet d'une obligation constitutionnelle ou qui ne desservent pas des collectivités éloignées.

Pertinence

L'évaluation a été utile sur le plan de l'examen de la pertinence de chacun des programmes de subvention et elle a pu servir de base à l'ensemble des décisions qui ont été prises en regard de l'avenir de la subvention accordée au service de traversier NFL. 

Comme les conclusions de l'évaluation indiquaient qu'un seul des programmes s'avérait suffisamment pertinent en regard du mandat et des objectifs stratégiques du ministère, elles ont étayé la décision de reconduire la subvention de CTMA et de prendre des mesures pour mettre fin à celle de NFL. 

Ceci permettait au ministre de proposer au Comité d'examen des dépenses l'abolition de la subvention accordée à NFL comme moyen éventuel de réduire les dépenses (d'environ 5 millions de dollars). Au cours de ce processus, le ministère a toutefois été décidé de surseoir pour l'instant à l'abolition de la subvention de NFL. 

Le ministère a opté pour une poursuite de ce programme, mais avec des modifications des subventions et de la saison d'opération des traversiers. La proposition avait suscité une vive réaction négative du public, suivie d'une campagne de pression fortement médiatisée. En mars 2005, le Conseil du Trésor a recommandé le renouvellement pour cinq ans des deux ententes de subvention, à leur niveau actuel de financement, en indiquant cependant que l'on examinerait plus attentivement les hypothèses utilisées pour établir les frais généraux et les coûts de maintenance. 

La commercialisation du service de traversier NFL demeure un objectif à long terme du ministère, même si aucun échéancier n'a été établi pour y parvenir.

Réussite

L'évaluation a confirmé que les deux programmes contribuaient aux économies locales par leur incidence sur l'affluence des touristes. Aux Îles-de-la-Madeleine, par exemple, l'industrie touristique est le deuxième employeur en importance de la région et elle dépend directement du service de traversier CTMA. De son côté, le service de traversier NFL s'intègre de plus en plus dans l'évolution de l'industrie touristique de l'Île-du-Prince-Édouard, en participant à des groupes de mise en marché et en orientant l'exploitation de son service en fonction du tourisme. 

Comme les deux programmes de subvention se poursuivront pour l'avenir prévisible, l'évaluation a permis d'évaluer les répercussions qu'auraient d'éventuelles réductions de financement sur les économies locales. La direction des politiques et programmes visant les services de traversier prévoit effectuer quelques analyses économiques à cet égard.

Décisions relatives à la gestion des dépenses et à l'affectation des ressources

L'évaluation avait indiqué une source possible de réduction des dépenses du gouvernement fédéral en recommandant de mettre fin au programme de subvention du service de traversier NFL. Bien que, au bout du compte, cette recommandation n'a pas été retenue, la volonté du ministère, et de son ministre, de la proposer à titre de moyen de réduire les dépenses témoigne de l'engagement du ministère à rendre compte de l'affectation des fonds publics. 

L'évaluation a aussi fait ressortir que, même si la subvention actuelle au service de traversier CTMA permettait de maintenir les niveaux de service et la structure tarifaire, les remboursements de la subvention au gouvernement ont augmenté de façon constante depuis 1999 et que le programme devrait réexaminer les hypothèses qui servent à l'établir. Au moment du renouvellement de la subvention, en mars 2004, les calculs étaient fondés sur la couverture exclusive des frais généraux et des coûts de maintenance associés à la prestation directe du service de traversier. 

Orientations politiques futures

L'évaluation indiquait aussi qu'il y aurait peut-être lieu de réexaminer la politique maritime de Transport Canada pour vérifier qu'elle se conforme aux priorités globales du gouvernement. Par exemple, alors qu'il apparaît clairement que la subvention accordée à NFL ne cadre pas avec la politique de Transport Canada, sa suppression et l'éventualité de l'abolition de ce service de traversier pourraient avoir d'importantes répercussions sur l'économie maritime locale. Le ministère reconnaît que l'application de sa politique dans les collectivités éloignées doit être réexaminée.

Conception du programme et améliorations requises

L'évaluation a signalé que certains volets du programme, notamment en relation avec les initiatives visant la protection de l'environnement, pourraient être améliorés. Cet aspect est d'autant plus important que la préservation de l'environnement naturel constitue l'un des objectifs stratégiques de Transport Canada. Le ministère poursuit sa collaboration avec le fournisseur CTMA pour trouver des moyens de réduire la consommation de mazout et les émissions de gaz.

F. Répercussions imprévues de l'étude d'évaluation
  1. Attestation de l'intégrité des employés de l'État. L'étude et les activités qu'elle a suscitées sont venues réaffirmer que le rôle du personnel du programme, tout comme celui des évaluateurs, consistait à présenter au ministre un rapport d'évaluation impartial quant au respect des politiques et du mandat du ministère, sans égard à d'éventuelles controverses que les recommandations pourraient susciter dans l'opinion publique. 
  2. Meilleure compréhension de la nécessité des activités de suivi de la part du personnel du programme. L'étude a permis aux gestionnaires de mieux apprécier l'utilité d'une étude indépendante dans le cadre de leur programme. Il s'en est suivi qu'on met maintenant plus l'accent sur la diligence raisonnable et qu'on accorde plus d'attention au développement d'outils de suivi, comme le CGRR. Le personnel du programme travaille de concert avec l'équipe des évaluateurs pour préparer la prochaine évaluation et s'assurer que les informations pertinentes sont colligées afin que celle ci puisse aboutir à des conclusions fructueuses.
  3. Collaboration accrue avec d'autres ministères. Le ministère a commencé à collaborer de façon étroite avec des organismes de la Région de l'Atlantique, plus particulièrement avec l'Agence de promotion économique du Canada atlantique (APÉCA), à l'évaluation des répercussions que pourraient avoir d'éventuelles réductions des subventions sur l'économie de l'Île-du-Prince-Édouard et sur celle de la Nouvelle-Écosse. Le ministère peut tirer parti de l'expertise et des connaissances spécialisées dont APÉCA dispose dans la région.
G. Principaux facteurs ayant contribué à la réussite de l'évaluation
  1. Support from senior management. Senior management, particularly the DM and ADM Policy, were very supportive of the evaluation and its recommendations throughout the process. This support was critical for getting the politically sensitive evaluation report finalized and approved. 
  2. Neutrality/independence of evaluators. The evaluation unit provided an impartial, unbiased analysis of the issues, and adhered to the goals and objectives of the evaluation process.
H. Améliorations proposées et leçons apprises
  1. Établir un échéancier réaliste et le respecter, pour que l'évaluation puisse être achevée et approuvée dans des délais raisonnables.
  2. Permettre le plus tôt possible aux intervenants de prendre connaissance de l'évaluation, de façon à repérer les questions possiblement sujettes à controverse et à les traiter sans conflit, en s'appuyant sur des constatations fondées sur les faits.

Annexe - Services subventionnés de traversier dans la Région de l'Atlantique

Aperçu du programme
Description

Le programme fournit une subvention de fonctionnement à deux sociétés privées qui exploitent un service de traversier dans la Région de l'Atlantique du Canada, CTMA Traversier Ltée (CTMA) et Northumberland Ferries Ltd (NFL), pour couvrir leurs coûts d'exploitation et de maintenance. 

  • CTMA est une société privée qui exploite un service de traversier pour passagers et véhicules saisonnier d'avril à janvier entre Souris (Île-du-Prince-Édouard) et Cap-aux-Meules, aux îles de la Madeleine (Québec). CTMA exploite ce service depuis sa création, en 1971.
  • Northumberland Ferries Limited (NFL) est une société privée qui offre un service saisonnier de traversier pour passagers et véhicules de mai à décembre entre Caribou (Nouvelle-Écosse) et Wood Islands (Île-du-Prince-Édouard). NFL exploite ce service depuis sa création, en 1941

En plus de ces subventions de fonctionnement, le gouvernement fédéral fournit à ces deux sociétés privées des bateaux, dans le cadre d'un contrat d'affrètement en coque nue. Transport Canada est aussi propriétaire et assure l'entretien des gares maritimes qu'utilisent ces deux sociétés. Enfin, Transport Canada subventionne aussi, au besoin, la maintenance et les réparations des bateaux.1 .

1 - Ces subventions n'étaient pas à l'étude dans le cadre de cette évaluation.

Objectif

Conformément à la politique maritime nationale, fournir une assistance financière aux services de traversier qui répondent à une obligation constitutionnelle ou qui desservent des collectivités éloignées.

Exécution du programme

Ces programmes sont régis par des contrats pluriannuels entre Transport Canada et les sociétés exploitantes. L'assistance financière est attribuée aux deux sociétés selon les modalités prévues dans ces ententes. Il faut obtenir l'approbation du ministre des Transports pour modifier ces ententes en raison de changements intervenus sur le plan des coûts d'exploitation et des niveaux de service, de même que pour tout coût extraordinaire associé à des réparations des bateaux ou de la gare maritime ou à leur remplacement. La structure tarifaire du service de traversier fait l'objet d'une approbation distincte de la part du ministre.

Financement

Les subventions annuelles sont établies à l'avance en se fondant sur la différence entre les revenus anticipés et les dépenses prévues. Pour les exercices de 1997 1998 à 2002 2003, la subvention annuelle accordée à la société CMTA s'élevait en moyenne à 2,8 millions de dollars et celle accordée à la société NFL à 3,4 millions. Le Conseil du Trésor a aussi approuvé le versement à ces deux sociétés d'une allocation de gestion de 120 000 $, venant s'ajouter à la subvention, laquelle est assujettie à des règles de récupération des profits.

Recommandations découlant de l'évaluation

CTMA Traversier Ltée (CTMA)

  1. Transport Canada devrait poursuivre le programme de subvention du service de traversier CTMA, en raison de sa pertinence, de sa réussite et de son efficacité par rapport aux coûts.

  2. Étant donné que la part de la subvention retournée au gouvernement n'a pas cessé de croître depuis 1999, le programme devrait réexaminer les hypothèses à partir desquelles sont établis le montant de la subvention accordée et celui de la subvention nécessaire au maintien du service dans le cadre de l'entente actuelle.

  3. Transport Canada devrait travailler de concert avec les sociétés exploitantes pour mettre en œuvre à bord des traversiers des initiatives technologiques de protection de l'environnement, en vue de réduire la consommation de mazout et les émissions de GES. Transport Canada devrait aussi envisager d'investir dans la construction d'un raccord d'alimentation à terre dans la région de Cap-aux-Meules, pour le M.V. Madeleine. Northumberland Ferries Ltd (NFL)

Northumberland Ferries Ltd (NFL)

  1. Transport Canada devrait élaborer un plan visant à mettre fin au programme de subvention du service de traversier opéré par NFL, attendu que, à la lumière de l'étude d'évaluation, il n'apparaît pas très pertinent. Ce plan devrait comprendre une analyse des répercussions de l'abolition de la subvention sur les utilisateurs du traversier, les provinces de la Nouvelle-Écosse et de l'Île-du-Prince-Édouard, la société exploitante et les traversiers et installations de gare maritime dont Transport Canada est propriétaire. Elle devrait en outre comprendre des propositions d'options pour atténuer les éventuels impacts négatifs sur les différents intervenants.

Annexe P - Liste des répondants

  • AAC, Eric Seraphim, ancien Chef de l'Évaluation
  • AAC, Dave Kiely, Gestionnaire, Programme national d'analyse de l'utilisation de l'eau 
  • AAC, Carl Neggers, Directeur général, ARAP
  • AINC, Chantal Roy, Agente principale, Évaluation
  • AINC, Peter Wyse, Gestionnaire principal des programmes
  • AINC, Marc Brooks, Directeur général, Développement économique
  • APÉCA, Darlene Jones, Gestionnaire, Évaluation
  • APÉCA, Denise Frenette, Agente principale, Développement d'innovation
  • APÉCA, Brian Dick, Vice-Président, Politique et programmes
  • CCHST, Bonnie Easterbrook, Directrice, Finances
  • CCHST, Patabendi Abeytunga, Vice-président
  • CCN, Deborah Tudin, Directrice administrative, Vérification, recherche et évaluation
  • CCN, Maureen Donoghue, Chef, Évaluation et recherche
  • CCN, Tony Maertens, Directeur, Services des technologies d'information et de géomatiques 
  • CCN, Marlene Armstrong, Gestionnaire, Stratégies en technologies du Web
  • CCN, Susan Kay, Directrice, Services de marketing, de design et de création
  • CCN Sandra Pecek, Gestionnaire des consultations publiques
  • CIC, Liz Ruddick, anciennement Chef de l'Évaluation, actuellement Gestionnaire, Recherche et évaluation
  • CIC/ASFC, Craig Goodes, ancien gestionnaire, Programme canadien sur les crimes de guerre contemporains
  • CIC/ASFC, Janeth Crosby, Gestionnaire, Programme canadien sur les crimes de guerre contemporains
  • Justice Canada, Terry Beitner, Directeur/avocat général, Section des crimes contre l'humanité et des crimes de guerre
  • CRSH, France Landriault, Directrice, Rendement organisationnel et évaluation/vérification
  • CRSH, Amira Rafika, Agente principale, Rendement et évaluation
  • CRSH, John ApSimon, Directeur exécutif, Chaires de recherche du Canada
  • CRSH, Denis Croux, Directeur des opérations
  • DSC, Jim Blain, Directeur général, Vérification et évaluation 
  • DSC, Deborah Tunis, Directrice générale, Politique stratégique 
  • DSC, Lenore Duff, Directrice par intérim, Sécurité économique
  • DSC, Peter Hicks, SMA, Politiques et orientation stratégique
  • IC, Glyn Moore, Gestionnaire de la vérification et de l'évaluation
  • IC, Pierre Gendron, Directeur, ResCol du Canada 
  • IC, Deborah Davis, Directrice générale, Applications de l'autoroute de l'information
  • MDN, Dennis Moore, Gestionnaire, Évaluation
  • MDN, Elizabeth Murphy-Walsh, Directrice exécutive, Évaluation et opérations
  • MPO, Bob McNeil, Agent principal, Évaluation
  • MPO, John Cooley, Directeur général régional intérimaire, Région du Centre et de l'Arctique
  • MPO, Serge Labonte, SMA/I, Secteur des sciences
  • MPO, Ken Waterman, Chef de cabinet du SMA (Sciences)
  • RHDCC, Zabia Chamberlain, Gestionnaire, Évaluation
  • RHDCC, Hélène Goulet, Directrice intérimaire, Entente sur le développement du marché du travail et projets internationaux
  • RHDCC, Diane Tommy, Directrice, Politique du programme
  • RNCan, Michel Laurendeau, Agent principal, Évaluation
  • RNCan, Ann Cooper, Gestionnaire, Évaluation
  • RNCan, Barb Mullally-Pauly, Chef, Programmes d'habitation
  • RNCan, Louis Marmen, Directeur, Habitation et équipements
  • TPSGC, Neil MacDowall, Responsable de la vérification et de la révision
  • TPSGC, Denis Gorman, Consultant principal
  • TPSGC, Tim McGrath, SMA/I, Direction générale des biens immobiliers
  • Transport Canada, Gail Young, Directeur, services d'évaluation ministériels
  • Transport Canada, Claudine Sauvé, Directrice de la politique et des programmes de traversier
  • Transport Canada, Corrie van Walraven, Conseiller principal en politiques, Voie maritime et politique de transport intérieur
  • Transport Canada, Kristine Burr, SMA, Secteur politique

Annexe Q - Liste des acronymes

FIA –
Fonds d'innovation de l'Atlantique
CCHST –
Centre canadien d'hygiène et de sécurité au travail
PDÉC –
Programme de développement économique des collectivités
PCRC –
Programme des Chaires de recherche du Canada
PEMS –
Prestations d'emploi et mesures de soutien
RLE –
Région des lacs expérimentaux
EDMT –
Ententes sur le développement du marché du travail
PNE –
Prestation nationale pour enfants
PNAE –
Programme national d'approvisionnement en eau
OEE –
Office de l'efficacité énergétique
PAHR –
Programme de l'aménagement hydraulique rural
Date de modification :