Nous procédons actuellement au transfert de nos services et de nos renseignements sur le Web vers Canada.ca.

Le site Web du Secrétariat du Conseil du Trésor du Canada restera accessible jusqu’à ce que le transfert soit terminé.

Principes pour l'évaluation des programmes par les ministères et organismes fédéraux

Informations archivées

Les informations archivées sont fournies aux fins de référence, de recherche ou de tenue de documents. Elles ne sont pas assujetties aux normes Web du gouvernement du Canada et n’ont pas été modifiées ou mises à jour depuis leur archivage. Pour obtenir ces informations dans un autre format, veuillez communiquez avec nous.

 

© Ministre des Approvisionnements et Services Canada 1983
No de cat. BT66-2/1981
ISBN 0-662-51594-3
Réimprimé en décembre 1984

Table des matières

Avant-Propos

Préface

Chapitre 1 - Réalisation des évaluations. 

  • 1.1 Aperçu.
  • 1.2 Étude préparatoire à l'évaluation (Planification de l'évaluation)
  • 1.3 Évaluation. 
  • 1.4 Prise de décisions. 

Chapitre 2 - Étude préparatoire à l'évaluation.. 

  • 2.1 Principes pour la réalisation d'une étude préparatoire à l'évaluation. 
    • 2.1.1 Compréhension du programme et du milieu dans lequel il est mis en oeuvre
    • 2.1.2 Détermination des utilisateurs et des objectifs de l'étude d'évaluation
    • 2.1.3 Détermination des questions auxquelles l'étude d'évaluation pourrait répondre
    • 2.1 .4 Détermination des approches d'évaluation
    • 2.1.5 Estimation des coûts et des ressources
    • 2.1 .6 Détermination des options d'évaluation
    • 2.1.7 Élaboration des recommandations
  • 2.2 Caractéristiques d'une bonne étude préparatoire à l'évaluation. 

Chapitre 3 - Étude d'évaluation.. 

  • 3.1 Principes pour la réalisation d'une étude d'évaluation. 
    • 3.1.1 Collecte de l'information
    • 3.1.2 Préparation de l'information
    • 3.1.3 Analyse de l'information
    • 3.1.4 Formulation des conclusions
    • 3.1.5 Élaboration des recommandations
  • 3.2 Caractéristiques d'une bonne étude d'évaluation. 

Chapitre 4 - Mandat

  • 4.1 Éléments du mandat
  • 4.2 Plan de travail détaillé. 
    • 4.2.1 Plan de travail de l'étude préparatoire à l'évaluation
    • 4.2.2 Plan de travail de l'étude d'évaluation
  • 4.3 Approbation du mandat
  • 4.4 Distribution des mandats. 

Chapitre 5 - Rapports relatifs a l'évaluation de programme. 

  • 5.1 Forme. 
  • 5.2 Contenu. 
  • 5.3 Séance de compte rendu. 
  • 5.4 Distribution des rapports. 

Avant-Propos

Le présent document constitue un complément au Guide sur la fonction de l'évaluation de programme qui vient tout juste de paraître et qui préconise les lignes directrices de mise en oeuvre de l'évaluation de programme au sein des ministères et organismes fédéraux.

Ce document présente les principes auxquels la réalisation d'évaluations de programme devrait souscrire. Ces principes visent à permettre aux évaluateurs de programme de répondre de façon crédible aux préoccupations que les sous-ministres et les comités du Cabinet peuvent exprimer à l'égard d'un programme, de sa performance, de ses résultats et de son efficacité. On retrouve également dans ce document les caractéristiques de bonnes études d'évaluation. Ces caractéristiques relatives aux études préparatoires et aux évaluations ont été mises de l'avant en collaboration avec les évaluateurs de plusieurs ministères et organismes.

Les principes énoncés dans ce document ne devraient absolument pas se substituer au bon sens et à la faculté de choisir l'approche la plus adéquate pour exécuter une étude d'évaluation. Ils révèlent que l'évaluation, au même titre que les autres fonctions de gestion fait appel énormément au jugement professionnel.

H.G. Rogers
Contrôleur général du Canada


Préface

Historique

La circulaire n0 1977-47 du Conseil du Trésor, intitulée «Évaluation des programmes effectuée par les ministères et organismes», reconnaît que l'évaluation de programme est inhérente aux responsabilités qui incombent aux sous-chefs des ministères et organismes en matière de gestion. Une étude d'évaluation examine la raison d'être d'un programme et fournit de l'information quant à sa performance, ses résultats et sa rentabilité par comparaison avec d'autres moyens d'exé­cution. Les sous-chefs peuvent utiliser les résultats des évaluations de programme aux fins suivantes:

  • prendre des décisions plus éclairées sur la gestion et le financement de leurs programmes;
  • rendre compte des programmes dont ils sont responsables; et
  • conseiller judicieusement les ministres.

Dans le cadre de ses responsabilités concernant la mise en oeuvre efficace de l'évaluation de programme dans les ministères, le Bureau du Contrôleur général a publié le Guide sur la fonction de l'évaluation de programme qui porte sur l'instauration et le fonctionnement de l'évaluation de programme dans les ministères et organismes fédéraux. Le présent document traite de la réalisation des évaluations de programme.

Objectif

Le présent document a pour objectif principal de fournir aux ministères et organismes un cadre utile pour la planification et la réalisation des évaluations de programme ainsi que la rédaction de rapports à leur sujet. Son but n'est pas de prescrire des techniques d'évaluation précises ou détaillées, mais plutôt de déterminer les facteurs à considérer dans une évaluation de programme et de les expliquer.

Ce document a aussi pour but de cerner les aspects importants dont il faut tenir compte pour juger la qualité des évaluations de programme. Ces aspects constituent une première liste des sujets qui seront examinés par le Bureau du Contrôleur général lorsqu'il fera des observations sur la qualité de certaines évaluations de programme. L'établissement de normes explicites concernant l'évaluation de programme, s'il y a lieu, sera peut-être plus utile lorsque le gouvernement aura plus d'expérience de la réalisation et de l'utilisation des évalua­tions.

Champ d'application

Les évaluations de programme effectuées conformément à la circulaire n0 1977-47 du Conseil du Trésor, intitulée «Évaluation des programmes effectuée par les ministères et organismes fédéraux», devraient tenir compte des principes énoncés dans le présent document.

Définitions

Les termes «évaluation de programme» et «évaluation» sont utilisés indifféremment dans le présent document pour désigner les évaluations de programmes existants effectuées conformément à la circulaire n0 1977-47 du Conseil du Trésor.

Les termes «programme» et «composante de programme»[1]sont aussi utilisés indifféremment dans le document pour désigner un groupe d'activités, normalement un sous-groupe d'un programme du Budget des dépenses, qui présente les caractéristiques suivantes:

  • elles poursuivent un objectif commun ou un ensemble d'objectifs établi par les sous-chefs;
  • elles participent à la réalisation des objectifs à long terme du ministère; et
  • leur taille et leur importance sont telles qu'elles influencent la prise de décisions dans un ministère et l'appuient.

Le terme «efficacité du programme» désigne dans quelle mesure

  1. les activités du programme se rattachent vraisemblablement aux résultats prévus;
  2. le programme réalise ses objectifs;
  3. le programme produit des résultats intentionnels et non-intentionnels; et
  4. le programme est rentable.

Chapitre 1- Réalisation des évaluations

Le présent chapitre reprend les principales étapes de l'évaluation dont il est question dans le Guide sur la fonction de l'évaluation de pro­gramme. Les principes relatifs à la réalisation des évaluations et aux rapports à leur sujet sont énoncés dans les chapitres suivants.

1.1 Aperçu

Dans le Guide sur la fonction de l'évaluation de programme, les évaluations comprennent trois étapes:

  • la planification de l'évaluation (étude préparatoire à l'évaluation) en vue de choisir les questions pertinentes à poser au cours de l'évaluation et les approches qui pourraient être utilisées pour y répondre;
  • la réalisation de l'évaluation et la rédaction d'un rapport à son sujet; et
  • 'la prise de décisions à partir des constatations et des recommandations faites à la suite de l'évaluation.

Le graphique 1.1 illustre ce processus, indiquant les activités et les décisions prises normalement de même que les documents produits habituellement. Chaque étape du processus d'évaluation sera brièvement étudiée dans ce chapitre.

1.2 Étude préparatoire à l'évaluation
(Planification de l'évaluation)

La planification des évaluations permet au client, le sous-chef, de s'assurer que les méthodes et l'objectif de la future étude d'évaluation sont adéquats. La planification des évaluations revêtera un caractère plus ou moins formel dépendant des situations. Il sera utile dans plusieurs cas d'effectuer une étude préparatoire à l'évaluation et de rédiger un rapport à son sujet. Cela permettra au sous-chef de choisir les questions précises auxquelles il faudra répondre lors de l'étude d'évaluation, de même que les méthodes d'évaluation et les coûts estimatifs qui leur correspondent. Ceci s'appliquerait probablement aux programmes de grande envergure ou à ceux qui sont complexes. Dans d'autres cas, toutefois, l'étape de la planification pourrait prendre la forme d'une discussion officieuse avec le sous-chef à la suite de laquelle le mandat de l'étude d'évaluation serait élaboré directement sans qu'il n'y ait besoin d'effectuer une étude préparatoire à l'évaluation et de rédiger un rapport à son sujet.

La réalisation d'une étude préparatoire à l'évaluation à caractère officiel exige l'établissement d'un mandat relatif à ce qu'il faut faire et à la manière de le faire ainsi que la rédaction d'un rapport. Le chapitre 2 du présent document souligne les facteurs qui devraient être considérés lors de la réalisation d'une étude préparatoire et les caractéristiques d'une bonne étude. Les chapitres 4 et 5 respectivement énumèrent les caractéristiques essentielles d'un bon mandat et d'un bon rapport d'étude préparatoire.

Diagramme 1.1

Processus d'évaluation de programme

1.3 Évaluation

L'étude d'évaluation est l'étape opérationnelle importante au cours de laquelle on rassemble l'information nécessaire, effectue l'ana­lyse, dégage les constatations, et rédige les recommandations. Les principes concernant la réalisation de l'étude d'évaluation et la rédac­tion des rapports sont exposés dans les chapitres 3 et 5 respectivement. En outre, pour s'assurer que l'étude d'évaluation répond bien aux questions envisagées, un mandat devrait être établi et approuvé ensuite par le client (chapitre 4).

1.4 Prise de décisions

Cette partie concerne la prise de décisions à la suite d'une étude d'évaluation. Comme il est indiqué au graphique 1.1, de telles décisions s'appuient sur toute information relative au programme visé, en plus des constatations et des recommandations résultant de l'étude d'évaluation. La mise en oeuvre de ces décisions exige habituellement l'établissement d'un plan et la rédaction d'un rapport. Le plan indique quels changements précis doivent être apportés, de quelle façon ils doivent l'être et par qui. Le rapport de mise en oeuvre indique quels changements le programme a connu en partie à la suite des décisions prises par le sous-chef. Comme il est précisé dans le Guide sur la fonction de l'évaluation de programme, il faut bien préciser dans la politique ministérielle d'évaluation de programme qui doit assurer le suivi des décisions prises par le sous-chef.

La mise en oeuvre des décisions de gestion est considérée comme faisant partie de la fonction de gestion axiale; il n'en sera plus question dans le présent document.


Chapitre 2 - Étude préparatoire à l'évaluation

L'étude préparatoire à l'évaluation a pour but de s'assurer que les ressources qui seront consacrées à une étude d'évaluation serviront à recueillir des réponses aux bonnes questions de façon à ce que ces réponses soient dignes de crédibilité. Elle permet donc au sous-chef de s'assurer que les méthodes et l'objectif de la future étude d'évaluation sont adéquats. Cela laisse entendre qu'une étude préparatoire ne devrait pas habituellement prendre beaucoup de temps, ni coûter trop cher; elle ne devrait pas non plus servir de substitut à une étude d'évaluation.

Le présent chapitre explique le processus et les principes néces­saires à la réalisation d'une étude préparatoire. Il définit aussi les caractéristiques d'une bonne étude préparatoire à l'évaluation.

2.1 Principes pour la réalisation d'une étude préparatoire à l'évaluation

Une étude préparatoire doit comprendre une série d'étapes afin de donner des produits utiles et dignes de crédibilité. Ces étapes consistent habituellement à:

  1. comprendre un programme et le milieu dans lequel il est mis en oeuvre;
  2. déterminer les utilisateurs et les objectifs de l'étude d'éva­luation;
  3. déterminer les questions à envisager au cours de l'étude d'évaluation;
  4. déterminer les différentes approches d'évaluation;
  5. estimer le temps, les coûts et les ressources nécessaires pour chaque approche d'évaluation;
  6. déterminer les options -- questions et approches -- précises pour l'étude d'évaluation;
  7. formuler les recommandations; et
  8. faire rapport des résultats et des recommandations de l'étude préparatoire au client et aux gestionnaires supérieurs responsables du programme visé par l'étude.

Les principes dont il faut tenir compte dans l'exécution de chacune de ces étapes, à l'exception de la dernière, qui est expliquée au chapitre 5,sont élaborés ci-après.

2.1.1 Compréhension du programme et du milieu dans lequel il est mis en oeuvre

Une étape essentielle de la planification de la manière et de la mesure dans laquelle un programme sera évalué consiste à bien comprendre le programme et le milieu dans lequel il est mis en oeuvre. A ce stade, les évaluateurs et les gestionnaires ministériels des programmes doivent entretenir des rapports fréquents en vue d'assurer une bonne description du programme tel qu'il est effectivement mis en oeuvre. Pour comprendre un programme, il faut:

  • décrire le programme;
  • vérifier la compatibilité des activités du programme avec le mandat à son sujet;
  • déterminer la vraisemblance des rapports entre les activités du programme et les résultats qu'il est censé produire; et
  • vérifier l'exactitude de la description du programme avec les gestionnaires responsables.

Description du programme

Afin de définir un programme, il importe normalement de considérer ce qu'il fait, ce qu'il est censé faire, comment il est mis en oeuvre et les ressources qui lui sont consacrées. Le tableau 2.1 décrit le genre d'information qu'exige une bonne compréhension du programme pour procéder à l'évaluation. Cette information peut être recueillie à partir des filières et d'interviews avec le personnel approprié.

L'évaluateur se penche d'abord sur les documents et les dossiers disponibles en vue de dégager une compréhension des objectifs du programme, de son évolution dans le temps, de la façon dont il est censé fonctionner et du niveau et du type de ressources qui lui sont consacrées. Lors de l'étape préparatoire, il est utile d'examiner par exemple, les actes législatifs, les mémoires au Cabinet, les documents de politique, les notes de service internes, les rapports d'opération, les présentations au Conseil du Trésor et les rapports antérieurs de vérification et d'évaluation. Ensuite, l'évaluateur rencontre des personnes clés pour connaître leurs perceptions du programme. Le choix de personnes à interviewer dépend de la complexité du programme, du temps et des ressources disponibles pour procéder à l'étude préparatoire et du niveau de connaissance que l'évaluateur désire acquérir au sujet du programme. Il est courant d'interviewer la haute direction du ministère et les gestionnaires du programme. Il peut se révéler utile d'interviewer le personnel sur le terrain si le programme est très décentralisé et si l'information recueillie au centre se révèle insuffisante pour fournir une description adéquate du programme.

Tableau 2.1

PROFIL D'UNE COMPOSANTE DE PROGRAMME

Partie A: Historique

  1. Mandat relatif à la composante: Un énoncé du fondement juridique de la composante et de ce que la composante peut et doit faire.
  2. Objectif de la composante: Un énoncé des répercussions et effets pour lesquels la composante a été spécialement conçue ou qu'elle devrait contribuer à atteindre.
  3. Description de la composante: Une courte description, expliquant ce qu'entraîne la composante, sa mise en oeuvre, le milieu dans lequel elle évolue, la population desservie et ce qu'elle vise à accomplir.
  4. Relation avec le programme prévu au Budget des dépenses: Le ou les programmes prévus au Budget des dépenses à même lesquels la composante est financée devraient être identifiés, de même que les liens entre les objectifs de la composante et ceux des programmes prévus au Budget des dépenses.
  5. Ressources allouées pour la composante
    1. Dépenses fiscales -- Les coûts d'exploitation et de capital, ainsi que les subventions et contributions afférentes à la composante et les années-personnes affectées à cette composante.
    2. Immobilisations -- Une identification des installations et de l'équipement en plus des locaux à bureaux affectés à cette composante.

Partie B: Éléments et structure

  1. Éléments de la composante:
    1. Activités -- Une liste des principales tâches et de tous les pouvoirs ou fonctions relatifs à une composante donnée et qui sont effectués ou gérés par le personnel affecté à cette composante.
    2. Extrants -- Une liste des biens et des services fournis ou sous le contrôle direct du personnel chargé de cette composante et dispensés à l'extérieur de l'organisation de la composante, de même que de toutes les réglementations ou dispositions dans la loi de l'impôt émises ou contrôlées par le personnel de cette composante.
    3. Répercussions et effets prévus -- Il s'agit des autres biens, services et réglementations produits par d'autres en réponse aux extrants du programme et de toutes les réactions qui s enchaînent sur la totalité ou une partie de la société, mais en dehors du programme.
  2. La structure de la composante: Une description et un graphique illustrant les liens entre les éléments de la composante, c'est-à-dire un modèle de programme.

Vérification de la compatibilité des activités avec le mandat

Lors de l'étude préparatoire à l'évaluation, il est nécessaire de déterminer si les activités du programme à évaluer correspondent généralement à son mandat. Lorsque des divergences considérables sont décelées, elles doivent être signalées par écrit au sous-chef. Celui-ci peut décider de reporter l'étude d'évaluation jusqu'à ce que les activités du programme soient réorientées pour mieux tenir compte du mandat ou il peut préférer qu'une étude d'évaluation soit réalisée afin de déterminer les effets du programme. Si la détermination de la compatibilité des activités du programme avec son mandat semble être une tâche considérable, elle devrait constituer la première étape de l'investigation effectuée lors de l'étude d'évaluation.

Détermination de la vraisemblance des rapports

La vraisemblance des rapports entre les activités d'un programme et les résultats qu'il est censé produire doit être évaluée avant qu'une étude d'évaluation soit effectuée. Ainsi, il est possible d'éviter l'évaluation, souvent coûteuse, d'effets qui sont, de toute évidence, irréalistes.

Au cours de l'étude préparatoire, on détermine plutôt la vraisemblance que la validité des rapports entre les activités du pro­gramme et les résultats recherchés. La validité de ces rapports est mise à l'épreuve pendant l'évaluation ultérieure. Par conséquent, l'analyse nécessaire au cours de l'étude préparatoire est basée sur le bon sens et sur la connaissance qu'on a du domaine concerné.

Pour déterminer la vraisemblance de ces rapports de cause à effet, il est nécessaire d'évaluer, entre autres, les questions suivantes:

  • la pertinence des hypothèses qui sous-tendent la structure du programme;
  • la convenance du type et de l'ampleur des efforts déployés pour obtenir les effets recherchés; et
  • l'importance probable de programmes parallèles ou d'explications qui pourraient mieux rendre compte de l'obtention des résultats prévus.

L'appréciation de la vraisemblance des rapports entre les activités d'un programme et les résultats recherchés pourrait faire l'objet d'une évaluation distincte si un programme se révélait complexe ou si peu d'information était disponible sur le programme même et sur ses rapports avec les autres programmes parallèles.

Vérification de l'exactitude avec les gestionnaires de programme

La structure du programme et l'analyse des rapports entre les activités du programme et les résultats recherchés devraient être examinées avec les gestionnaires de programme afin de s'assurer que les questions précises auxquelles l'étude d'évaluation devra répondre sont pertinentes et, de ce fait, assurent une évaluation plus utile. Lorsqu'il existe des divergences entre la documentation et les opinions des gestionnaires de programme pour ce qui 'est des objectifs, des activités ou de la façon de mettre en oeuvre le programme, ces opinions différentes devraient être adéquatement consignées. L'étude préparatoire à l'évaluation devrait tenir compte de ces opinions pour déterminer les questions et les approches possibles ainsi que les options d'évaluation.

Cependant, les avantages et désavantages liés à la réalisation d'une étude d'évaluation fondée sur différentes interprétations de la structure d'un programme devraient être expliqués au client de l'étude. Si les opinions varient en ce qui concerne la structure du programme ou de ses hypothèses, une étude d'évaluation basée sur une seule interprétation du programme pourrait produire des renseignements non pertinents. D'autre part, des recherches sur les différentes opinions concernant un programme au cours d'une étude d'évaluation pourraient coûter très cher. Par conséquent, il est important que le client de l'étude comprenne bien les répercussions possibles de chaque approche afin de prendre une décision judicieuse.

2.1.2 Détermination des utilisateurs et des objectifs de l'étude d'évaluation

Les utilisateurs et les objectifs d'une étude d'évaluation influent grandement sur le type et la quantité de renseignements rassemblés lors de l'étude d'évaluation de même que sur le degré de précision exigé lors de sa réalisation. Les études d'évaluation effectuées conformément à la politique du Conseil du Trésor concernant l'évaluation des programmes ont pour client les sous-chefs des ministères et des organismes. Les sous-ministres peuvent décider que les évaluations serviront non seulement à répondre à leurs préoccupations mais aussi à celles des gestionnaires responsables des opérations du programme, des organisations non gouvernementales qui participent à la mise en oeuvre du programme et des comités du Cabinet chargés des politiques et du Conseil du Trésor. Bien qu'une étude puisse en un sens compter plusieurs utilisateurs, elle n'a toutefois qu'un seul client.

Puisque différents utilisateurs peuvent s'intéresser à des aspects différents du programme et, par conséquent, avoir des besoins d'information différents, le type de preuves et la précision des détails dont ils ont besoin pour tirer des conclusions sur l'efficacité d'un programme peuvent varier. Bien qu'une évaluation ne puisse répondre à tous les besoins d'information de tous ses utilisateurs à cause du temps et des dépenses que cela nécessiterait, une étude préparatoire devrait repérer les principaux utilisateurs éventuels d'une étude d'évaluation et définir leurs besoins d'information. Le sous-chef disposera ainsi d'une meilleure information pour déterminer l'objectif principal, la portée et les exi­gences méthodologiques de l'étude d'évaluation.

2.1.3 Détermination des questions auxquelles l'étude d'évaluation pourrait répondre

Le client et les utilisateurs d'une étude d'évaluation expriment souvent leurs besoins d'information en termes généraux qu'il faut ensuite préciser. Le discernement de questions précises qui peuvent faire l'objet de recherches au cours d'une étude d'évaluation constitue une étape essentielle de l'étude préparatoire. Ces questions aident les évaluateurs à préciser les options d'évaluation parmi lesquelles doit choisir le client.

La détermination des questions éventuelles devrait idéalement se faire en deux étapes. Au cours de la première étape, l'évaluateur traduit les inquiétudes des différents utilisateurs en ce qui concerne l'efficacité du programme en sujets précis pouvant faire l'objet d'une recherche. L'évaluateur tient compte aussi de toutes les questions d'ordre général exposées au tableau 2.2 et les adapte au programme visé. Par exemple, il détermine les objectifs précis du programme, les effets dont la vraisemblance et la réalisation peuvent être évalués et les scénarios possibles de conception et de mise en oeuvre du programme qui pourraient faire l'objet d'examen. Compte tenu de son analyse du programme et des besoins d'information des utilisateurs éventuels de l'étude d'évaluation, l'évaluateur établit alors une liste de questions relatives à l'évaluation de l'efficacité du programme. Au cours de la deuxième étape, l'évaluateur discute de cette liste avec le client de l'étude et les gestionnaires du programme. Au cours de cette discussion, un ordre de priorité sera établi pour les questions pour lesquelles une approche d'évaluation devra être élaborée.

Dans les cas ou il est difficile de rejoindre le client, l'évaluateur devrait déterminer s'il est techniquement et pratiquement possible d'aborder toutes les questions pertinentes exposées au tableau 2.2. Cela permettra de s'assurer que les options d'évaluation offertes au client ne sont pas limitées d'emblée.

2.1.4 Détermination des approches d'évaluation

Une fois que les questions auxquelles l'étude d'évaluation s pourrait répondre sont identifiées, l'étape suivante consiste à déterminer comment répondre à ces questions. L'étude préparatoire sert principalement à déterminer les approches possibles et à décrire la e nature des preuves qui seront avancées pour étayer les réponses apportées. La mise au point de méthodes et de techniques précises, comme la conception d'un questionnaire par exemple est habituellement amorcée au cours de l'étude d'évaluation.

Un grand nombre d'approches et de techniques peuvent être utilisées pour effectuer une étude d'évaluation, à partir d'une approche expérimentale contrôlée jusqu'aux études de cas. Toutefois, aucune ne convient à tous les cas, et chacune comporte des avantages et des désavantages. Par conséquent, l'évaluateur devrait choisir une approche très logique adaptée aux besoins d'information du client et, en même temps, tenir compte de facteurs tels que l'accessibilité aux renseignements concernant le programme et les contraintes relatives aux délais et aux ressources.

L'élaboration d'une approche suppose la détermination des points suivants:

  • les études d'évaluation effectuées pour ce programme ou des i e programmes semblables et leurs répercussions sur l'évaluation en cause;
  • les indicateurs ou l'ensemble de mesures qui représentent les objectifs, les répercussions et effets d'un programme et qui serviront à l'évaluation de sa performance et de ses résultats; et
  • la méthodologie ou l'ensemble de méthodes et de techniques qui pourrait servir à fournir l'information requise.

Tableau 2.2

Aspects fondamentaux de l'évaluation de programme

Aspects de l'évaluation Questions fondamentales
Raison d'être du programme (Est-ce que le programme répond à un besoin?)
  • Dans quelle mesure les objectifs et le mandat sont-ils encore pertinents?
  • Les activités et les extrants sont-ils conformes au mandat et se rattachent-ils de façon vraisemblable à la réalisation des objectifs et à l'ob­tention des répercussions et effets intentionnels?
Répercussions et effets
(Quels résultats le programme a-t-il donnés?)
  • Quels effets et répercussions inten­tionnels ou non, l'application du programme a-t-elle produits?
  • De quelle façon et dans quelle mesure le programme complète-t-il, chevauche-t-il ou contrecarre-t-il d'autres programmes ou fait-il double emploi?
Réalisation des objectifs (Est-ce que le programme a donné les résultats escomptés?)
  • De quelle façon et dans quelle mesure les objectifs du programme ont-ils été réalisés grâce à sa mise oeuvre
Solutions de rechange
(Existe-t-il de meilleures façons d'obtenir les résultats recherchés?)
  • Est-ce que d'autres programmes plus rentables pourraient permettre d'atteindre les objectifs et les effets et répercussions intentionnels?
  • Existe-t-il d'autres façons plus rentables de mettre en oeuvre le programme actuel?

Évaluations connexes

Il serait bon d'examiner les études effectuées sur des programmes semblables, mais pas nécessairement identiques. L'évaluateur peut ainsi connaître des approches qui ont déjà été utilisées. Un tel examen lui permet aussi de prévoir les problèmes d'ordre pratique qui surviendront sûrement au cours de l'étude d'évaluation et, par conséquent, d'élaborer des stratégies pour les régler.

Indicateurs

Il est bon de tenir compte des principes suivants avant de choisir les indicateurs qui serviront à l'évaluation de la performance et des résultats d'un programme.

Les indicateurs devraient, dans la mesure du possible, être objectifs.

Les indicateurs devraient, dans la mesure du possible, mesurer les éléments qu'ils sont censés mesurer sans être influencés par les caractéristiques particulières aux évaluateurs, les clients desservis, (s'ils doivent être consultés), ni les gestionnaires et le personnel responsables du programme. Lorsqu'il faut se contenter d'indicateurs subjectifs tels que les opinions d'experts ou les sondages d'opinions, il faudrait s'assurer que la conception de l'étude d'évaluation comporte suffisamment d'aspects pour compenser la distorsion probable de l'information causée par ces indicateurs, ou au moins indiquer clairement quels éléments d'information sont biaisés. Par exemple, les échantillons peuvent englober des personnes dont les intérêts vis-à-vis du programme diffèrent; les questions de l'interview peuvent être indirectes; et des questions peuvent être ajoutées à un questionnaire pour indiquer les éléments biaisés de l'information ou équilibrer d'autres questions qui susciteront probablement des réponses biaisées.

Les indicateurs devraient refléter globalement l'esprit de la condition ou de la situation à évaluer.

Les indicateurs devraient fournir une information pertinente et suffisante sur la performance et les résultats d'un programme. Pour s'assurer que tous les aspects de l'objectif ou des effets d'un programme sont bien mesurés, il est souvent nécessaire d'utiliser plusieurs indicateurs, à moins qu'il ne soit pas rentable de le faire. De même, différents indicateurs sont nécessaires s'il existe de véritables différences entre les opinions des gestionnaires de programme au sujet de la structure d'un programme, de ses objectifs ou de ses activités.

Méthodologie de l'évaluation

Il est utile de tenir compte de certains principes généralement acceptés avant de proposer ou de choisir une méthode d'évaluation. Ces principes sont énoncés et expliqués ci-dessous.

L'évaluation de l'efficacité d'un programme nécessite que les activités réelles du programme soient bien expliquées.

Il est souvent impossible de déduire l'efficacité d'un programme sans en décrire les activités principales qui sont réellement exécutées. Le Parlement et le Cabinet peuvent demander à un ministère de mettre un certain programme en oeuvre, mais les énoncés contenus dans les mandats indiquent généralement ce que le programme peut faire facultativement. En se renseignant sur les activités réelles du programme, l'évaluateur apprend à connaître la nature du programme et se rend compte des lacunes qui peuvent exister dans la prestation ou la qualité des services. Cette recherche peut aussi aider à analyser les activités ou ensemble d'activités qui peuvent contribuer beaucoup à produire les résultats escomptés et aider, de toute évidence, à interpréter les résultats qui peuvent laisser croire qu'un programme n'a pas été efficace ou qu'il n'est pas pertinent. Un grand nombre de méthodes permettent de se renseigner sur les activités réelles d'un programme. Elles comprennent, entre autres: l'observation directe de la façon dont un programme est actuellement mis en oeuvre; l'examen des dossiers relatifs à un programme, les interviews avec les gestionnaires axiaux de même qu'avec les bénéficiaires du programme ainsi que les entretiens avec le personnel chargé de programmes ou d'activités connexes, y compris le personnel des autres ministères.

L'évaluation des programmes nécessite que la contribution d'un programme à la réalisation d'un résultat escompté soit déterminée de façon assez sûre.

Cela laisse entendre que bien qu'une analyse digne de crédibilité soit toujours nécessaire, l'évaluation d'un programme ne devrait pas être considérée comme un exercice scientifique dont le but est de fournir des réponses définitives mais plutôt comme un outil servant à fournir une information pertinente, digne de foi et transmise sans trop de délais afin qu'elle serve à la prise de décisions et à la gestion. En conséquence, les rapports entre un programme et les résultats obtenus devraient être établis de façon assez sûre afin de faciliter la prise de décisions concernant la valeur relative d'un programme. Pour établir ces rapports, il est nécessaire de comparer les résultats obtenus avec l'information qui pourrait servir à déterminer ce qu'auraient été les résultats si le programme n'avait pas existé. Plusieurs façons permettent de faire de telles déductions, et chacune correspond mieux à certaines situations. Ce sont, entre autres: les analyses de séries temporelles en vue de déceler les changements survenus; la présentation d'arguments logiques pour démontrer ce que serait la situation si le programme n'existait pas; une comparaison de la situation avant et après l'instauration d'un programme en se servant de personnes ou de groupes semblables qui n'ont pas participé au programme; et le recours aux techniques d'établissement de modèles illustrant les rapports de cause à effet (par exemple les modèles économétriques) afin de vérifier certaines déductions de causalité.

L'évaluation des solutions de rechange au programme ou à son système de mise en oeuvre exige que les résultats probables de chaque solution de rechange soient déterminés de façon systématique et que les compa­raisons entre ces diverses possibilités tiennent compte d'un ensemble de critères pertinents, compréhensifs et cohérents.

Habituellement, dans l'évaluation de programme, l'analyse des diverses possibilités se limite au bon sens et à l'analyse rationnelle plutôt qu'à l'utilisation de méthodes d'analyse quantitative perfectionnées. Toutefois, lorsqu'on doit procéder à une analyse des solutions de rechange, il importe au préalable d'identifier clairement la nature des solutions de rechange à considérer lors de l'étude d'évaluation, les procédures à suivre pour juger les résultats attendus de chaque alternative et les dimensions qui feront l'objet de la comparaison entre les différentes solutions de rechange. Lorsqu'il planifie une analyse de solutions de rechange, l'évaluateur devrait se préoccuper de la viabilité de ces alternatives et de la fiabilité de l'information sur les résultats attendus de chacune d'elles. L'évaluateur devrait également s'assurer que les critères de comparaison sont cohérents et pertinents tant pour le client que pour les utilisateurs de l'étude d'évaluation.

L'application des résultats d'une étude d'évaluation portant sur un groupe échantillonnal à l'ensemble d'une population exige d'abord que l'échantillon soit composé de personnes ou d'entités qui appartiennent à la classe à laquelle les constatations seront appliquées et qu'il soit suffisamment important ou adéquatement balancé pour permettre de représenter les résultats d'un programme avec suffisamment de sensibilité.

Un grand nombre de méthodes peuvent être utilisées pour tirer un échantillon; certaines conviennent mieux à certaines situations. Elles englobent les principales formes d'échantillonnage non probabiliste (par exemple l'échantillonnage par choix raisonné ou par quota) et d'échantillonnage basé sur la probabilité (par exemple l'échantillonnage aléatoire, stratifié et par grappes). Quelle que soit la méthode choisie, il faut veiller à ce que les échantillons comprennent un nombre suffisant de cas représentant la population à laquelle le client et les utilisateurs de l'évaluation sont intéressés.

Les méthodes utilisées pour rassembler l'information devraient être fiables.

Il est possible de recueillir de l'information sur un programme et ses résultats au moyen de méthodes telles que l'observation sur place d'événements, l'utilisation de questionnaires et d'interviews et l'examen des documents disponibles en filière sur le programme. Il n'y a pas de méthode de cueillette de l'information qui soit adéquate en toutes circonstances. Les dossiers statistiques sont souvent incomplets. Quant aux observations sur place d'événements, quant à la formulation des questions et quant au comportement des interviewers, les sources courantes de préjugé en sont bien connues. Le choix d'une méthode ou d'une combinaison de méthodes présuppose que l'évaluateur en connaît les avantages et les faiblesses, compte tenu du contexte où elles seront utilisées. En outre, l'évaluateur devrait connaître les procédures qui pourraient permettre d'améliorer la crédibilité des méthodes de cueillette de l'information proposées. On pourrait, par exemple, utiliser plusieurs sources d'information,consulter les spécialistes de Statistique Canada en ce qui a trait à la conception des questionnaires et choisir des interviewers de métier pour procéder aux interviews.

Les compromis d'ordre technique qui sont faits au cours d'une évaluation devraient tenir compte des besoins d'information du client et des utilisateurs de l'étude.

Lors de l'évaluation de programmes décentralisés ou de programmes composés de plusieurs projets, l'évaluateur peut accepter un compromis, par exemple, sur la quantité d'information rassemblée sur un programme ou sur les projets distincts dans une situation afin d'augmenter le nombre de situations ou de projets visés par le sondage. Ceci pourrait être fait s'il était plus important d'obtenir une estimation de la fréquence d'un phénomène que d'obtenir des renseignements détaillés sur les rapports entre les activités d'un programme (ou de projets) et les résultats produits. Le choix de l'évaluateur relativement à de telles questions techniques devrait être fait à la lumière des besoins d'information du client et des utilisateurs de l'évaluation.

2.1.5 Estimation des coûts et des ressources

Lorsque les méthodes d'évaluation possibles ont été déterminées, les exigences de chaque méthode devraient être précisées en fonction de ce qui suit:

  1. la composition de l'équipe d'évaluation, c'est-à-dire le nombre de fonctionnaires reliés au programme, d'évalua­teurs internes, de conseillers et autres personnes de l'exté­rieur de même que des précisions sur leurs aptitudes et leur compétence;
  2. les aptitudes et l'expérience du personnel interne qui participe à l'étude (personnel relié au programme et autres membres du personnel interne) et la durée de leur participation à l'étude (mois-personnes);
  3. les honoraires des conseillers et des spécialistes, s'il y a lieu;
  4. les dépenses non liées aux salaires en sus des honoraires susmentionnés; et
  5. le temps nécessaire pour effectuer l'étude.

2.1.6 Détermination des options d'évaluation

Les options d'évaluation sont des ensembles distincts de ques­tions précises auxquelles il serait possible de répondre au cours de l'évaluation ultérieure de même que les approches connexes et les ressources et le temps nécessaires. Il faut faire preuve de beaucoup de savoir-faire pour décider comment combiner questions et approches, afin que l'ensemble des options d'évaluation fournisse au client une variété adéquate de sujets qui pourraient faire l'objet de recherches lors de l'étude d'évaluation, un éventail approprié d'approches qui pourraient être utilisées et, par conséquent, une marge à l'intérieur de laquelle les coûts de l'évaluation peuvent se situer. Dans la conception des options d'évaluation, il est particulièrement avantageux de considérer des approches qui permettent d'aborder plusieurs questions.

Pour élaborer les options, il faut examiner les étapes précédentes de l'étude préparatoire et déterminer à quelles questions il faut répondre. Voici quelques-uns des facteurs dont il faudrait tenir compte dans la détermination des options d'évaluation:

  • la mesure dans laquelle tous les besoins d'information du client de l'étude sont satisfaits;
  • la possibilité de traiter de certains aspects du programme de façon à satisfaire les besoins du client et à assurer la crédibilité des constatations;
  • la possibilité de répondre à des questions précises lorsqu'il faudra prendre des décisions ayant trait au programme; et
  • la justification des coûts de chaque option d'évaluation, c'est-à-dire des coûts nécessaires pour répondre à une série spéciale de questions, au moyen de techniques particulières, relativement aux coûts du programme même et aux avantages probables qui découleront de l'étude.

2.1.7 Élaboration des recommandations

Des recommandations sont normalement formulées à la fin de l'étude préparatoire à l'évaluation. Les évaluateurs peuvent recommander au client de l'étude une ou plusieurs options d'évaluation ou le renvoi de l'étude à une date ultérieure. Par exemple, il est possible de recommander le renvoi de l'étude à une date ultérieure s'il existe un trop grand nombre d'opinions différentes concernant la structure du programme, ou si le programme n'est pas suffisamment rodé pour être évalué ou encore si les coûts d'une telle évaluation ne sont pas proportionnés aux résultats. Dans le cas où il est recommandé qu'une évaluation soit reportée, une étude préparatoire déterminerait habituellement:

  1. les conditions qui font qu'une évaluation serait inadéquate à un moment donné;
  2. les étapes nécessaires pour permettre l'évaluation du programme à une date ultérieure; et
  3. les approches qui pourraient être utilisées pour l'évaluation future du programme.

Il est important que non seulement les recommandations soient basées sur les résultats des analyses effectuées lors de l'étude préparatoire, mais que les raisons de proposer telle ou telle recommandation soient exposées de façon adéquate et transmises au client de l'étude.

2.2 Caractéristiques d'une bonne étude préparatoire à l'évaluation

Une étude préparatoire est habituellement réalisée avant qu'on s'engage à effectuer une étude d'évaluation. Afin de faire un meilleur usage des études d'évaluation au cours du processus de prise de décisions et, en même temps, de contrôler les dépenses relatives à l'évaluation, il est important que les études préparatoires soient adéquates. Une étude préparatoire qui est adéquate présente les caractéristiques suivantes:

  • elle a une portée et un contenu compréhensifs;
  • elle fournit des produits pertinents et dignes de foi; et
  • elle demeure à l'intérieur de limites budgétaires acceptables.

Compréhensibilité

L'étude préparatoire à l'évaluation devrait se pencher sur toutes les questions qui préoccupent le sous--ministre afin de déterminer s'il est possible d'y apporter des réponses lors de l'étude de l'évaluation.

Lorsque le sous-ministre ne circonscrit pas au départ l'étude préparatoire à un nombre restreint de thèmes, celle-ci devrait tenir compte de tous les aspects exposés au tableau 2.2 comme sujets possibles d'étude au cours de l'évaluation qui suivra. Ceci devrait engendrer l'élaboration d'une liste appropriée de questions d'évaluation spécifiques à un programme donne et couvrant chacun des quatre aspects d'évaluation

L'étude préparatoire devrait également développer un éventail des options d'évaluation; chaque option inclurait un groupement quelconque de questions d'évaluation et de méthodes d'évaluation qui pourraient être utilisées. L'ensemble des options d'évaluation devrait fournir au sous-chef des renseignements sur l'éventail des aspects qui pourraient être étudiés au cours de l'étude d'évaluation ultérieure, sur les diverses méthodes d'évaluation qui pourraient être utilisées et, par conséquent, sur la marge à l'intérieur de laquelle les coûts de l'étude d'évaluation peuvent se retrouver.

Finalement, une étude préparatoire à l'évaluation devrait donner tous les produits suivants:

  1. un profil à jour de la composante de programme;
  2. une évaluation générale de la structure de la composante de programme qui indique si la composante fonctionne de la façon prévue et la mesure dans laquelle les activités de la composante sont vraisemblablement liées à la réalisation de ses objectifs et à la poursuite des effets recherchés;
  3. des options d'évaluation; et
  4. des recommandations relatives aux champs d'action à adopter.

Pertinence

Une étude préparatoire devrait fournir, au moment voulu, l'information dont le client a besoin pour prendre des décisions concer­nant le point principal, la portée et la profondeur de l'étude d'évalua­tion ultérieure. Par conséquent, une étude préparatoire à l'évaluation devrait faire ressortir toutes les questions d'évaluation importantes et fournir une quantité suffisante d'information sur toutes les options d'évaluation. Chaque option devrait particulièrement préciser (i) les questions auxquelles l'étude d'évaluation pourrait répondre; (ii) les approches et les techniques d'évaluation qui pourraient être utilisées; (iii) les ressources et les délais nécessaires; et (iv) la crédibilité probable des constatations de l'étude d'évaluation.

Crédibilité

Une étude préparatoire à l'évaluation devrait en premier lieu refléter une compréhension à l'égard du programme et du milieu dans lequel il est mis en oeuvre, ainsi qu'avancer des preuves démontrables en appui de ce qui suit:

  • les activités du programme sont ou ne sont pas conformes au mandat relatif au programme;
  • un lien vraisemblable existe ou n'existe pas entre les activités du programme et les effets et répercussions prévus.

L'étude préparatoire devrait identifier les questions connues d'évaluation relatives au programme. L'étude devrait également faire preuve de perspicacité et en conséquence, discerner d'autres questions d'évaluation auxquelles on n'avait pas pensé au préalable et qui produiraient des renseignements utiles quant au programme et à sa logique sous-jacente.

La crédibilité d'une étude préparatoire est également rehaussée lorsque l'ensemble des options d'évaluation qui sont présentées au client atteste que les avantages, limitations et possibilités d'application des diverses méthodes d'évaluation avancées par l'étude ont été soigneusement explorés en fonction de ses intérêts propres. Par exemple, il devrait y avoir des indications à l'effet que:

les indicateurs proposés pour l'étude d'évaluation représentent de façon adéquate et impartiale les objectifs et les effets du programme ou les autres situations qui doivent être évaluées;

  • l'information requise au sujet des activités du programme et de ses résultats est accessible et probablement fiable; et
  • les méthodes proposées, y compris les méthodes de collecte de données et d'échantillonnage sont rentables et fourniront des renseignements sûrs et dignes de foi sur la performance et les résultats du programme.

En outre, les recommandations découlant de l'étude préparatoire doivent être fondées sur les résultats des analyses effectuées au cours de cette étude et doivent contenir de façon explicite les raisons qui les justifient.

Rentabilité

Les ressources nécessaires pour effectuer une étude préparatoire varieront en relation avec la complexité du programme et le nombre et la portée des questions d'évaluation qui doivent être explorées. Habituellement, les ressources nécessaires varient d'un à cinq mois-personnes.

Par exemple, une moyenne d'un à deux mois-personnes est habituellement nécessaire pour effectuer les études préparatoires à L'évaluation de programmes qui n'ont que peu de relations d'interdépendance avec les autres programmes gouvernementaux, sont très centralisés ou sont bien documentés. Lorsqu'il existe des rapports interministériels ou intergouvernementaux complexes, l'étude préparatoire peut exiger plus de temps.


 

Chapitre 3 - Étude d'évaluation

Une étude d'évaluation est habituellement effectuée après que son mandat ainsi qu'un plan de travail détaillé ont été approuvés par le sous-chef d'un ministère ou d'un organisme. Le chapitre 4 contient des précisions sur les mandats.

Ce chapitre contient un aperçu des principes dont il serait bon de tenir compte dans la réalisation d'une étude d'évaluation. Il décrit également les caractéristiques d'une bonne étude d'évaluation.

3.1 Principes pour la réalisation d'une étude d'évaluation

Les étapes habituelles d'une étude d'évaluation pour laquelle un mandat détaillé a été établi sont les suivantes:

  1. la collecte de l'information nécessaire pour répondre aux questions précisées dans le mandat;
  2. la préparation de l'information recueillie de façon à en faciliter l'analyse;
  3. l'analyse de l'information;
  4. la formulation de conclusions qui ont trait aux questions posées;
  5. l'élaboration de recommandations en vue de la prise de déci­sions du de mesures; et
  6. la communication des résultats et des recommandations au sous-chef et aux principaux utilisateurs de l'évaluation (voir le chapitre 5).

Dans certains cas, toutefois, lorsqu'aucun mandat précis n'a été établi pour l'étude, les évaluateurs devraient d'abord élaborer un plan de travail détaillé, comme Il est expliqué au chapitre 4.

Voici quelques principes utiles pour réaliser une évaluation type, c'est-à-dire une évaluation pour laquelle un mandat précis a été établi.

3.1.1 Collecte de l'information

Lorsqu'il planifie une étude d'évaluation telle que discutée au chapitre 2, un évaluateur compare habituellement les mérites des diverses méthodes de collecte des données et recommande les méthodes à utiliser. Au cours de l'étude d'évaluation, les évaluateurs élaborent ou précisent les techniques choisies; par exemple, ils formulent les questions à poser dans le questionnaire ou lors de l'interview. Ils procèdent ensuite à la collecte des données requises.

Afin que les techniques de collecte de l'information soient honnêtes et que les données recueillies soient pertinentes, exactes et complètes, des procédures efficaces de contrôle de la qualité devraient être établies et suivies pendant toute l'évaluation. Bien que la nature des mécanismes de contrôle de la qualité puisse varier selon les circonstances, les techniques suivantes sont considérées comme valables:

  • procéder à un essai-pilote des méthodes de collecte de l'information;
  • utiliser plus d'une source d'information;
  • surveiller la collecte de l'information;
  • vérifier et organiser l'information recueillie; et
  • mettre en oeuvre des procédures pour traiter des cas de refus de répondre et de la «disparition» de certains répondants si l'on a recours à l'échantillonnage.

Procéder à un essai-pilote des méthodes de collecte de l'information

Cette procédure consiste à utiliser les méthodes choisies pour recueillir l'information sur un petit échantillon et à effectuer des analyses préliminaires de l'information recueillie. Une telle procédure est particulièrement importante et conseillée quand un instrument servant à la collecte d'information, tel un questionnaire, doit être utilisé pour la première fois. Les essais-pilotes ont pour but de cerner et de résoudre les problèmes et les défauts des méthodes de collecte des données ou de la forme et de l'utilité de l'information recueillie.

Lors de l'essai-pilote, il est possible de déterminer si ceux qui recueillent les données et les répondants comprennent l'instrument et, par conséquent, de décider si une formation plus poussée des interviewers, par exemple, est souhaitable et s'il est nécessaire d'éliminer, d'ajouter ou de préciser certaines questions, de préparer une nouvelle échelle d'évaluation ou de modifier une procédure afin que l'information recueillie soit objective, pertinente, exacte et complète. En outre, des analyses préliminaires devraient être effectuées afin de s'assurer que l'information recueillie est suffisante pour répondre aux questions envisagées.

Utilisation de plusieurs sources d'information

Habituellement, aucune source d'information n'est entièrement fiable. Par exemple, les dossiers et les documents relatifs aux programmes peuvent être incomplets ou inexacts, et l'information recueillie grâce à des méthodes d'enquête peut être faussée par ceux qui la recueillent ou par les répondants. Afin que les données recueillies soient plus fiables, il est jugé souhaitable d'utiliser, dans la mesure du possible, plusieurs sources d'information. Par exemple, des renseignements sur un programme de primes d'encouragement au secteur privé peuvent être tirés des dossiers relatifs au programme et des documents des sociétés ou obtenus au moyen d'enquêtes auprès des gestionnaires du programme et des représentants de l'industrie, visant ainsi à vérifier ou à compléter les renseignements obtenus d'une source particulière.

Surveillance

Il se peut, et il arrive fréquemment, que des événements imprévus surviennent au cours d'une étude d'évaluation. Souvent, l'évaluateur est surpris d'apprendre que le programme ne comprend pas certaines activités qu'il était censé comprendre; ou l'évaluateur constate avec surprise que l'information ne peut être recueillie d'une source particulière ou ne peut provenir que d'une seule source. De tels imprévus peuvent compromettre plus ou moins les résultats d'une étude d'évalua­tion. Par conséquent, il serait souhaitable de mettre en oeuvre un système qui permette de surveiller périodiquement la pertinence et la qualité de l'information recueillie au sujet des activités du programme et sur ses résultats éventuels et de modifier la méthode de collecte de l'information utilisée si le type ou la qualité de l'information causait des problèmes.

Édition des données

Grâce à l'édition des données, il est possible d'éviter que des erreurs fâcheuses ne se glissent dans la base de données. Les procédures habituelles d'édition des données incluent des vérifications d'intervalle pour s'assurer que toute l'information transcrite est comprise à l'in­térieur de limites raisonnables prédéterminées; des vérifications des cartes perforées et des textes dactylographiés pour s'assurer que l'information contenue dans les documents de base est correctement transcrite; et des vérifications de l'uniformité interne des données telles que l'examen d'un échantillon de l'information recueillie pour s'assurer qu'elle est satisfaisante.

Procédures pour s'occuper des refus de répondre et de la «disparition» de certains répondants

Les changements dans la composition originale d'un échantillon sont habituellement inévitables au cours d'une étude d'évaluation. Certaines personnes peuvent cesser de faire partie de l'échantillon et d'autres peuvent fournir des renseignements incomplets. Étant donné que ces changements peuvent fausser sérieusement l'étude, des procédures pour tenir compte des refus de répondre et de la «disparition» de certains répondants devraient être établies. De même, des mécanismes appropriés devraient être mis en oeuvre afin de déterminer si les différences entre les non-répondants et les répondants peuvent fausser les constatations de l'étude d'évaluation.

3.1.2 Préparation de l'information

Les données rassemblées au cours d'une étude d'évaluation devraient être organisées de façon à en faciliter l'analyse. Afin d'assurer une utilisation et une analyse adéquates de l'information, les facteurs suivants devraient être pris en considération:

  • utilisation de méthodes appropriées pour organiser et enregistrer l'information recueillie durant l'étude; et
  • établissement de procédures efficaces de contrôle de la qualité.

Organisation de l'information

Il existe plusieurs méthodes pour synthétiser et enregistrer l'information. Ces méthodes comprennent, entre autres, les distributions de fréquence, les catégories et les diverses formes de tableaux. Il est primordial de choisir en premier lieu une méthode qui soit compatible avec la nature des questions envisagées au cours de l'étude d'évaluation. Si, par exemple, des catégories sont établies pour classer l'information, les éléments qui distinguent les différentes catégories devraient être liés aux caractéristiques qui font l'objet de recherches au cours de l'étude d'évaluation. En outre, la méthode utilisée pour organiser et enregistrer l'information recueillie au cours de l'étude devrait convenir aux techniques d'analyse utilisées. L'information utilisée dans les analyses qualitatives peut être groupée par catégories ou dans des résumés descriptifs, tandis que l'information qui sert aux analyses par ordinateur devrait être codée et enregistrée selon des formats précis.

Procédures de contrôle de la qualité

Des procédures efficaces de contrôle de la qualité devraient être établies afin que les données transcrites soient exactes; que les filières originales de données soient bien étiquetées et répertoriées de façon à ce que d'autres personnes puissent y avoir accès et les utiliser adéqua­tement à une date ultérieure; et que des précautions raisonnables soient prises pour éviter que des personnes non autorisées aient accès à l'infor­mation ou que celle-ci soit égarée.

3.1.3 Analyse de l'information

Lorsque l'information a été rassemblée et préparée, elle doit être analysée afin de permettre de répondre adéquatement aux questions précises envisagées au cours de l'étude d'évaluation.

L'analyse de l'information contient habituellement au moins certains des aspects suivants:

  1. description des échantillons de personnes et de lieux inclus dans l'évaluation et mention de leurs caractéristiques particulières en termes qualitatifs ou quantitatifs (statistiques);
  2. description de toute autre source d'information utilisée, de son rapport avec les questions traitées dans l'étude d'évaluation et de leur fiabilité relative;
  3. mention de la nature des activités du programme, par exemple, la quantité et la qualité des services ou des biens fournis;
  4. établissement d'un rapport entre la qualité et la quantité des services ou des biens fournis et les caractéristiques des échantillons, c'est-à-dire détermination des bénéficiaires, des biens et des services et, dans la mesure du possible, des raisons pour lesquelles ils les reçoivent;
  5. estimation des résultats du programme en comparant sa performance avec ce qu'aurait pu être la situation si le programme n'avait pas existé ou s'il avait opéré sous différentes conditions ou hypothèses;
  6. explication des résultats observés ou, peut-être, des échecs subis;
  7. estimation des résultats probables des solutions de rechange au programme ou à son système de mise en oeuvre;
  8. établissement d'un rapport entre les coûts liés au programme ou à ses solutions de rechange et leurs résultats respectifs; et
  9. application, par extrapolation, des résultats obtenus d'après l'information recueillie et les analyses effectuées sur les populations dont les échantillons ont été tirés, s'il y a lieu, aux personnes et aux situations non visées par l'étude d'évaluation.

Un éventail de procédures d'analyse peut être utilisé. Toutefois, pour éviter que l'on ne tire des conclusions injustifiées de l'information recueillie, il est utile, quelles que soient les procédures choisies, de tenir compte des principes suivants:

Les procédures analytiques devraient tenir compte de la nature des données recueillies au cours de l'évaluation.

La mise en application appropriée d'une procédure analytique devrait tenir compte des données recueillies, c'est-à-dire que (i) seulement les statistiques adéquates devraient être utilisées pour traduire l'information (par exemple, la moyenne ne peut être utilisée quand la médiane est requise); (ii) les analyses entreprises devraient être effectuées selon les données pertinentes recueillies, y compris les facteurs importants qui influencent les résultats d'un programme donné; et (iii) les analyses devraient permettre de distinguer clairement les indicateurs des résultats que le programme est censé produire des indicateurs des facteurs qui peuvent influencer sur ces résultats.

La logique de chaque méthode d'analyse devrait être précisée.

Un grand nombre de méthodes d'analyse peuvent servir à évaluer l'efficacité d'un programme. Elles comprennent, entre autres: l'élaboration d'arguments logiques, l'utilisation de modèles bien établis et l'utilisation de méthodes d'analyse tant qualitative que quantitative. Quelle que soit la méthode choisie, l'évaluateur devrait en préciser clairement la logique. S'il a recours à des méthodes d'analyse qualitative, il devrait déterminer les étapes de l'élaboration d'un argument logique, étayer les hypothèses sous-jacentes, et déterminer quelles preuves suffiraient pour appuyer ou réfuter cet argument. De même, s'il a recours à des méthodes d'analyse quantitative, il devrait indiquer les hypothèses sous-jacentes au choix d'une technique et mentionner tout écart ou dérogation à ces hypothèses. Non seulement des lacunes au cours de cette étape compromettent directement les résultats de l'évaluation, mais elles peuvent aussi préjudicier la crédibilité de l'évaluation.

Il est préférable d'utiliser plusieurs méthodes d'analyse lorsqu'aucune procédure d'analyse particulière n'est connue ou bien établie.

Dans un domaine qui évolue beaucoup comme l'évaluation de programme, différentes procédures d'analyse peuvent amener des conclusions différentes, surtout lorsque les hypothèses qui sous-tendent une méthode n'ont pas été mises à l'essai et validées. Dans de tels cas, il est recommandé d'utiliser, dans la mesure du possible, plusieurs méthodes d'analyse afin que les conclusions de l'étude d'évaluation soient plus dignes de crédibilité.

Les raisons de toute modification du milieu observée après l'instauration d'un programme, ou du fait qu'une modification ne s'est pas produite, devraient être bien précisées et prises en considération.

Si l'évaluateur remarque un changement dans le contexte d'un programme qui existe depuis assez longtemps, il devrait refuser toute autre explication visant à justifier un tel changement. De nombreux moyens permettent de rejeter les explications concurrentes des résultats d'un programme. Ils sont, entre autres, l'élaboration d'un argument logique et l'utilisation de méthodes d'analyse quantitative.' De même, si l'évaluateur ne remarque aucun changement, il devrait rechercher toutes les raisons de cette absence de changement qui est souvent due à la courte existence du programme, à la piètre logique à la base de sa conception ou à la façon dont le programme est mis en oeuvre.

L'évaluateur devrait effectuer une analyse exploratoire de l'influence d'autres facteurs sur les résultats d'une étude d'évaluation lorsqu'il le juge nécessaire et utile.

Les évaluateurs devraient toujours bien examiner les données recueillies afin de déterminer s'il existe d'autres rapports que ceux qui ont été perçus. Ils devraient travailler de concert avec les principaux utilisateurs de l'étude d'évaluation afin de déterminer tout facteur dont il n'a pas été tenu compte et qui pourrait influencer les résultats de l'étude. Si de tels facteurs sont découverts après que le rapport de l'étude d'évaluation est terminé, le degré de crédibilité d'une évaluation peut en souffrir beaucoup. Cela ne signifie pas toutefois que les évaluateurs devraient effectuer une étude exploratoire, mais ils devraient faire preuve de jugement pour déterminer dans quelle mesure une telle étude est nécessaire au cours d'une évaluation.

Les unités d'analyse devraient être compatibles avec la méthode de collecte des données et les types de conclusions qu'il est possible d'en tirer.

Un exemple permettrait peut-être de mieux comprendre. Dans une évaluation qui porte sur les effets d'un programme de promotion de la santé sur les habitudes des fumeurs canadiens, l'information recueillie dans les villes (le volume des ventes de cigarettes par habitant, par exemple) ne permet pas de tirer des conclusions sur les résidents. Les ventes de cigarettes dans une ville donnée peuvent refléter plusieurs facteurs qui ne sont pas nécessairement reliés à ses résidents. Il se peut, par exemple, que les gens achètent leurs cigarettes dans les villes où ils font leurs emplettes. S'il se révèle impossible de tenir compte de tels facteurs de façon satisfaisante dans l'interprétation des données, il serait alors mieux indiqué de recueillir de l'infor­mation sur certains fumeurs dans les villes où le programme a été mis en oeuvre.

Des épreuves de signification devraient être exécutées lorsque les consta­tations sont appliquées a l'ensemble de la population dont l'échantillon a été tiré, et des analyses de sensibilité devraient être effectuées chaque fois qu'un doute existe.

En étendant les constatations d'une évaluation à l'ensemble de la population d'où provient l'échantillon, il faudrait effectuer des épreuves de signification pour déterminer si chaque constatation est justifiée ou si elle provient d'une variation aléatoire des données, et l'évaluateur devrait faire preuve de jugement pour interpréter les résultats des épreuves avec assez de certitude. De plus, des analyses de sensibilité devraient être effectuées en cas de doute afin d'établir la marge à l'intérieur de laquelle la valeur d'une certaine constatation peut varier. Cela est primordial quand des facteurs peuvent avoir une influence importante mais non évidente sur les constatations et les conclusions d'une évaluation.

L'application des résultats de l'étude d'évaluation à d'autres situations que celles comprises dans un échantillon nécessite une comparaison poussée entre les cas compris dans l'échantillon et les autres afin de cerner les ressemblances et les différences et leur importance et de déterminer leur influence sur les résultats de l'évaluation.

Lors de l'application des résultats de l'évaluation aux situations non visées par l'étude, il faut faire bien attention puisque le succès d'un programme ou d'un projet dépend, en partie, des situations où il a été mis en oeuvre. Toutefois, s'il est nécessaire de généraliser ainsi, l'évaluateur peut répéter l'évaluation dans différentes situations ou analyser avec soin les effets que les caractéristiques distinctes de ces nouvel les situations peuvent produire sur les résultats de l'évaluation.

3.1.4 Formulation des conclusions

L'application de méthodes scientifiques rigoureuses permet de formuler des conclusions non équivoques à partir de l'information et des preuves recueillies au cours d'une étude d'évaluation. Or, seules les méthodes d'évaluation expérimentales respectent cette rigueur scientifique mais elles ne s'appliquent qu'en de rares occasions. Dans la plupart des cas, les autres méthodes d'évaluation ne garantissent nullement l'obtention de réponses définitives à une question d'évaluation particulière. En pareilles circonstances, les conclusions sont fondées sur les meilleures preuves empiriques rassemblées de même que sur un jugement sûr.

La cueillette de divers types d'information et de preuves se rapportant à une même question traitée dans l'étude d'évaluation permet d'étayer davantage des conclusions précaires au départ. Même si aucune de ces preuves n'est concluante en soi, la multiplication de preuves qui convergent dans un même sens, peut au total permettre au client de l'étude d'évaluation de prendre des décisions relatives à une question particulière traitée dans l'étude. En outre, les conclusions des évaluateurs devraient faire l'objet d'échanges intensifs et de critiques avec les principaux utilisateurs de l'étude.

3.1.5 Élaboration des recommandations

Les recommandations sont habituellement élaborées à la fin d'une évaluation. Elles servent à proposer au client diverses façons de donner suite aux constatations. Bien que les recommandations soient perçues comme des conseils et qu'elles ne fassent pas partie intégrante du rapport, elles devraient tenir compte des résultats provenant des analyses des données recueillies au cours de l'étude d'évaluation et des conclusions qui en découlent. En outre, dans la mesure du possible, diverses recommandations devraient être soumises pour les différentes hypothèses inhérentes à l'évaluation.

3.2 Caractéristiques d'une bonne étude d'évaluation

Une bonne étude d'évaluation sera précédée par un mandat d'évaluation afin d'assurer la pertinence des questions auxquelles elle répondra et la convenance des approches d'évaluation qui seront utilisées. En conséquence, une bonne étude d'évaluation devrait respecter les conditions suivantes:

  • traiter de questions pertinentes et importantes;
  • fournir des constatations[2]1 et des recommandations dignes de crédibilité; et
  • demeurer à l'intérieur de limites budgétaires acceptables.

Pertinence et importance

Une évaluation devrait répondre dans des délais raisonnables aux questions précisées dans le mandat à son sujet. Habituellement, ces questions sont développées au cours de l'étude préparatoire et se basent sur les questions d'ordre général pour l'évaluation des programmes qui figurent au tableau 2.2. Les évaluateurs s'appliquent au cours de l'étude préparatoire à élaborer des questions qui permettront de recueillir une information nouvelle et importante, c'est-à-dire qui dépasse les renseignements évidents pour les utilisateurs de l'étude, ou qui confirme leur conception du programme.

Crédibilité

L'information et les preuves rassemblées au cours de l'étude devraient être fiables, et liées aux questions soulevées. Afin d'assurer la fiabilité de l'information et des preuves recueillies lors d'une étude d'évaluation, il est important d'utiliser des approches d'évaluation dignes de crédibilité. Un grand nombre de facteurs déterminent la crédibilité d'une approche d'évaluation, spécialement la pertinence des indicateurs utilisés pour représenter et mesurer la performance et les résultats du programme à évaluer; la pertinence de la méthodologie utilisée pour déduire quelle aurait été la performance si le programme n'existait pas ou s'il avait été mis en oeuvre sous des conditions diffé­rentes; la convenance des méthodes d'échantillonnage et de collecte de l'information; et le volume des analyses effectuées pour interpréter l'information rassemblée et répondre aux questions énoncées dans le mandat relatif à l'évaluation.

Afin que les conclusions soient dignes de crédibilité, elles devraient être fondées sur de l'information et des preuves pertinentes et fiables. En conséquence, il faudrait identifier les circonstances où les conclusions découlent d'un jugement sûr plutôt que de faits empi­riques; énoncer les hypothèses fondamentales qui sous-tendent les conclusions de l'étude; et démontrer que l'étude n'a pas passé outre à des facteurs importants et qu'une approche d'évaluation convenable a été utilisée.

En outre, la crédibilité des recommandations est rehaussée lorsque le lien qui les rattache aux conclusions de l'étude est clairement perçu, quand les hypothèses qui les sous-tendent sont clairement énoncées et lorsqu'il est évident pour le client qu'elles ont été élaborées en pleine connaissance des conséquences qu'elles peuvent engendrer.

Rentabilité

Les coûts d'une étude d'évaluation devraient être envisagés en tenant compte de la valeur de l'information recueillie (par exemple, sa pertinence, son importance et sa crédibilité), de même que des coûts et de l'importance du programme évalué.


Chapitre 4 - Mandat

Il y a lieu d'établir un plan d'action précis avant d'amorcer une étude préparatoire ou une étude d'évaluation proprement dite. Ce plan d'action ou mandat relatif à l'étude représente un contrat entre le client de l'étude et les évaluateurs. Il permet à chaque parti de comprendre les objectifs précis de l'étude et les approches fondamentales utilisées pour les atteindre.

4.1 Éléments du mandat

Le mandat relatif aux études préparatoires et aux études d'évaluation devrait contenir au moins les éléments suivants:

  1. un énoncé des objectifs de l'étude. Par exemple, une étude préparatoire sert habituellement à établir ou mettre à jour le profil d'un certain programme et à déterminer un ensemble d'options pour l'étude d'évaluation, tandis que celle-ci a pour but de répondre à une série de questions établies à l'avance. Ces questions devraient être énoncées en termes adaptés au programme visé par l'étude. En général, la précision de la formulation des mandats permet­tra de réduire les malentendus qui surviendront au cours de l'étude d'évaluation et constituera un fondement utile au rapport définitif;
  2. un plan de travail détaillé, sur lequel on élabore davantage à la section 4.2 et qui contient les précisions suivantes:
    • la façon d'atteindre les objectifs assignés, c'est-à-dire une explication des tâches précises à effectuer et des appro­ches d'évaluation à utiliser;
    • le nom du responsable de chaque tâche;
    • la date où chacune des tâches doit avoir été accomplie et ce, pour toutes les tâches;
    • la nature des rapports à rédiger et les dates auxquelles ils seront soumis; et
    • les destinataires de ces rapports;
  3. une description de la composition du groupe d'étude et du rang hiérarchique de ses membres, c'est-à-dire le nom des principaux membres de l'équipe, les responsabilités du chef de projet et ses rapports hiérarchiques avec le directeur de l'évaluation de programme et les comités chargés de l'évaluation de programme, le cas échéant;
  4. un énoncé clair, au besoin, de l'autorisation nécessaire pour effectuer l'étude;
  5. des précisions sur les ressources nécessaires pour l'étude et ses différentes étapes;
  6. un exposé des procédures de modification du plan de l'étude.

4.2 Plan de travail détaillé

Il s'agit du plan d'action tant pour l'étude préparatoire que pour l'étude d'évaluation. Il fait partie du mandat, puisqu'il décrit la façon dont les produits escomptés de chacune seront obtenus.

4.2.1 Plan de travail de l'étude préparatoire à l'évaluation

Étant donné la nature générale de l'étude préparatoire à l'évaluation, le plan de travail d'une telle étude indique en termes généraux, l'approche qui sera utilisée pour effectuer l'étude, la durée prévue de l'étude, les spécialistes qui participeront à sa réalisation et les destinataires du rapport.

4.2.2 Plan de travail de l'étude d'évaluation

L'établissement du plan de travail précis d'une étude d'évalua­tion constitue un élément fondamental du processus d'évaluation. Ce plan d'action permet de s'assurer que l'on porte suffisamment d'atten­tion à l'organisation de la collecte et de l'analyse des données et que l'on fournit un fondement pour le contrôle de la qualité et des coûts. Lorsqu'aucune étude préparatoire n'a été effectuée, il faudrait d'abord régler toutes les questions de méthodologie mentionnées au chapitre 2 du présent document et renseigner les personnes concernées au sujet de l'information qui sera recueillie et des méthodes d'analyse qui seront utilisées.

Avant d'établir le plan de travail d'une option d'évaluation choisie par le client, les évaluateurs devraient d'abord amorcer une nouvelle analyse critique rapide de ce qui suit:

  • de l'option d'évaluation choisie par le client, particulièrement en ce qui concerne la pertinence des méthodes d'éva­luation pour traiter d'un ensemble de questions;
  • des approches d'évaluation élaborées au cours de l'étude préparatoire, spécialement en ce qui a trait à la pertinence et à la possibilité de recourir à des indicateurs précis pour évaluer l'efficacité des programmes, de méthodes particulières pour évaluer l'efficacité et des procédures précises d'échantillonnage et de collecte de l'information; et
  • des limitations d'ordre pratique qui ont été prévues au cours de l'étude préparatoire et des stratégies envisagées pour les régler.

Les évaluateurs élaborent alors un plan précis en vue de la collecte des données et de leur analyse. Ce plan de travail comprend habituellement les éléments suivants:

  1. une description de la structure du programme, c'est-à-dire de ses activités, de ses extrants, de ses répercussions et effets et de leur interdépendance;
  2. une description des approches d'évaluation précises qui seront utilisées pour répondre aux questions envisagées, y compris les indicateurs, la nature de l'information à recueillir, la méthodologie utilisée pour évaluer l'efficacité du programme, les procédures d'échantillonnage et la taille de l'échantillon ainsi que les méthodes de collecte et d'analyse des données;
  3. une description de la nature des procédures de contrôle de la qualité qui seront effectuées au cours de l'étude d'évaluation;
  4. la détermination des spécialistes qui participeront à la réalisation de l'étude d'évaluation;
  5. la détermination de la durée probable de l'étude, y compris les dates des étapes importantes; et
  6. une indication des rapports à rédiger et de leurs destinataires.

On s'attend à ce que des ressources, en sus de celles allouées pour une étude préparatoire, soient nécessaires pour établir le mandat relatif à l'étude d'évaluation, y compris le plan de travail détaillé. Le temps et les ressources nécessaires pour cette tâche varient toutefois selon l'information recueillie grâce à l'étude préparatoire.

4.3 Approbation du mandat

Le sous-chef d'un ministère ou organisme est responsable d'approuver les mandats relatifs à l'étude préparatoire et à l'étude d'évaluation. Toutefois, il peut juger bon de déléguer au directeur de l'évaluation des programmes la responsabilité d'approuver les mandats relatifs aux études préparatoires.

4.4 Distribution des mandats

Les mandats relatifs à l'étude préparatoire et à l'étude d'évaluation même devraient être diffusés aux comités ministériels d'évaluation de programme, s'il y a lieu, et aux gestionnaires du programme concerné afin qu'ils puissent les apprécier ou les évaluer. Les comités d'évaluation de programme ont besoin des mandats pour s'acquitter adéquatement de leurs responsabilités en matière de surveillance. De même, tout gestionnaire de programme doit bien comprendre les objectifs précis et la portée d'une étude afin de participer le mieux possible à sa réalisation.


Chapitre 5 - Rapports relatifs a l'évaluation de programme

Le présent chapitre définit les critères d'un bon rapport d'étude préparatoire ou d'étude d'évaluation. Ces critères concernent la forme, le contenu, la séance de compte rendu et la distribution de ces rapports.

5.1 Forme

Rapports écrits

L'étude préparatoire et l'évaluation même devraient aboutir à un rapport écrit qui servira de dossier d'étude permanent des analyses effectuées et de leurs résultats. Un rapport écrit facilite habituellement la communication des résultats d'une étude aux agents responsables. Il facilite aussi le suivi nécessaire pour déterminer si des mesures adé­quates ont été prises à la suite des résultats de ces études.

Conclusions distinctes

Les conclusions de chaque étude devraient être énoncées clairement et séparément dans une section du rapport.

Séparation entre le rapport proprement dit et les recommandations

Les recommandations découlant d'une étude préparatoire ou d'une étude d'évaluation ne devraient pas faire partie du rapport. Il est recommandé de présenter les analyses et les résultats d'une étude séparément des recommandations parce que ces dernières tiennent habituellement compte d'autres renseignements relatifs au programme, en plus des constatations découlant de l'évaluation. Toute recommandation élaborée au cours d'une étude devrait être présentée séparément des résultats principaux de cette étude. De cette façon, il sera plus facile de les communiquer aux agents supérieurs de l'intérieur ou, au besoin, de l'extérieur du ministère.

5.2 Contenu

Tous les rapports des études préparatoires et d'évaluation devraient être dignes de crédibilité et utiles, c'est-à-dire qu'ils devraient être:

  • suffisants,
  • exacts,
  • objectifs,
  • bien étayés,
  • clairs et concis, et
  • présentés dans des délais raisonnables.

Suffisance

Le rapport des études préparatoires et d'évaluation devraient fournir au client suffisamment de renseignements sur les résultats de l'étude et les méthodes utilisées pour la collecte et l'analyse des don­nées. Cela permettra au client et aux lecteurs des rapports de juger de l'importance des résultats et en conséquence d'en tirer leurs propres conclusions.

Le rapport de l'étude préparatoire facilite le choix du mandat pour l'évaluation ultérieure; par conséquent, il devrait au moins contenir tous les éléments énumérés au tableau 5.1. Il peut aussi contenir le mandat relatif à l'évaluation ultérieure. Sinon, le mandat devrait être présenté séparément au client pour qu'il l'approuve. De même, les rapports des études d'évaluation devraient contenir tous les éléments énumérés au tableau 5.2.

Exactitude

Les rapports des études préparatoires et d'évaluation ne devraient idéalement contenir aucune erreur de faits ni de logique. Afin d'assurer l'exactitude du rapport final, il faudrait établir des contrôles administratifs. Ces contrôles comprennent la vérification du rapport par le directeur de l'évaluation de programme afin de déterminer si les données recueillies appuient les résultats de l'étude et la discussion de ces résultats avec les gestionnaires responsables du programme avant que le rapport ne soit publié.

Objectivité

La présentation de tous les résultats pertinents des études préparatoires et des études d'évaluation devrait être équilibrée. Afin d'assurer l'objectivité des rapports, les évaluateurs devraient:

  1. transmettre les résultats tels qu'ils sont -- un évaluateur n'est pas autorisé à ne présenter que les résultats qui confirment ses attentes (ou celles du client) ni à omettre de faire rapport des résultats divergents, (par exemple ceux qui proviennent d'autres études);
  2. mentionner explicitement l'influence de toute hypothèse relativement à l'information ou à la logique sur les résultats de l'étude;
  3. apporter suffisamment de précisions et de mises en garde sur les résultats de l'étude pour que les lecteurs ne tirent pas de conclusions injustifiées -- par exemple, lors d'une évaluation, pour chaque constatation découlant d'une analyse statistique comparative, la méthode statistique et l'importance statistique et pratique des résultats devraient être signalées; et
  4. accorder la même attention à tous les points d'égale importance.

Documentation adéquate

Il est nécessaire de conserver une documentation suffisante afin de pouvoir analyser de nouveau les données recueillies. Pour être accessible, l'information portant sur l'étude d'évaluation de même que l'information sur les activités du programme et sur ses résultats devrait être bien étiquetée et classée.

Clarté et concision

L'information présentée dans les rapports d'étude préparatoire ou d'évaluation devrait être présentée en termes les plus simples possible. Il n'y a pas lieu d'utiliser des termes très techniques si l'on peut faire autrement. S'il est impossible d'éviter ces termes, il faudrait annexer un glossaire au texte. De plus, il est conseillé d'utiliser des histogrammes à entrées clairement indiquées et d'autres formes de graphiques. Non seulement ces techniques permettent de comprendre facilement les données, mais elles encouragent aussi les lecteurs à effectuer leur propre analyse exploratoire.

En outre, les rapports ne devraient pas être chargés de détails qui fatiguent le lecteur. Les analyses et ,renseignements détaillés devraient être présentés sous forme d'appendices techniques; un sommaire à l'intention de la direction devrait également accompagner le rapport.

Délais raisonnables

Les résultats et les recommandations d'une étude préparatoire ou d'une étude d'évaluation devraient être transmis au sous-chef rapidement afin qu'il puisse s'en inspirer pour prendre ses décisions. Il n'est jamais conseillé non plus de tarder à remplacer un rapport provisoire par un rapport définitif sur l'étude d'évaluation et sur ses résultats; celui-ci devrait être présenté aussitôt que possible après la fin de l'étude d'évaluation (par exemple trois mois après).

5.3 Séance de compte rendu

Les constatations et les recommandations découlant d'une évaluation devraient faire l'objet de longues discussions avec les principaux utilisateurs de l'étude, notamment avec les gestionnaires axiaux qui ont participé à la réalisation de l'étude, avant que le rapport ne soit publié. On devrait obtenir leurs observations et, le cas échéant, les intégrer au rapport.

Cette pratique permet à l'évaluateur de vérifier les faits contenus dans le rapport et de considérer les constatations et les recommandations du point de vue de l'utilisateur. L'évaluateur devrait être bien prêt à défendre le rapport d'évaluation. Toutefois, lorsqu'il est impossible de s'entendre sur certains points, il faudrait les mentionner dans le rapport.

5.4 Distribution des rapports

Les rapports des études préparatoires et d'évaluation devraient être soumis au client afin qu'il puisse tenir compte de leurs constatations dans ses décisions. Les rapports devraient aussi être distribués aux ges­tionnaires responsables des activités du programme, à d'autres agents qui pourraient être responsables des mesures à prendre si les recomman­dations de ces études étaient approuvées et aux comités chargés de l'évaluation de programme.

Tableau 5.1

PLAN PROPOSÉ POUR LES RAPPORTS DES ETUDES
PRÉPARATOIRES A L'E VALUATION

  1. Un sommaire a l'intention de la direction qui comprend:
    • les objectifs de l'étude et l'approche utilisée pour sa réalisation;
    • les constatations clés de l'étude; et
    • les options d'évaluation.
  2. Une introduction qui précise:
    • les questions traitées dans l'étude préparatoire; et
    • l'approche utilisée pour réaliser l'étude et les contraintes principales, le cas échéant, avec lesquelles l'étude prépara­toire a dû composer.
  3. Un profil à jour de la composante de programme (voir tableau 2.1) qui indique:
    • l'historique de la composante de programme; et
    • la structure ou les structures de la composante de programme si les opinions varient au sujet de la nature du programme.
  4. Un résumé des analyses réalisées qui comprend:
    • de l'information sur la correspondance entre le fonctionnement du programme et le plan établi;
    • une évaluation de la mesure dans laquelle les activités du programme sont vraisemblablement liées à la réalisation des résultats escomptés et les raisons sous-jacentes à cette évaluation;
    • un résumé des principales approches utilisées dans les évaluations antérieures du programme ou celles de pro­grammes analogues;
    • une présentation des questions précises à envisager lors de l'étude d'évaluation ultérieure et l'origine de ces ques­tions; et
    • une indication des approches d'évaluation qui pourraient être utilisées pour répondre à chaque question.
  5. Une présentation des options d'évaluation o'u l'on indique pour chaque option:
    • une série de questions précises auxquelles on pourrait répondre au cours de l'étude d'évaluation ultérieure;
    • les approches d'évaluation connexes qui pourraient être utilisées et les raisons qui justifient ce choix, y compris la détermination des indicateurs et de la méthodologie de l'évaluation;
    • le degré de certitude avec laquelle il sera possible de répondre à chaque question; et
    • - le temps et les ressources qu'exige cette option particulière.

Tableau 5.2

PLAN PROPOSÉ POUR LES RAPPORTS D'ÉVALUATION

  1. Un sommaire à l'intention de la direction qui contient:
    • les questions précises envisagées au cours de l'étude d'évaluation;
    • les approches utilisées pour y répondre; et
    • les constatations clés.
  2. Une introduction qui précise:
    • un profil à jour de la composante de programme (voir tableau 2.1);
    • l'autorisation d'évaluer le programme et les questions précises envisagées; et
    • un énoncé des principales hypothèses sur lesquelles les résultats de l'étude d'évaluation sont fondés et une liste des principales contraintes, le cas échéant, avec lesquelles l'évaluation a dû composer.
  3. Une présentation des méthodes d'évaluation utilisées -- mention, description et, le cas échéant, justification des points suivants:
    • les indicateurs utilisés pour évaluer l'efficacité du programme; et
    • les méthodologies d'évaluation utilisées pour recueillir les données nécessaires et pouvoir ainsi évaluer l'efficacité du programme.
  4. Un sommaire des analyses effectuées dans lequel on présente et définit les éléments suivants:
    • les procédures mises en oeuvre pour déterminer la fiabilité des méthodes de collecte de l'information, l'exactitude des données recueillies et la convenance des échantillons, s'il y a lieu; et
    • les procédures utilisées pour analyser les données et la logique qui les sous-tend.
  5. Une présentation des constatations de l'évaluation qui comprend:
    • un résumé des preuves et des renseignements pertinents recueillis au cours de l'étude d'évaluation;
    • les conclusions de l'étude d'évaluation par rapport à chacune des questions envisagées, avec les mises en garde nécessaires pour interpréter les conclusions; et
    • un énoncé soulignant la mesure dans laquelle les résultats de l'étude d'évaluation sont dignes de crédibilité.
  6. Des appendices techniques qui comprennent une documentation détaillée sur les données et l'analyse.

[1] Pour une explication détaillée du concept de composante de programme, lire le Guide sur la fonction de l'évaluation de programme, publié par le Bureau du Contrôleur général du Canada, Ottawa, 1981.

[2] Les constatations comprennent un sommaire des preuves et de l'information rassemblées au cours de l'étude et les conclusions qui en découlent. Les conclusions sont nommément, les réponses aux questions énoncées dans le mandat relatif à l'étude de même que les mises en garde qu'il convient de faire à leur sujet.

Date de modification :