Méthodes d'évaluation des programmes

• Page précédente
• Table des matières
• Texte complet
• Page suivante

Chapitre 4 - MÉTHODES DE COLLECTE DES DONNÉES

4.1 Introduction

Sans données pertinentes, il est impossible d'établir des rapports entre un programme et ses résultats. En outre, les méthodes de collecte doivent être choisies en fonction de la nature des données nécessaires et des sources accessibles. La nature des données dépendra elle-même de la méthode d'évaluation adoptée, des indicateurs utilisés pour obtenir les résultats des programmes et du type d'analyse à faire.

Il existe plusieurs façons de classer des données. Par exemple, on fait souvent une distinction entre les données quantitatives et les données qualitatives. Les données quantitatives sont des observations numériques, alors que les données qualitatives sont des observations correspondant à des catégories (p. ex., pour la couleur, rouge ou bleu, ou pour le sexe des participants, homme ou femme).

On fait aussi une distinction entre les données subjectives et les données objectives. Les données subjectives sont indissociables des sentiments, des attitudes et des perceptions personnelles, tandis que les données objectives sont fondées sur des faits observables qui - en théorie du moins - ne font pas appel au jugement personnel. Cela dit, les données subjectives et objectives peuvent toutes être mesurées d'une façon quantitative ou qualitative.

Il est possible aussi de faire une autre distinction, entre les données longitudinales et les données transversales. Les données longitudinales sont recueillies sur une certaine période, tandis que les données transversales le sont simultanément auprès de différentes entités, telles que des provinces ou des écoles.

Enfin, les données peuvent être classées en fonction de leur source : les données primaires sont recueillies par l'évaluateur à la source même; les données secondaires, elles, sont recueillies et consignées par une autre personne ou une autre organisation, parfois à des fins différentes de celles de l'évaluation.

Dans ce chapitre, nous avons examiné six méthodes de collecte des données utilisées pour l'évaluation d'un programme : le dépouillement de la documentation spécialisée, l'étude de dossiers, les observations directes (sur le terrain), les enquêtes, la consultation de spécialistes et les études de cas. Les deux premières méthodes servent à recueillir des données secondaires, alors que les quatre dernières sont employées pour réunir des données primaires. Quoi qu'il en soit, chacune des six peut être utilisée pour recueillir des données quantitatives et qualitatives. En outre, chacune pourrait être utilisée avec chacun des modèles exposés au chapitre précédent. Cependant, certaines méthodes de collecte de données se prêtent mieux à des modèles donnés.

Il convient de souligner que, même si les méthodes de collecte de données examinées dans ce chapitre sont surtout considérées comme des éléments d'une stratégie de recherche, la collecte de données elle-même est aussi extrêmement utile pour d'autres aspects d'une évaluation. D'ailleurs, plusieurs techniques de collecte sont d'excellents instruments pour alimenter la réflexion initiale sur les stratégies d'évaluation elles-mêmes et pour faciliter d'autres aspects exploratoires des études d'évaluation. Une enquête pourrait, par exemple, aider à cerner les questions connexes à l'évaluation. Une étude des dossiers peut aider à préciser les sources de données disponibles ou celles les plus facilement accessibles.

Références : Méthodes de collecte des données

Cook, T.D. et C.S. Reichardt, Qualitative and Quantitative Methods in Evaluation Research, Thousand Oaks : Sage Publications, 1979.

Delbecq, A.L., et al., Group Techniques for Program Planning: A Guide to Nominal Group and Delphi Processes, Glenview : Scott, Foresman, 1975.

Dexter, L.A., Elite and Specialized Interviewing, Evanston (Illinois) : Northwestern University Press, 1970.

Gauthier, B., éd., Recherche sociale : de la problématique à la collecte des données, Montréal : Les Presses de l'Université du Québec, 1984.

Kidder, L.H. et M. Fine, «Qualitative and Quantitative Methods: When Stories Converge», in Multiple Methods in Program Evaluation, Vol. 35 de New Directions in Program Evaluation, San Francisco : Jossey-Bass, 1987.

Levine, M., «Investigative Reporting as a Research Method: An Analysis of Bernstein and Woodward's All The President's Men», American Psychologist, Vol. 35, 1980, p. 626 à 638.

Miles, M.B. et A.M. Huberman, Qualitative Data Analysis: A Sourcebook and New Methods, Thousand Oaks : Sage Publications, 1984.

Patton, M.Q., Qualitative Evaluation Methods, Thousand Oaks : Sage Publications, 1980.

Martin, Michael O. et V.S. Mullis, éd., Quality Assurance in Data Collection, Chestnut Hill : Center for the Study of Testing, Evaluation, and Educational Policy, Boston College, 1996.

Stouthamer-Loeber, Magda et Bok van Kammen, Welmoet, Data Collection and Management: A Practical Guide, Thousand Oaks : Sage Publications, 1995.

Webb, E.J., et al., Nonreactive Measures in the Social Sciences (2^e Ã©dition), Boston : Houghton Mifflin, 1981.

Weisberg, Herbert F., Krosmick, Jon A. et Bruce D. Bowen, éd., An Introduction to Survey Research, Polling, and Data Analysis, Thousand Oaks : Sage Publications, 1996.

4.2 Dépouillement de la documentation spécialisée

L'évaluateur dépouille la documentation pour prendre connaissance des travaux effectués dans le domaine à l'étude et donc pour profiter des expériences, des constatations et des erreurs de prédécesseurs ayant fait des recherches analogues ou connexes aux siennes. C'est un exercice qui peut lui fournir des indications d'une valeur inestimable sur le secteur de programme visé, et c'est pourquoi il doit toujours se faire dès le début de l'étude d'évaluation.

Le dépouillement porte sur deux types d'ouvrages et de documents, d'abord les documents officiels, les rapports de recherche généraux, les articles publiés et les livres portant sur le secteur du programme, qui permettent à l'évaluateur de se familiariser avec les théories et les concepts relatifs au programme et de s'informer des généralisations susceptibles de s'appliquer aux questions qui l'intéressent. Il peut aussi y trouver d'autres points d'évaluation et des méthodes auxquelles il n'avait pas pensé, ce qui peut l'aider à réaliser une évaluation plus efficace. Par exemple, des recherches antérieures sur les programmes d'aide à un secteur d'activité industrielle donné peuvent laisser entendre que l'efficacité des interventions varie énormément selon la taille des entreprises, ce qui signifie que toute méthode d'échantillonnage utilisée pour l'évaluation doit assurer une représentation suffisante d'entreprises de toutes les tailles (grâce à un échantillonnage aléatoire par blocs) afin que les résultats de l'évaluation puissent être généralisés.

L'évaluateur passe ensuite en revue les études spéciales (y compris les évaluations antérieures) sur le secteur qui l'intéresse. Dans ce contexte, il peut aller jusqu'à compiler et résumer les constatations de ces études et se servir de ces renseignements comme d'intrants pour diverses composantes de son évaluation. Ainsi, l'évaluateur chargé d'étudier un programme d'aide à un secteur d'activité industrielle donné pourrait trouver dans des rapports d'études antérieures des données sur l'emploi dans les régions où l'importance de l'aide reçue a varié énormément. Il peut alors avoir recours à un modèle quasi expérimental pour intégrer ces renseignements à l'évaluation, les régions ayant reçu beaucoup d'aide constituant un groupe et celles qui en ont reçu moins servant de groupe témoin.

Avantages et inconvénients

Le dépouillement de la documentation spécialisée dès le début de l'évaluation peut permettre à l'évaluateur de gagner du temps, d'économiser de l'argent et de ménager ses efforts. En effet, un dépouillement minutieux a généralement plusieurs avantages.

• Les recherches antérieures peuvent laisser entrevoir des hypothèses à vérifier ou des questions à examiner dans le cadre de l'étude.

Par exemple, au chapitre 3, nous avons insisté sur l'importance d'identifier le plus tôt possible les explications concurrentes d'un résultat observé, autres que celles de l'intervention du programme. L'analyse des recherches antérieures peut révéler certaines possibilités d'explications concurrentes (autrement dit des obstacles à la validité). En pareil cas, il faudrait opter pour une stratégie d'évaluation permettant d'isoler l'effet du programme de ces autres explications.

• Le dépouillement de la documentation peut mettre en lumière des difficultés méthodologiques particulières et indiquer à l'évaluateur des techniques et des moyens de les contourner.

• Dans certains cas, les recherches antérieures fournissent directement des réponses aux questions d'évaluation, ce qui permet d'éviter un travail de collecte de données inutile.

• On peut aussi trouver des sources de données secondaires utilisables dans les études antérieures, ce qui réduit le besoin de recueillir des données primaires.

Même lorsque les données secondaires ne répondent pas directement aux questions posées dans l'évaluation, elles pourraient être utilisées de pair avec les données primaires, comme intrants dans la stratégie d'évaluation ou encore comme données de référence, pour vérifier la validité.

Le dépouillement de la documentation spécialisée est un moyen relativement économique et efficace de recueillir des données pertinentes, et il est souvent rentable. Il doit toujours se faire au cours de l'étude préparatoire à l'évaluation. C'estaussi un exercice très utile pour trouver de nouvelles hypothèses et cerner d'éventuelles difficultés méthodologiques, ainsi que pour tirer et étayer des conclusions. Les renseignements qu'on y glane peuvent servir d'intrants pour d'autres techniques de collecte des données.

Les inconvénients des données obtenues en dépouillant la documentation sont inhérents à la nature même de la plupart des données secondaires, qui ont été produites pour une autre fin que celle de l'évaluation à réaliser.

• Il est possible que les données et l'information recueillies grâce au dépouillement de la documentation ne soient pas suffisamment pertinentes ou compatibles avec l'objet de l'évaluation pour pouvoir être utilisées dans l'étude.

Les données secondaires sont dites pertinentes dans la mesure où elles correspondent à l'objet de l'évaluation, ce qui signifie qu'elles doivent être compatibles avec ses exigences. Par exemple, des données secondaires à l'échelle nationale ne seraient guère utiles pour une évaluation fondée sur des données par province. En outre, les échelles de mesure doivent être compatibles, elles aussi. Quand l'évaluateur a besoin de données sur les enfants de 8 à 12 ans, des données secondaires sur les 5 à 9 ans ou les 10 à 14 ans ne lui servent pas à grand-chose. Enfin, comme le facteur temps influe largement sur la pertinence des données, les données secondaires sont bien souvent tout simplement trop vieilles pour être utilisables. (N'oublions pas qu'il s'écoule ordinairement de un à trois ans entre la collecte des données et la publication.)

• Il est souvent difficile de déterminer l'exactitude des données secondaires.

En fait, c'est vraiment l'aspect névralgique des données secondaires. L'évaluateur n'a bien sûr rien eu à dire sur la méthode utilisée pour les recueillir, mais il doit quand même en évaluer la validité et la fiabilité. C'est pour cette raison qu'il lui est fortement recommandé de se fonder chaque fois qu'il le peut sur la source initiale des données secondaires, c'est-à-dire le rapport initial, étant donné que ce document est généralement plus complet qu'un deuxième ou un troisième document faisant appel aux données en question et qu'il contient souvent des avertissements, des restrictions et des détails d'ordre méthodologique qui ne sont pas signalés dans les documents qui le citent.

Bref, le dépouillement exhaustif de la documentation spécialisée est un moyen rapide et relativement peu coûteux d'obtenir de l'information conceptuelle et empirique sur le contexte d'une évaluation. Il s'ensuit que l'évaluateur devrait s'y astreindre dès le début de son étude. Néanmoins, il devrait évaluer soigneusement la pertinence et l'exactitude des données qui s'y trouvent, dans toute la mesure du possible. Enfin, il devrait se méfier, en s'efforçant de ne pas accorder trop d'importance à des données secondaires quand il a très peu d'information sur les méthodes utilisées pour les recueillir.

Références : Dépouillement de la documentation spécialisée

Goode, W.J. et Paul K. Hutt, Methods in Social Research, New York : McGraw-Hill, 1952, chapitre 9.

Katz, W.A., Introduction to Reference Work: Reference Services and Reference Processes,Volume II, New York : McGraw-Hill, 1982, chapitre 4.

4.3 Étude de dossiers

Tout comme le dépouillement de la documentation spécialisée, l'étude de dossiers est une méthode de collecte des données conçue afin de faciliter l'obtention de données utilisables dans l'évaluation. C'est toutefois une démarche qui se prête mieux que la première à une familiarisation avec le programme faisant l'objet de l'évaluation. Les données déjà recueillies sur lui - et sur ses résultats - peuvent réduire les besoins de collecte de nouvelles données, sensiblement comme on l'a vu pour le dépouillement de la documentation.

Il existe habituellement deux types de dossiers, les dossiers généraux portant sur un programme et les dossiers relatifs à des projets, des clients ou des participants donnés. Le type de dossier que les gestionnaires de programmes conservent dépend du programme lui-même. Par exemple, dans le cas d'un programme d'aide financière à des projets d'économie d'énergie, on pourrait avoir des dossiers sur chaque projet, chaque client (auteur du projet) et chaque participant (collaborateur au projet). Par contre, dans un programme de formation destiné à des spécialistes en soins de santé dans les collectivités du Nord, on pourrait ne conserver des dossiers que sur les spécialistes qui ont participé aux séances de formation. Dans la pratique, il y a un type d'examen pour chacun de ces types de dossiers : un examen général portant sur les dossiers d'un programme et un examen plus systématique des dossiers relatifs à chaque projet, chaque client ou chaque participant.

Les études de dossiers peuvent porter sur les types suivants de documents relatifs aux programmes :

• documents du Cabinet, documents relatifs à la négociation et à la mise en oeuvre d'un protocole d'entente avec le Conseil du Trésor, présentations au Conseil du Trésor, plans d'activités ou rapports sur le rendement d'un ministère, rapports du vérificateur général et procès-verbaux des réunions du comité exécutif d'un ministère;
• dossiers administratifs, portant notamment sur la taille du programme ou du projet, sur le type de participants et sur leur expérience, sur l'expérience postérieure au projet, sur les coûts du programme ou du projet et sur les mesures des caractéristiques des participants avant et après la mise en oeuvre du programme;
• dossiers sur les participants, comprenant notamment des données socio-économiques (âge, sexe, région, revenu, profession, etc.), des dates critiques (admission au programme), des données de suivi et la description des événements importants (changements d'emploi, déménagements, etc.);
• dossiers sur les projets et les programmes, portant notamment sur les événements critiques (lancement des projets et rencontres avec les cadres supérieurs, par exemple), le personnel des projets (roulement du personnel, etc.) et les événements ainsi que les modifications qui ont marqué la mise en oeuvre des projets;
• dossiers financiers.

Les données figurant dans les dossiers peuvent être conservées dans le système informatisé de gestion de l'information du programme, ou encore sur papier. Elles peuvent avoir été recueillies expressément pour fins d'évaluation, s'il y a eu une entente préalable au sujet d'un cadre d'évaluation.

Avantages et inconvénients

Les études de dossiers peuvent être utiles à trois titres au moins.

• 1. L'étude des dossiers généraux du programme peut fournir des données contextuelles et des renseignements d'une valeur inestimable sur le programme et sur son milieu permettant de bien situer les résultats du programme dans leur contexte.

Ce genre d'étude peut générer des renseignements contextuels fondamentaux sur le programme (mandat, historique, politiques, style de gestion et contrainte, par exemple) grâce auxquels l'évaluateur peut se familiariser avec lui. En outre, elle peut produire des renseignements clés pour les spécialistes de l'extérieur dans le secteur d'un programme (voir la section 4.6) et générer des intrants pour une éventuelle analyse qualitative (voir la section 5.4).

• 2. L'étude des dossiers de personnes ou de projets peut fournir des indicateurs sur les résultats du programme.

Par exemple, dans une étude portant sur un programme d'aide internationale, un examen des dossiers de projets pourrait fournir des mesures des résultats telles que le rapport produit-capita, valeur ajoutée-unité de capital, productivité du capital employé, intensité de capital, emploi-unité de capital, valeur ajoutée-unité d'intrant total et diverses autres fonctions de production. Si ces mesures ne permettent pas d'évaluer directement l'efficacité du programme, elles constituent néanmoins des indicateurs susceptibles de servir d'intrants pour l'évaluation. Enfin, les données ainsi obtenues peuvent se révéler suffisantes pour qu'on puisse procéder à une analyse coûts-avantages ou coût-efficacité (voir la section 5.6).

• 3. L'étude de dossiers peut fournir un cadre et une base utiles pour la collecte d'autres données.

L'étude de dossiers peut notamment permettre de déterminer la population (base d'échantillonnage) de laquelle l'échantillon d'enquête doit être tiré. Les renseignements contextuels tirés des dossiers peuvent servir à créer l'échantillon le plus puissant possible et à préparer l'enquêteur à réaliser ses entrevues. On rebute toujours les gens en leur demandant des renseignements qui se trouvent déjà dans les dossiers, et c'est pourquoi il faudrait recueillir toute l'information qui s'y trouve avant de commencer l'enquête.

L'étude de dossiers a des avantages certains du fait même qu'elle est éminemment faisable.

• L'étude de dossiers peut être relativement peu coûteuse.

En fait, ce genre d'étude a fort peu de retombées gênantes pour les personnes et les groupes qui ne sont pas visés par l'administration du programme. Tout comme le dépouillement de la documentation spécialisée, l'étude de dossiers est pour l'évaluateur un moyen aussi fondamental que naturel de se familiariser avec le programme. En outre, c'est une excellente façon de lui permettre d'éviter une collecte coûteuse de nouvelles données lorsqu'il existe déjà des données pertinentes.

Toutefois, l'étude de dossiers présente aussi certains inconvénients.

• Les dossiers relatifs aux programmes sont souvent incomplets, ou inutilisables pour d'autres raisons.

Plus souvent qu'autrement, on n'accorde qu'une importance secondaire au système de classement central, qui ne renferme alors que de courtes notes de service des comités, des comptes rendus des décisions finales, ainsi de suite. En rétrospective, ces dossiers ne brossent qu'un tableau incomplet.

Dans sa recherche des documents qui ont inspiré une politique, un programme ou un projet, l'évaluateur peut constater que l'information figure dans des dossiers détenus par différentes personnes plutôt que dans un dépôt central des dossiers du programme. Cela peut causer plusieurs difficultés. Par exemple, l'expérience semble laisser entendre que, lorsque le projet progresse au-delà de l'exécution du mandat du groupe de travail, les participants ferment leurs dossiers plutôt que de les tenir à jour. De même, lorsque quelqu'un cesse de participer à un groupe de travail, ses dossiers sont souvent perdus, et, comme le rôle des participants change rapidement dans les premières étapes d'un programme, il devient très difficile d'en trouver un qui soit exhaustif.

• L'étude de dossiers fournit rarement des renseignements sur les groupes témoins, sauf dans des circonstances exceptionnelles, par exemple lorsqu'il existe des dossiers sur les candidats au programme qui ont été refusés.

Pour évaluer efficacement les répercussions du programme, l'évaluateur doit avoir accès à un groupe témoin quelconque. Dans le contexte de l'étude de dossiers, cela suppose qu'il doit obtenir des renseignements sur les participants avant qu'ils ne bénéficient du programme, ou encore des renseignements sur les non-participants. Malheureusement, ces renseignements existent rarement, sauf si un cadre d'évaluation a été approuvé et mis en oeuvre au préalable. Faute de données de ce genre, l'évaluateur peut se voir contraint de recueillir de nouvelles données qui risquent de ne pas être comparables avec celles des dossiers originaux.

Il reste toutefois que l'étude de dossiers peut fournir des renseignements sur des groupes témoins lorsque les niveaux du programme varient; c'est utile lorsqu'on applique un modèle dont les mesures sont prises après le programme seulement avec traitement différent. L'examen des dossiers peut aussi fournir à l'évaluateur l'information de base dont il a besoin pour définir et choisir un groupe témoin.

En dépit des limites de cette méthode, il faudrait faire une étude de dossiers à l'étape de l'étude préparatoire à l'évaluation afin de déterminer le type de données disponibles et leur pertinence pour les questions à évaluer. Cette démarche génère aussi les renseignements nécessaires à l'examen de questions d'évaluation particulières (par exemple des renseignements contextuels et des indicateurs éventuels des résultats du programme).

Références : Analyse des données secondaires

Boruch, R.F., et al., Reanalyzing Program Evaluations - Policies and Practices for Secondary Analysis for Social and Education Programs, San Francisco : Jossey-Bass, 1981.

Weisler, Carl E., U.S. General Accounting Office, Review Topics in Evaluation: What Do You Mean by Secondary Analysis?

4.4 Observations directes

Le vieux proverbe «Voir, c'est croire» tient toujours, et l'observation directe apporte généralement des preuves plus convaincantes que les sources secondaires. Aller sur le terrain obtenir des renseignements de première main sur le sujet de l'évaluation est un moyen très efficace de recueillir de l'information et des données. La consignation des résultats de ces observations en photos ou sur vidéo peut aussi être très utile, et les documents ainsi obtenus peuvent avoir un impact considérable sur le lecteur des rapports d'évaluation.

L'observation comporte la sélection, l'observation et la consignation des objets, des événements ou des activités qui jouent un rôle important dans l'administration du programme à évaluer. Les conditions observées peuvent ensuite être comparées à des critères préétablis, et les différences par rapport à ces critères peuvent être analysées pour en déterminer l'importance.

Dans certains cas, l'observation directe est un instrument essentiel pour comprendre le fonctionnement d'un programme. Par exemple, une équipe faisant l'évaluation du dédouanement dans les aéroports pourrait observer de longues files d'attente chaque fois que deux 747 atterriraient à la même heure. L'achalandage qui en résulterait réduirait à la fois l'efficacité de l'inspection et la qualité du service aux voyageurs. Prenons un autre exemple, celui d'un cas où des produits chimiques dangereux auraient été entreposés au mépris des règles de sécurité : il en aurait résulté des conditions de travail dangereuses pour le personnel et une violation de la réglementation en matière de santé et de sécurité au travail. Or, aucune de ces constatations n'aurait été remarquée par l'évaluateur s'il s'était contenté d'étudier des documents écrits.

Les données obtenues grâce à l'observation directe servent à décrire le contexte d'un programme, les activités qui s'y déroulent, les personnes qui y ont participé et la signification de ces activités pour elles. C'est une méthode qui a été largement utilisée par les spécialistes du comportement comme les anthropologues et les psychosociologues. Elle permet à l'évaluateur d'obtenir d'une façon holistique des données sur un programme et sur ses répercussions.

L'observation directe nécessite des visites aux endroits où le programme est exécuté afin de voir ce qui se passe et de prendre des notes. Les participants et le personnel peuvent savoir qu'on les observe ou l'ignorer.

Les rapports d'observation devraient être rédigés immédiatement après la visite sur place, avec suffisamment de détails descriptifs pour que le lecteur puisse comprendre ce qui s'est produit, et de quelle façon. Les descriptions doivent être factuelles, précises et complètes, mais sans détails superflus. Les données de ce genre sont utiles pour l'évaluation, parce que l'évaluateur et les utilisateurs peuvent comprendre les activités et les effets d'un programme grâce à une information descriptive détaillée sur ce qui s'est produit et sur la réaction des personnes intéressées.

Avantages et inconvénients

• L'observation ne fournit que des renseignements anecdotiques, à moins d'être combinée avec un programme planifié de collecte de données. En effet, un événement aléatoire ne peut servir de base de généralisation. Certains éléments d'observation directe peuvent être justifiés dans presque toutes les évaluations, mais la planification et la conduite des activités de collecte de données représentatives sur le terrain peut entraîner des coûts élevés.

L'information permet à l'évaluateur de mieux comprendre un programme, particulièrement si celui-ci met en jeu une technique ou un processus complexe ou perfectionné. Grâce à l'observation personnelle directe, l'évaluateur est en mesure de se faire une idée complète du fonctionnement du programme. En outre, c'est une approche qui lui permet d'aller au-delà des perceptions sélectives d'autres personnes qu'il obtient grâce à des entrevues, par exemple. S'il est lui-même un observateur sur le terrain, l'évaluateur aura ses propres perceptions sélectives, mais pourra quand même présenter une vue plus complète du programme en intégrant ses propres perceptions aux données dont il dispose.

• L'observation directe permet à l'évaluateur de saisir des détails qui risquent d'échapper aux membres du personnel ou de constater des éléments qu'ils hésitent à soulever au cours d'une entrevue.

La plupart des organisations ont des activités répétitives que les participants considèrent comme tout à fait normales. Par conséquent, des particularités importantes peuvent leur échapper totalement, alors qu'elles sont facilement perçues par des non-participants. C'est pour cette raison qu'un étranger - en l'occurrence l'évaluateur - peut souvent avoir un point de vue «nouveau», et c'est pourquoi le contact direct avec la situation permet à l'évaluateur d'obtenir une information qu'il ne pourrait pas recueillir autrement.

• La fiabilité et la validité des observations sont fonction de la compétence de l'observateur et de sa sensibilisation à ses biais.

L'observation directe ne peut jamais être répétée, puisque deux personnes qui observent les mêmes activités peuvent aboutir à des observations différentes. Il s'ensuit que la validité interne et la validité externe des données obtenues grâce aux observations directes sont limitées.

• Le personnel du programme peut avoir un comportement très différent de la normale lorsqu'il sait qu'un évaluateur l'observe.

L'évaluateur doit être conscient de ce phénomène, en sachant que la personne, les participants ou les deux peuvent changer nettement de comportement lorsqu'ils se savent observés. Il doit prendre les mesures nécessaires pour éviter cet écueil, ou du moins pour tenir compte de son influence.

Références : Observations directes

Canada, Bureau du Vérificateur général du Canada, Bulletin 84-7, Photographies et autres aides visuelles. (Ce bulletin porte sur l'utilisation ultime des photographies dans le Rapport annuel, mais il contient aussi des explications des caractéristiques qui rendent une photographie efficace comme élément de preuve.)

Guba, E.G.,«Naturalistic Evaluation», in Cordray, D.S., et al., éd., Evaluation Practice in Review, Vol. 34 de New Directions in Program Evaluation, San Francisco : Jossey-Bass, 1987.

Guba, E.G. et Y.S. Lincoln, Effective Evaluation: Improving the Usefulness of Evaluation Results through Responsive and Naturalistic Approaches, San Francisco : Jossey-Bass, 1981.

Patton, M.Q., Qualitative Evaluation Methods, Thousand Oaks : Sage Publications, 1980.

Pearsol, J.A., éd., «Justifying Conclusions in Naturalistic Evaluations», Evaluation and Program Planning, Vol. 10, N^o 4, 1987, p. 307 à 358.

V. Van Maasen, J., éd., Qualitative Methodology, Thousand Oaks : Sage Publications, 1983.

Webb, E.J., et al., Nonreactive Measures in the Social Sciences (2^e Ã©dition), Boston : Houghton Mifflin, 1981.

Williams, D.D., éd., Naturalistic Evaluation, Vol. 30 de New Directions in Program Evaluation, San Francisco : Jossey-Bass, 1986.

4.5 Enquêtes

Dans le contexte d'une évaluation, les enquêtes sont des moyens systématiques de collecte de données primaires - quantitatives, qualitatives ou les deux - sur un programme et sur ses résultats auprès de personnes ou d'autres sources (comme des dossiers) qui y sont associés. On entend par «enquête» une démarche structurée conçue pour obtenir les données nécessaires d'un échantillon de la population visée (ou de toute cette population). La population visée est composée des personnes dont il faut obtenir des données et de l'information. Bien exécutée, l'enquête est un moyen précis et efficace pour déterminer les caractéristiques (physiques et psychologiques) d'à peu près n'importe quelle population étudiée.

On utilise souvent des enquêtes dans les évaluations, en raison de leur polyvalence. En fait, on peut s'en servir pour recueillir des données sur virtuellement n'importe quoi. Néanmoins, elles servent essentiellement à fournir des intrants pour une autre technique d'analyse, car elles ne sont pas des stratégies d'évaluation comme telles, mais simplement des méthodes de collecte de données.

La conception d'une enquête en vue d'une évaluation exige de la minutie et de la compétence. Il existe de nombreux guides sur la façon d'élaborer une enquête; certains sont mentionnés à la fin du présent chapitre. L'annexe I est une description et une analyse des éléments de base des enquêtes. Dans les pages qui suivent, nous décrivons succinctement la façon de mener une enquête dans le contexte d'une évaluation.

L'évaluateur devrait franchir les trois étapes suivantes avant de procéder à une enquête. Il lui faut d'abord déterminer l'information nécessaire à l'évaluation, puis mettre au point l'instrument propre à recueillir cette information et enfin le mettre à l'essai. Ces trois étapes s'appliquent à toutes les techniques de collecte des données. Nous les expliquons ici dans le contexte des enquêtes, parce qu'elles sont très courantes dans les évaluations.

a) Déterminer l'information nécessaire à l'évaluation

La première étape - qui est aussi la plus fondamentale - consiste à déterminer aussi précisément que possible l'information nécessaire à l'examen d'une question d'évaluation donnée.

Premièrement, l'évaluateur doit bien comprendre la question à l'étude, afin de déterminer quelle sorte de données ou d'information lui donnera des indications utiles. Il doit aussi se demander quoi faire de l'information une fois qu'il l'aura recueillie. Quels genres de tableaux produira-t-il? Quelles sortes de conclusions souhaite-t-il tirer? Si le travail n'est pas fait avec soin à cette étape, l'évaluateur risque soit de recueillir trop d'information, soit de finir par constater que des éléments clés lui font défaut.

Deuxièmement, l'évaluateur doit s'assurer que les données dont il a besoin sont introuvables ailleurs ou ne peuvent pas être recueillies de façon plus efficiente et plus pertinente avec d'autres méthodes de collecte de données. Dans n'importe quel secteur de programme, il se peut qu'on ait déjà effectué des enquêtes ou qu'il y ait des enquêtes en cours. L'évaluateur doit donc absolument dépouiller la documentation pour déterminer si les données dont il a besoin n'existent pas déjà ailleurs.

Enfin, l'évaluateur doit tenir compte des impératifs d'économie et d'efficience. En effet, il est toujours tentant de recueillir des renseignements qu'il serait bon d'avoir, mais qui ne sont pas indispensables. L'évaluateur devrait savoir que le coût de l'enquête est largement fonction de son envergure et de sa nature, et que la collecte de données «supplémentaires» fait inévitablement augmenter les coûts.

b) Mettre au point l'instrument de collecte de l'information

L'annexe 1, intitulée «Enquêtes» porte notamment sur la préparation de l'enquête même. Dans ce contexte, il s'agit de déterminer l'échantillon à utiliser, de choisir la méthode d'enquête la mieux appropriée et de concevoir le questionnaire. Ces étapes, plutôt itératives que successives, sont déterminées par les besoins d'information à mesure qu'on les constate.

c) Mettre l'instrument d'enquête à l'essai

Au moment de leur utilisation sur le terrain, on constate souvent de graves lacunes dans les instruments d'enquête qui n'ont pas été mis à l'essai comme il se doit. Il faut absolument faire un essai préliminaire auprès d'un échantillon représentatif de la population visée, afin de valider aussi bien le questionnaire que les méthodes que l'on souhaite utiliser pour mener l'enquête. Cet essai fournira des renseignements sur les éléments suivants :

• Clarté des questions

  Le libellé des questions est-il assez clair? Les répondants interprètent-ils tous les questions de la même façon? L'enchaînement des questions est-il logique?

• Taux de réponse

  Les répondants trouvent-ils certaines questions dérangeantes? La technique d'entrevue les agace-t-elle? Refusent-ils de répondre à certaines parties du questionnaire?

• Longueur et durée

  Combien de temps faut-il pour répondre au questionnaire?

• Méthode d'enquête

  S'il s'agit d'une enquête postale, le taux de réponse est-il satisfaisant? Existe-t-il une autre méthode susceptible d'obtenir le taux de réponse recherché?

Avantages et inconvénients

Les avantages et les inconvénients des méthodes d'enquête sont étudiés à la section A.5 de l'annexe 1, mais voici déjà quelques observations d'ordre général.

• Une enquête est un moyen de recueillir des données auprès d'une population.

Avec une enquête, il est possible d'obtenir des données attitudinales sur virtuellement n'importe quel aspect d'un programme et sur ses résultats. La population visée peut être importante ou réduite, et l'enquête peut comprendre une série temporelle de mesures ou des mesures prises auprès de populations variées.

• Une enquête bien menée produit des renseignements fiables et valides.

Il existe de nombreuses techniques d'enquête raffinées. En outre, on peut lire bien des livres, suivre des cours, consulter des spécialistes et des entreprises d'experts-conseils du secteur privé pour veiller à ce que l'information recueillie soit pertinente, opportune, valide et fiable.

Néanmoins, considérées comme instruments de collecte de données, les enquêtes présentent plusieurs inconvénients.

• La conception, l'exécution et l'interprétation des enquêtes exigent de la compétence. Il est facile de les utiliser à mauvais escient, ce qui produit des données et de l'information non valides.

De nombreux facteurs peuvent fausser les méthodes d'enquête et compromettre la fiabilité et la validité des données recueillies : un échantillonnage biaisé, un biais de non-réponse, la sensibilité des répondants au questionnaire, un biais attribuable à l'enquêteur et des erreurs de codage. Il faut tenir compte de chacun de ces écueils éventuels. Statistique Canada a préparé un répertoire de méthodes d'évaluation de la qualité des données recueillies dans les enquêtes (1982).

La qualité des enquêtes doit faire l'objet d'un contrôle rigoureux. Or, il arrive souvent que l'évaluateur confie l'étape de la collecte des données à des contractuels. Dans ces cas-là, il est sage que la fiabilité du travail de l'entrepreneur soit vérifiée, notamment par des entrevues de contrôle auprès d'un petit échantillon de répondants.

Références : Enquêtes

Babbie, E.R., Survey Research Methods, Belmont : Wadsworth, 1973.

Bradburn, N.M. et S. Sudman, Improving Interview Methods and Questionnaire Design, San Francisco : Jossey-Bass, 1979.

Braverman, Mark T. et Jana Kay Slater, Advances in Survey Research, Vol. 70 de New Directions in Program Evaluation, San Francisco : Jossey-Bass, 1996.

Canada, Secrétariat du Conseil du Trésor, Mesure de la satisfaction des clients : Concevoir et adopter de saines pratiques de mesure et de suivi de la satisfaction des clients, Ottawa, octobre 1991.

Canada, Statistique Canada, Lignes directrices concernant la qualité (2^e Ã©dition), Ottawa, 1987.

Canada, Statistique Canada, Répertoire des méthodes d'évaluation des erreurs dans les recensements et les enquêtes, Ottawa, 1982, CSCCB-F.

Dexter, L.A., Elite and Specialized Interviewing, Evanston (Illinois) : Northwestern University Press, 1970.

Fowler, Vol. et J. Floyd, Improving Survey Questions: Design and Evaluation, Thousand Oaks : Sage Publications, 1995.

Gliksman, Louis, et al., «Responders vs. Non-Responders to a Mail Survey: Are They Different?», Canadian Journal of Program Evaluation, Vol. 7, N^o 2, octobre-novembre 1992, p. 131 à 138.

Kish, L., Survey Sampling, New York : Wiley, 1965.

Robinson, J.P. et P.R. Shaver, Measurement of Social Psychological Attitudes, Ann Arbor: Survey Research Center, University of Michigan, 1973.

Rossi, P.H., Wright, J.D. et A.B. Anderson, éd., Handbook of Survey Research, Orlando : Academic Press, 1985.

Warwick, D.P. et C.A. Lininger, The Survey Sample: Theory and Practice, New York : McGraw-Hill, 1975.

4.6 Consultation de spécialistes

Cette méthode de collecte de données met à profit les perceptions et les connaissances des spécialistes de divers domaines fonctionnels, en tant qu'indicateurs d'évaluation. Fondamentalement, elle consiste à obtenir l'opinion de ces spécialistes sur des questions d'évaluation données. L'évaluateur utilise ensuite ces renseignements pour déterminer les résultats du programme. En fait, la consultation de spécialistes est un type d'enquête particulier, ce qui signifie que tout ce qui a été dit dans la section sur les enquêtes s'applique également ici. Toutefois, en raison de sa fréquence, la consultation de spécialistes doit faire l'objet d'une section distincte.

Il importe de préciser d'emblée que cette consultation est une méthode qui devrait en théorie servir à compléter (ou à remplacer, en l'absence d'indicateurs plus objectifs) d'autres mesures des résultats d'un programme. Rappelons-le, c'est une méthode de collecte de données qui ne consiste pas à joindre des spécialistes à l'équipe d'évaluation, mais plutôt à se servir d'eux comme sources de données pour étudier les questions à évaluer.

On peut recueillir des opinions de spécialistes et les résumer de façon systématique, bien que les résultats de cette démarche restent toujours subjectifs. Supposons par exemple que l'évaluateur cherche à déterminer de quelle façon un programme d'aide donnée a favorisé l'avancement des connaissances scientifiques. L'une des façons de mesurer ces deux variables difficiles à quantifier pourrait consister à interroger des spécialistes du domaine scientifique en question. L'évaluateur aurait recours à diverses méthodes - par exemple à une enquête postale ou à des entrevues individuelles - pour obtenir des mesures quantitatives. Dans ce contexte, il pourrait faire une enquête ponctuelle ou utiliser une technique interactive comme la méthode Delphi (voir Linstone et Turoff, 1995) ou encore la rétroaction qualitative contrôlée (voir Press, 1978).

Avantages et inconvénients

• La consultation de spécialistes peut servir à obtenir des mesures dans des domaines où l'on manque de données subjectives. C'est une technique de collecte de données rapide et relativement peu coûteuse.

Grâce à sa souplesse et à sa facilité d'utilisation, la consultation de spécialistes se prête à l'évaluation de presque n'importe quel résultat, voire de n'importe quel aspect d'un programme. Sa crédibilité est d'autant plus grande qu'elle est exécutée aussi systématiquement que possible. Néanmoins, elle présente plusieurs inconvénients importants.

• L'évaluateur peut avoir de la difficulté à trouver suffisamment de spécialistes compétents pour assurer la fiabilité statistique des résultats.

• Il risque d'être difficile d'amener les parties intéressées à s'entendre sur le choix des spécialistes.

• Comme il est peu probable que les spécialistes soient tous aussi versés dans un domaine donné, il faudrait pondérer les résultats.

On peut bien sûr utiliser des méthodes statistiques pour tenter de pondérer la compétence inégale des spécialistes, mais ces méthodes manquent largement de précision, et c'est pourquoi l'évaluateur risque de considérer toute réponse comme étant d'égale importance.

• La validité de la mesure peut être contestée, comme dans toutes les évaluations verbales.

Les spécialistes peuvent se fonder sur des critères différents ou attribuer une valeur différente aux chiffres sur les échelles de notation. Par exemple, le spécialiste qui évalue à 3 la contribution d'un projet à l'avancement des connaissances scientifiques, sur une échelle de 1 à 5, peut lui accorder la même valeur qu'un autre qui l'évalue à 4, la seule différence étant que les deux accordent une valeur différente au degré de l'échelle.

• La crédibilité des spécialistes peut toujours être mise en doute, comme dans toute évaluation suggestive.

Les différences sur le choix et la valeur des spécialistes peuvent facilement faire perdre toute valeur même à un ensemble remarquable d'opinions.

• Par conséquent, il faudrait éviter de faire de la consultation de spécialistes la seule source de données d'une évaluation.

Références : Consultation de spécialistes

Boberg, Alice L. et Sheryl A. Morris-Khoo, «The Delphi Method: A Review of Methodology and an Application in the Evaluation of a Higher Education Program», Canadian Journal of Program Evaluation, Vol. 7, N^o 1, avril-mai 1992, p. 27 à 40.

Delbecq, A.L., et al., Group Techniques in Program Planning: A Guide to the Nominal Group and Delphi Processes, Glenview : Scott, Foresman, 1975.

Shea, Michael P. et John H. Lewko, «Use of a Stakeholder Advisory Group to Facilitate the Utilization of Evaluation Results», Canadian Journal of Program Evaluation, Vol. 10, N^o 1, avril-mai 1995, p. 159 à 162.

Uhl, Norman, et Carolyn Wentzel, «Evaluating a Three-day Exercise to Obtain Convergence of Opinion», Canadian Journal of Program Evaluation, Vol. 10, N^o 1, avril-mai 1995, p. 151 à 158.

4.7 Études de cas

Lorsqu'un programme se compose d'une série de projets ou de cas, l'évaluateur peut avoir recours à une série d'études de cas «particuliers» pour évaluer et expliquer ses résultats. Comme la consultation de spécialistes, les études de cas sont une forme d'enquête en soi dont l'importance justifie que nous y consacrions une section.

Les études de cas sont utilisées pour évaluer les résultats d'un programme au moyen d'un examen approfondi plutôt qu'étendu de cas ou de projets précis. Contrairement aux techniques de collecte de données décrites jusqu'ici, elles font ordinairement appel à une combinaison de diverses méthodes; on s'en sert généralement lorsqu'il est impossible, pour des raisons budgétaires ou pratiques, de constituer un échantillon suffisamment gros, ou lorsqu'il faut avoir des données très détaillées.

Normalement, les études de cas portent sur un certain nombre de cas ou de projets précis à partir desquels l'évaluateur espère tirer des renseignements portant sur l'ensemble du programme. Il est donc très important de choisir judicieusement les cas, afin que les conclusions qu'on en tire puissent s'appliquer à l'ensemble de la population cible. Malheureusement, il est fréquent que les cas soient choisis de façon peu scientifique (ou qu'on n'en choisisse pas assez), au point qu'il est impossible d'en tirer des inférences statistiques valides.

Il peut aussi arriver qu'on choisisse un cas parce qu'on le considère comme critique, voire comme le plus représentatif. Pourtant, s'il aboutit à de mauvais résultats, on risque de mettre sérieusement en doute l'efficacité de l'ensemble du programme, indépendamment des résultats des autres cas étudiés. Nous reviendrons plus loin sur ces deux situations, à savoir les cas les plus représentatifs et les cas critiques.

Supposons qu'on ne puisse déterminer les résultats d'un programme de subventions à un secteur d'activité industrielle donné qu'en se fondant sur un examen détaillé des états financiers des entreprises et sur des entrevues exhaustives auprès des gestionnaires, des comptables et des techniciens intéressés. Avec de telles exigences, il serait extrêmement coûteux d'utiliser un gros échantillon. Par conséquent, l'évaluateur pourrait opter pour un petit échantillon de cas qu'il considérerait comme représentatifs de l'ensemble de la population. Pourtant, il ne lui serait possible de généraliser ses résultats à toute la population en supposant des circonstances semblables dans des cas n'ayant pas fait l'objet d'étude. Il n'est donc pas toujours facile de poser une hypothèse comme celle-là, car elle peut être contestée ou mise en doute, ce qui risque de saper la crédibilité des conclusions.

Lorsqu'il s'agit de mesurer les résultats d'un programme, l'étude d'un cas critique peut être plus défendable que celle d'un échantillon représentatif. Prenons l'exemple d'une entreprise qui aurait reçu presque tous les fonds d'un programme conçu pour réaliser un projet industriel. L'évaluation de l'incidence de la subvention sur le projet (en a-t-elle provoqué la mise en oeuvre, et, si oui, quels en ont été les avantages) peut grandement contribuer à la mesure des résultats de l'ensemble du programme. Il s'ensuit que l'étude d'un cas critique peut être un outil aussi valable qu'important d'évaluation d'un programme.

Toutefois, dans le contexte d'une évaluation, on se sert plus souvent des études de cas pour comprendre de quelle façon le programme a été mis en oeuvre et pourquoi certaines choses se sont produites que pour prendre des mesures précises.

Plus souvent qu'autrement, les résultats ne sont pas aussi évidents qu'on l'aurait prévu. L'évaluateur peut prétendre qu'ils sont attribuables à des «interactions complexes», à des «variables accessoires» ou tout simplement à une «variance inexpliquée», alors qu'on a tout simplement négligé un facteur important à l'étape de l'étude préparatoire. Cela risque de se produire assez souvent, puisqu'on connaît rarement d'avance le processus qui lie les intrants aux extrants et aux résultats. Néanmoins, il est relativement important de le connaître, et l'évaluateur peut y arriver grâce à des méthodes de collecte de données susceptibles de donner une idée de l'imprévu, dont assurément celle des études de cas.

En réalité, on peut avoir recours à des études de cas à bien des fins, y compris les suivantes :

• explorer les nombreuses conséquences d'un programme;
• sensibiliser l'évaluateur au contexte dans lequel le programme se déroule;
• faire ressortir les «variables accessoires» pertinentes;
• évaluer les conséquences à long terme du programme (Alkin, 1980).

Avantages et inconvénients

• Les études de cas permettent à l'évaluateur de réaliser une analyse plus approfondie que les méthodes plus générales.

C'est probablement l'atout le plus important des études de cas, étant donné que, dans la pratique, l'ampleur de l'analyse réalisable avec des méthodes globales est souvent limitée. La profondeur de l'analyse réalisable grâce aux études de cas fait que leurs résultats sont souvent très utiles. De plus, ces études peuvent mener à des hypothèses explicatives qui favorisent une analyse plus poussée.

• Les études de cas sont généralement coûteuses et longues à exécuter, et c'est pourquoi on ne peut normalement pas analyser un échantillon de cas statistiquement fiable. Par conséquent, une série d'études de cas n'a habituellement pas la base statistique nécessaire pour qu'on puisse généraliser les conclusions qu'on en tire.

L'analyse approfondie que les études de cas favorisent nécessite généralement d'importantes ressources et de longs délais, ce qui limite le nombre de celles qu'on peut réaliser. On ne s'attend donc pas, normalement, à en tirer des résultats susceptibles d'être généralisés sur le plan statistique. Leur principal rôle consiste à donner un aperçu général du déroulement du programme et à favoriser sa compréhension. C'est pour cette raison qu'on recommande habituellement qu'elles soient faites avant (ou en même temps) les autres méthodes de collecte de données, dont les conclusions sont plus généralisables.

Références : Études de cas

Campbell, D.T., «Degrees of Freedom and the Case Study», Comparative Political Studies, Vol. 8, 1975, p. 178 à 193.

Campbell, D.T. et J.C. Stanley, Experimental and Quasi-experimental Designs for Research, Chicago : Rand-McNally, 1963.

Cook, T.D. et C.S. Reichardt, Qualitative and Quantitative Methods in Evaluation Research, Thousand Oaks : Sage Publications, 1979, chapitre 3.

Favaro, Paul et Marie Billinger, «A Comprehensive Evaluation Model for Organizational Development», Canadian Journal of Program Evaluation, Vol. 8, N^o 2, octobre-novembre 1993, p. 45 à 60.

Maxwell, Joseph A., Qualitative Research Design: An Interactive Approach, Thousand Oaks : Sage Publications, 1996.

McClintock, C.C., et al., «Applying the Logic of Sample Surveys to Qualitative Case Studies: The Case Cluster Method», in Van Maanen, J., éd., Qualitative Methodology, Thousand Oaks : Sage Publications, 1979.

Yin, R., The Case Study as a Rigorous Research Method, Thousand Oaks : Sage Publications, 1986.

4.8 Résumé

Nous avons analysé dans le présent chapitre six méthodes de collecte de données utilisées pour l'évaluation de programmes : le dépouillement de la documentation spécialisée, l'étude de dossiers, les observations directes, les enquêtes, la consultation de spécialistes et les études de cas.

Les deux premières de ces méthodes consistent à recueillir des données secondaires, et les quatre autres, des données primaires. Pour faciliter l'analyse et la compréhension, nous les avons présentées séparément. Toutefois, dans le contexte de l'évaluation de programmes, il faudrait les utiliser ensemble pour appuyer les stratégies de recherche retenues.

Le dépouillement de la documentation et l'étude de dossiers sont indispensables à l'évaluation. Il faudrait y voir dès l'étape de l'étude préparatoire, ainsi que dans les premières phases de l'évaluation proprement dite. Ce sont des démarches qui servent à définir le contexte du programme à l'étude ainsi qu'à proposer des façons plausibles d'attribuer les résultats observés à un programme donné. Elles peuvent aussi permettre à l'évaluateur d'éviter de recueillir des données superflues, en lui indiquant ou en mettant en évidence des données pertinentes ou équivalentes qui existent déjà ailleurs.

Un grand nombre de méthodes étudiées dans le présent chapitre sont utilisées pour recueillir des données sur les attitudes. L'évaluateur devrait quand même se rappeler que les attitudes changent avec le temps sous l'influence de facteurs contextuels et qu'elles sont subjectives. Par exemple, une enquête consistant à interroger des gens sur les résultats d'un programme donne tout au plus à l'évaluateur l'opinion générale de la population visée quant aux résultats du programme. Cette opinion peut servir ou non à déterminer les résultats réels. Cela dit, la meilleure façon d'interpréter les données sur les attitudes consiste à les situer dans leur propre contexte historique et socio-économique, et c'est pourquoi il faut obtenir ces renseignements-là pour appuyer l'analyse en bonne et due forme des données sur les attitudes.

L'évaluateur devrait aussi être conscient de la subjectivité éventuelle des données obtenues grâce à certaines méthodes de collecte, surtout l'observation directe, la consultation de spécialistes, voire parfois les études de cas. Ce n'est pas nécessairement un inconvénient, mais il est nécessaire de bien établir la validité externe de toutes les conclusions. D'un autre côté, rien ne vaut ces méthodes de collecte pour obtenir des données holistiques en profondeur sur l'effet d'un programme. Combinées avec des données quantitatives, les données qualitatives sont un outil très efficace lorsqu'on veut vérifier le rapport entre un programme et ses résultats.

Enfin, comme il est rare qu'une seule méthode de collecte de données soit entièrement satisfaisante pour l'évaluation d'un programme quelconque, il est préférable d'en combiner plusieurs et de puiser ses données à différentes sources, tout en respectant les contraintes, bien entendu.

• Page précédente
• Table des matières
• Texte complet
• Page suivante