Méthodes d'évaluation des programmes

• Page précédente
• Table des matières
• Texte complet
• Page suivante

Annexe 1 - ENQUÊTES

Dans la section 4.5, nous avons étudié les enquêtes en tant que méthodes de collecte des données pour l'évaluation des programmes; nous avons joint à cette section une liste de références à consulter pour obtenir des renseignements supplémentaires à ce sujet. C'était nécessaire parce que la conception d'une enquête devrait normalement mettre à profit la compétence des spécialistes du domaine. Compte tenu de la fréquence d'utilisation des enquêtes dans les évaluations, nous avons jugé opportun d'ajouter la présente annexe au manuel pour y présenter une analyse plus détaillée des principaux facteurs dont il faut tenir compte dans la conception d'une enquête. Néanmoins, cette annexe ne doit pas être considérée comme substituable à la consultation de spécialistes.

La conception d'une enquête comporte trois volets fondamentaux  : la conception de l'échantillonnage, le choix de la méthode d'enquête et l'établissement de l'instrument de mesure. Nous avons analysé brièvement chacun de ces volets en précisant les principaux écueils qui y sont associés.

1.1 Échantillonnage

Lorsqu'il n'est ni possible ni efficient d'étudier toute la population visée par le programme, il faut utiliser une méthode d'échantillonnage. La portée et la nature de cette méthode devraient satisfaire aux trois exigences suivantes.

Les constatations doivent être généralisables à l'ensemble de la population visée.

Si l'évaluateur doit présenter des conclusions au sujet de l'ensemble de la population visée en se fondant sur une enquête auprès d'un échantillon, il doit s'assurer que les constatations tirées de l'enquête seront généralisables à toute cette population. Si tel est le cas, il doit habituellement avoir recours à un échantillon aléatoire (plutôt qu'à un échantillon non aléaloire). L'évaluateur doit être très conscient du risque de biais statistiques qui se produisent normalement lorsqu'un échantillon non aléatoire est considéré comme un échantillon aléatoire et qu'on en tire des inférences injustifiées. Ces biais sont souvent attribuables à une utilisation inappropriée ou négligente des méthodes d'échantillonnage aléatoire.

La méthode choisie doit satisfaire aux exigences minimales de précision.

Le degré de précision et le niveau de confiance attendus de l'enquête doivent être précisés. La théorie statistique peut fournir des estimations de l'erreur d'échantillonnage pour des échantillons de différentes tailles, autrement dit de la précision des estimations. Il s'ensuit que la taille de l'échantillon serait fonction du degré de précision recherché. L'évaluateur devrait accorder plus d'importance à la précision qu'à la taille de l'échantillon, prise isolément. Rappelons ici qu'il existe différentes formules de calcul de la taille de l'échantillon ainsi que différents types de mesures (ou d'estimations), notamment l'importance d'une caractéristique de la population et la proportion de la population dans une catégorie donnée. Il n'est pas rare qu'on utilise la mauvaise formule pour calculer la taille minimale de l'échantillon nécessaire.

Les coûts d'échantillonnage doivent respecter les limites du budget.

Certaines méthodes d'échantillonnage, comme l'échantillonnage stratifié et l'échantillonnage répété, ont été conçues afin de réduire à la fois la taille de l'échantillon et le coût de la prise des mesures. À cet égard, il convient de souligner que le raffinement des méthodes d'échantillonnage peut se révéler rentable.

Après avoir posé ces trois exigences, on peut passer à l'établissement du processus d'échantillonnage, qui comprend les six Ã©tapes suivantes.

1. Définir la population. Cette définition doit être précise et détaillée; elle comprend souvent la date, le lieu et les caractéristiques socio-économiques pertinentes. Par exemple  : toutes des femmes, de 18 ans et plus, habitant l'Ontario, ayant participé au programme entre le 15 et le 30 novembre 1982 et ayant actuellement un emploi.
2. Préciser la base de sondage. La base de sondage est une liste des éléments de la population (p. ex., noms dans un annuaire téléphonique, liste d'électeurs, liste de prestataires au dossier). Si elle n'existe pas, il peut falloir la créer (totalement ou partiellement) en appliquant une stratégie d'échantillonnage.
3. Préciser l'unité d'échantillonnage. On entend par là l'unité employée pour l'échantillonnage, comme le lieu, le pâté de maisons, le ménage ou l'entreprise.
4. Préciser la méthode d'échantillonnage. C'est la méthode utilisée pour choisir les unités d'échantillonnage (p. ex., échantillonnage systématique ou stratifié).
5. Déterminer la taille de l'échantillon. Il s'agit alors de déterminer le nombre d'unités d'échantillonnage ainsi que le pourcentage de la population à inclure dans l'échantillon.
6. Choisir l'échantillon.

Des erreurs attribuables à d'autres facteurs qu'à l'échantillonnage peuvent se glisser à chaque étape de ce processus. Par exemple, la population définie peut ne pas correspondre à la population cible ou la base de sondage peut ne pas coïncider exactement avec la population. En pareil cas, les mesures ou inférences affectées peuvent être biaisées, et donc trompeuses. Supposons par exemple qu'on effectue un sondage auprès des bénéficiaires de subventions dans le cadre d'une évaluation d'un programme d'aide à un secteur d'activité industrielle et que la base de sondage des entreprises se limite à celles qui ont reçu plus qu'un certain montant. Dans ces conditions, il est bien évident que toute généralisation des résultats portant sur l'ensemble des bénéficiaires de subventions ne serait pas valide si elle était fondée sur un échantillon choisi à partir de cette base.

Ces erreurs attribuables à d'autres facteurs peuvent aussi s'introduire dans presque toutes les activités d'enquête. Par exemple, les répondants peuvent interpréter différemment les questions, les proposés au traitement des résultats peuvent faire des erreurs, et il est toujours possible qu'il y ait des erreurs dans la base de sondage même. Bref, il peut y avoir des erreurs autres que celles qui sont attribuables à l'échantillonnage, aussi bien dans les enquêtes sur des échantillons que dans les recensements, alors que les erreurs d'échantillonnage ne sont possibles, bien entendu, que dans le premier de ces deux types d'enquête.

1.2 Méthodes d'enquête

C'est habituellement la technique de collecte des données utilisée qui détermine le genre d'enquête. Le choix de cette technique est donc extrêmement important pour toutes les enquêtes fondées sur des réponses individuelles. Nous allons maintenant analyser les trois méthodes d'enquête de base.

Entrevues téléphoniques

Pour établir son échantillon, l'enquêteur part d'une base de sondage contenant des numéros de téléphone, choisit une unité d'échantillonnage dans cette base et réalise une entrevue téléphonique avec une personne bien précise qui répond à l'appel ou encore avec la première personne qui y répond. Il existe aussi une autre technique, dite de composition aléatoire, où l'enquêteur compose un numéro choisi au hasard sans même savoir s'il existe ou si l'abonné est une entreprise, un hôpital ou un ménage. Dans la pratique, les deux techniques sont utilisées ensemble. Par exemple, il est courant d'avoir recours à celle de la composition aléatoire pour produire une première liste de numéros. Ensuite, on choisit au hasard des numéros dans cette liste pour produire le jeu de numéros de l'échantillon.

Entrevues directes

Il existe essentiellement trois façons de recueillir des renseignements grâce à des entrevues; elles se prêtent toutes bien aux entrevues directes. Même si elles sont toutes utilisables aussi pour réaliser des entrevues téléphoniques, il est extrêmement rare que l'une ou l'autre des deux premières donnent de bons résultats dans ce contexte. Chacune suppose une préparation, une conceptualisation et des instruments différents, et chacune présente des avantages et des inconvénients. Voici les trois façons de réaliser des entrevues  :

• entrevues non structurées;
• entrevues fondées sur un guide;
• entrevues suivant une présentation type.

Entrevues non structurées

Cette façon de procéder est entièrement fondée sur des questions posées de façon spontanée au cours de l'entrevue, souvent dans le cadre d'une observation continue des activités du programme. Dans ce genre d'entrevue, il arrive que l'interlocuteur ne se rende même pas compte qu'il est interrogé. L'avantage de cette façon de procéder est de permettre à l'évaluateur de tenir compte des différences individuelles et situationnelles; il peut personnaliser ses questions de façon à avoir un échange en profondeur avec son interlocuteur, dans une atmosphère détendue. C'est une technique particulièrement utile lorsque l'évaluateur peut la mettre à profit pour explorer le programme sur une période assez longue, ce qui lui permet de préparer ses entrevues en se fondant sur les réponses qu'il a obtenues auparavant.

Malheureusement, les entrevues non structurées ont l'inconvénient de s'étendre sur une longue période, puisqu'il faut parfois plusieurs conversations avant d'obtenir réponse à une série uniforme de questions. En outre, c'est une façon de procéder plus vulnérable que les autres aux effets et aux biais intervenant pendant l'entrevue, puisqu'elle dépend largement de l'habileté de l'enquêteur.

Entrevues fondées sur un guide

Les guides d'entrevue sont des listes de questions ou de thèmes à soulever pendant l'entrevue. Ils sont conçus pour faire en sorte que les mêmes questions de base soient traitées dans toutes les entrevues et proposent à l'enquêteur des aspects ou des sujets qu'il est libre d'explorer afin d'approfondir une question donnée. Autrement dit, ce sont des cadres, dans lesquels l'enquêteur conçoit et organise ses questions et décide des points à approfondir.

Cette façon de procéder a l'avantage de permettre à l'enquêteur d'exploiter au maximum le temps limité dont il dispose. L'entrevue est plus systématique et plus complète parce que les questions à discuter sont précisées à l'avance. C'est une méthode particulièrement utile pour les entrevues de groupe, car elle permet à l'enquêteur de faire en sorte que les participants ne s'écartent pas du sujet, tout en tenant compte des points de vue individuels.

Pourtant, c'est une façon de procéder qui présente plusieurs inconvénients. En effet, même avec un guide d'entrevue, l'enquêteur peut parfois oublier des questions importantes. La souplesse dont il dispose pour l'enchaînement et la formulation des questions peut en outre réduire nettement la comparabilité des réponses. De plus, la technique peut aussi sembler très intimidante pour l'interlocuteur, et l'impression que celui-ci se fait de l'enquêteur peut aussi saper la validité et la fiabilité des réponses.

Entrevues suivant une présentation type

Lorsqu'il faut obtenir de chaque personne interrogée des renseignements strictement comparables, on peut avoir recours à une présentation type permettant à l'enquêteur de poser les mêmes questions à chacune. Avant le début des entrevues, on rédige le texte des questions ouvertes et fermées telles qu'elles seront posées. Toutes les explications et les précisions nécessaires sont formulées à l'avance dans le texte, comme d'ailleurs toutes les questions éventuelles d'exploration.

Cette méthode réduit le risque de biais de l'enquêteur, puisque celui-ci doit poser les mêmes questions à chaque répondant. L'entrevue est systématique et ne fait à peu près pas appel au jugement de l'enquêteur. En outre, l'analyse des données est facilitée, puisqu'on peut regrouper les questions et les réponses qui se ressemblent. De plus, le texte même du questionnaire peut être soumis aux décideurs avant le début des entrevues. Enfin, comme l'enquêteur doit fonctionner dans un cadre précis, les entrevues sont habituellement plus courtes avec cette méthode qu'avec les autres.

Par contre, ce genre d'entrevue ne permet pas à l'enquêteur d'approfondir les thèmes qui pourraient être soulevés seulement au cours de la conversation, même si l'emploi de questions ouvertes permet de mitiger un peu cet inconvénient. De plus, c'est une façon de procéder qui empêche jusqu'à un certain point le chercheur de tenir compte des différences individuelles et des circonstances.

Méthodes combinées

Dans les études d'évaluation, la meilleure façon de procéder est souvent une combinaison de la méthode du guide d'entrevue et de l'entrevue avec présentation type. Il s'ensuit que, dans la plupart des cas, un certain nombre de questions sont formulées d'avance, quoique l'enquêteur dispose de la latitude voulue pour poser d'autres questions et pour décider quand il vaut la peine d'approfondir certains points. On utilise souvent une présentation type au début de chaque entrevue, après quoi l'enquêteur est plus libre de s'intéresser à d'autres sujets généraux pour le reste de l'entrevue.

Enquête postale

La troisième méthode d'enquête de base consiste à envoyer le questionnaire par la poste au répondant, en l'invitant à y répondre et à le retourner à l'expéditeur. Pour obtenir les taux de réponse élevés indispensables à une bonne analyse, on utilise essentiellement des questions fermées dans la plupart des enquêtes de ce genre. C'est une méthode qui a l'avantage d'atteindre un gros échantillon de répondants à un coût relativement modique. En outre, avec des questions quantitatives fermées, l'analyse des données est relativement simple, puisqu'on peut comparer directement les réponses et les résumer et les regrouper facilement. Par contre, cette méthode présente l'inconvénient que les répondants doivent adapter leur vécu et leurs opinions pour les faire correspondre à des catégories préétablies, ce qui peut fausser ce qu'ils voulaient dire en limitant leurs choix. Pour pallier ces difficultés, on ajoute souvent des questions ouvertes afin que les répondants puissent préciser et développer leurs réponses.

Cela dit, l'un des principaux écueils associés aux enquêtes postales est leur faible taux de réponse, qui peut aussi poser un problème dans le cas des enquêtes téléphoniques et des entrevues directes, quoique dans une moindre mesure. Un faible taux de réponse peut être imputable à de nombreux facteurs, dont la non-disponibilité des répondants ou le refus de participer. On a fréquemment recours aux trois stratégies suivantes pour accroître le taux de réponse  :

• relancer les non-répondants par téléphone;
• interroger les non-répondants;
• faire un suivi par la poste.

Dans le premier cas, l'enquêteur téléphone aux non-répondants - après un certain temps - pour les presser de remplir le questionnaire.

La deuxième stratégie consiste à prendre un échantillon de non-répondants pour remplir le questionnaire avec eux au cours d'une entrevue téléphonique ou directe. Ensuite, on pondère les résultats de ces entrevues afin qu'ils soient représentatifs de l'ensemble de la population des non-répondants, puis, en combinant les résultats avec ceux des répondants, on arrive à faire des généralisations non biaisées à l'ensemble de la population. Toutefois, pour que cette technique soit valide, il faut avoir établi scientifiquement l'échantillon des non-répondants sollicités.

La troisième stratégie, le suivi postal, ressemble à celle de la relance téléphonique, mais elle est habituellement moins efficace. Elle consiste à envoyer de nouveau le questionnaire aux non-répondants après un certain temps, en leur demandant de bien vouloir le remplir.

De toute évidence, il peut arriver qu'on ne puisse pas faire grand-chose pour améliorer le taux de réponse, faute de temps et d'argent. Il faut donc tenir compte du taux de non-réponse quand on tire des conclusions sur la population étudiée à partir de l'information recueillie auprès des membres de l'échantillon.

Un taux de réponse faible déforme l'estimation des résultats, étant donné qu'il est possible que les attitudes ou les intérêts des non-répondants ne correspondent pas à ceux des répondants. Heureusement, il existe plusieurs méthodes qui permettent de corriger le biais attribuable à un mauvais taux de réponse, comme le sous-échantillonnage des non-répondants.

Enquête sur des objets (inventaire)

Les méthodes d'enquête que nous venons de décrire s'appliquent à des personnes, mais on peut aussi réaliser des enquêtes sur des objets, comme des immeubles, des maisons ou toutes sortes d'articles. Les principes d'échantillonnage utilisés dans le cas des personnes valent également pour les objets. En fait, l'élément le plus important d'une enquête est un enquêteur compétent, car c'est à lui de veiller à ce que des mesures appropriées soient prises, de les colliger et de les transmettre fidèlement. Dans les enquêtes sur des objets, le risque de distorsion des mesures est au moins aussi élevé que le risque de déformation attribuable aux biais de l'enquêteur dans les enquêtes basées sur des entrevues.

Prenons par exemple le cas d'un programme d'aide à un secteur d'activité industrielle conçu pour inciter les entreprises à mettre au point du matériel d'usine moins énergivore. On pourrait mener une étude scientifique sur un échantillon de ce matériel afin de mesurer les économies d'énergie qu'il rendrait possibles. Dans une situation comme celle-là, il est manifestement indispensable d'avoir recours à des enquêteurs spécialisés capables de prendre les mesures nécessaires avec précision.

1.3 Instruments de mesure

La collecte de données suppose généralement qu'on prenne des mesures. Or, comme la qualité d'une évaluation est fonction de celle des mesures prises, il faudrait prendre soin de se donner des instruments de mesure capables de produire des données valides et fiables. (Pour une excellente analyse de l'élaboration de questionnaires, voir Bradburn et al., 1979.) Dans les enquêtes, l'instrument de mesure est un questionnaire; or, la préparation de questionnaires est loin d'être une science exacte. On estime d'ailleurs qu'au moins 20 à 30 p. 100 de la marge d'erreur des enquêtes est attribuable à l'ambiguïté des questions. Statistique Canada distribue à ce sujet un guide de sa conception intitulé Conception d'un questionnaire de base.

La conception d'un questionnaire comprend les cinq étapes suivantes  :

Définir les concepts à mesurer

Cela peut sembler étonnant, mais la tâche la plus difficile pour la conception d'un questionnaire consiste à préciser exactement l'information recherchée. À cette fin, il faut habituellement  :

• dépouiller des études analogues, voire effectuer des recherches exploratoires;
• bien comprendre les questions à évaluer dans l'enquête;
• comprendre les concepts à mesurer et la façon de le faire;
• formuler l'hypothèse à évaluer;
• comprendre comment les réponses obtenues fourniront des indications sur les questions à évaluer;
• avoir une bonne idée du degré de validité et de fiabilité nécessaire pour arriver à produire de l'information, des données ou des éléments de preuve crédibles.

Avant de passer à l'étape suivante, la deuxième, il faut traduire les objectifs de la recherche en besoins d'information que l'enquête est susceptible de combler.

Choisir les questions (ou les points à mesurer) et établir les échelles de pondération

Les questions peuvent être présentées de diverses façons (ouvertes ou fermées, à choix unique ou à choix multiples, et ainsi de suite). L'échelle choisie pour l'attribution de valeurs aux réponses éventuelles a elle aussi son importance, compte tenu de son incidence sur la validité des mesures.

Rédiger les questions

C'est essentiellement un travail de communication, car il s'agit de savoir comment formuler des questions sans donner prise à l'ambiguïté ou à des biais, compte tenu des caractéristiques des répondants. Dans bien des secteurs de programme, il existe des questions et des mesures toutes faites dont l'évaluateur peut se servir avec profit. Par exemple, le Centre de recherche sur les enquêtes de l'Université du Michigan a décrit divers moyens de mesurer les attitudes psychosociologiques et évalué les avantages et les inconvénients de chacun d'entre eux (Robinson et Shaver, 1973).

Décider de l'enchaînement des questions et de la présentation du questionnaire

Il faut que l'enchaînement des questions éveille l'intérêt des répondants, tout en ne provoquant aucun biais, comme celui qui se manifeste lorsque l'ordre des questions semble mener à une conclusion prédéterminée.

Faire un essai préalable du questionnaire

Un essai préalable du questionnaire permet de détecter les questions ambiguës, les formulations boiteuses et les omissions. Cet essai devrait être réalisé auprès d'un petit échantillon de la population visée (voir Smith, 1975).

1.4 Estimation des coûts

Pour estimer les coûts d'une enquête, il faut diviser son exécution en plusieurs éléments distincts, puis calculer le coût de revient de chacun d'entre eux, selon qu'ils seront réalisés à l'interne ou à l'externe. Le coût par entrevue pourrait être fondé sur les coûts de la conception de l'enquête, de la collecte et de la mise en forme des données, du codage et de la transcription des données brutes sous forme exploitable par machine, ainsi que de la compilation ou de l'analyse des données.

On peut confier des enquêtes à contrat aux groupes des enquêtes spéciales de Statistique Canada ou à des entreprises privées spécialisées. Statistique Canada publie d'ailleurs un répertoire des organismes d'enquête dans lequel leurs domaines de spécialisation sont précisés.

1.5 Avantages et inconvénients

Nous allons maintenant passer à l'étude de trois méthodes d'enquête portant sur des personnes, dans le contexte des évaluations. Pour une analyse des avantages et des inconvénients des aspects statistiques des enquêtes, voir Smith (1975), le chapitre 8 et Galtung (1967).

Entrevues directes

L'entrevue directe éveille l'intérêt des répondants et accroît le taux de participation. C'est une méthode qui permet à l'enquêteur de poser des questions complexes, pouvant exiger des explications ou des aides visuelles et mécaniques. Elle a aussi l'avantage de lui donner l'occasion de se faire préciser les réponses. On opte généralement pour elle lorsqu'il faut obtenir beaucoup de renseignements détaillés des répondants. En outre, elle est très souple, puisque l'enquêteur peut sauter les questions qui lui semblent non pertinentes et en poser d'autres. L'enquêteur peut aussi observer les caractéristiques des répondants et les noter. Qui plus est, c'est une méthode à laquelle on peut avoir recours lorsqu'il est impossible d'établir une base de sondage ou une liste des répondants. D'un autre côté, elle prend beaucoup de temps, elle est difficile à administrer et à contrôler et, de plus, elle est très coûteuse. Enfin, elle est vulnérable aux biais attribuables à l'enquêteur et aux répondants loquaces, ce dernier se manifestant lorsque certaines personnes s'expriment plus ouvertement que d'autres, de sorte que leurs opinions sont plus en évidence.

Entrevues téléphoniques

L'entrevue téléphonique est une méthode à la fois rapide, économique et facile à administrer et à contrôler, à condition d'être réalisée à partir d'un point central. Les résultats peuvent être entrés directement dans un ordinateur, si le système téléphonique est raccordé à un terminal, ce qui rend cette approche très efficace.

Ce genre d'entrevue est un excellent moyen d'avoir accès à des gens difficiles à joindre, comme des cadres supérieurs occupés. Par contre, lorsqu'on communique par téléphone, il est difficile de faire de longues entrevues, de poser des questions complexes ou d'utiliser les aides visuelles ou mécaniques. De plus, comme certaines personnes ont des numéros de téléphone confidentiels ou n'ont pas le téléphone, c'est une méthode qui peut comporter un biais attribuable à l'échantillonnage. Enfin, le biais attribuable à la non-réponse peut lui aussi poser un problème, puisque le répondant peut raccrocher n'importe quand. Il ne faut pas non plus oublier le risque de biais attribuables aux répondants loquaces.

Enquêtes postales

Le principal avantage des enquêtes postales est leur coût modique; leur principal inconvénient est imputable au nombre élevé de variables dont il est impossible de tenir compte puisqu'il n'y a pas d'enquêteur, par exemple, l'identité du répondant, les personnes que celui-ci peut avoir consultées pour l'aider à répondre au questionnaire, la vitesse de réponse, l'ordre dans lequel les réponses sont données ou la compréhension qu'a le répondant des questions. Néanmoins, pour bien des types de questions, l'expérience a clairement prouvé que les enquêtes postales donnent des résultats plus précis que les autres méthodes d'enquête. De plus, elles permettent d'atteindre beaucoup de gens, et les répondants sont souvent plus ouverts lorsqu'ils répondent par écrit que lorsqu'ils doivent répondre de vive voix. Malheureusement, si cette méthode a l'avantage d'être peu coûteuse, elle a aussi l'inconvénient majeur d'un taux de réponse peu élevé et d'un biais attribuable à la non-réponse. En outre, les enquêtes postales exigent beaucoup de temps (pour l'envoi, le traitement et la réponse) et elles empêchent l'enquêteur d'approfondir et de clarifier certains points.

Résumé

Comme nous l'avons vu, chaque méthode d'enquête a ses avantages et ses inconvénients. Pour l'évaluation, il faut tenir compte des facteurs suivants  :

• exactitude (absence de biais);
• quantité de données à recueillir;
• souplesse (possibilité d'avoir recours à diverses techniques d'entrevue);
• biais attribuable à l'échantillonnage (possibilité de constituer un échantillon représentatif);
• biais attribuable à la non-réponse (risque que les non-répondants soient systématiquement différents des répondants);
• coût par entrevue;
• vitesse de réponse;
• faisabilité opérationnelle (possibilité de respecter les contraintes opérationnelles, telles que les coûts et le personnel).

Les enquêtes sur les objets impliquent la collecte de renseignements objectifs, habituellement plus valides et plus crédibles que les opinions et les impressions d'éventuels répondants. Pourtant, ces enquêtes ne sont pas exemptes de nombreuses erreurs, notamment d'échantillonnage (L'échantillon est-il bien représentatif des objets?) et de mesure (L'instrument de mesure utilisé est-il précis, et l'évaluateur s'en sert-il correctement?).

Enfin, si bien conçue soit-elle, l'enquête peut produire des données inutilisables lorsqu'elle est mal exécutée. Les enquêteurs doivent être bien formés. Il est essentiel de consacrer le temps et les ressources nécessaires à leur formation et à celle des préposés au codage. En effet, il est possible d'accroître la fiabilité et la validité des résultats en favorisant la plus grande uniformité possible de la compréhension du questionnaire qu'ont les enquêteurs et les codeurs, de leur compétence et des instructions qu'on leur donne.

Evaluation et examen des programmes

Secrétariat du Conseil du Trésor du Canada
Méthodes d'évaluation des programmes : Mesure et attribution des résultats des programmes

Annexe 2 - GLOSSAIRE

Ampleur : Portée d'une mesure.

Analyse coûts-avantages : Analyse comparant les avantages que procure un programme aux coûts associés à son exécution. Une valeur monétaire est attribuée aux avantages et aux coûts.

Analyse coût-efficacité : Analyse comparant les coûts d'un programme à ses retombées. Dans cette analyse, les retombées ne sont pas traduites en valeur monétaire.

Analyse coûts-avantages/coût-efficacité ex ante : Analyse coûts-avantages ou coûts-efficacité portant non pas sur les avantages et les coûts réels d'un programme, mais sur des hypothèses de coûts et d'avantages établies a priori. Ce genre d'analyse est utilisé pour la planification plutôt que pour l'évaluation.

Analyse coûts-avantages/coût-efficacité ex post : Analyse coûts-avantages ou coûts-efficacité effectuée lorsqu'un programme fonctionne depuis un certain temps afin d'évaluer les coûts et les avantages réels.

Analyse statistique : Manipulation de données numériques ou catégoriques afin de prévoir des phénomènes, de tirer des conclusions sur des rapports entre variables ou de généraliser des résultats.

Analyse statistique descriptive : Chiffres et tableaux servant à résumer et à présenter succinctement une information quantitative.

Analyse inférentielle statistique : Analyse statistique utilisant des modèles pour confirmer les rapports entre variables ou pour généraliser les constatations à l'ensemble de la population.

Appariement des sujets : Division de la population en «blocs» établis selon une ou plusieurs variables autres que le programme susceptibles d'exercer une influence sur l'effet du programme.

Aspects d'efficacité : Catégorie d'aspects sur lesquels porte une évaluation, liés à la réalisation des objectifs d'un programme et aux autres conséquences et effets escomptés ou non du programme.

Attribution : Estimation de la mesure dans laquelle les résultats observés sont attribuables à un programme, ce qui signifie que le programme a eu des effets incrémentiels.

Attrition : Fait pour les participants à un traitement (ou les membres d'un groupe témoin) de délaisser le programme. Ce facteur peut nuire à la comparabilité des groupes expérimental et témoin et constituer un obstacle à la validité interne.

Base de sondage : Liste des éléments de la population sondée.

Biais attribuable à la sélection : Fait, pour les groupes expérimental et témoin relatifs à un programme, d'être au départ inégaux sur le plan statistique, pour un ou plusieurs facteurs importants. C'est un obstacle à la validité interne.

Biais attribuable à l'enquêteur : Influence que l'enquêteur exerce sur le répondant. Cette influence peut être attribuable à plusieurs facteurs, dont les caractéristiques physiques et psychologiques de l'enquêteur, qui peuvent susciter des réponses différentes selon le répondant.

Biais attribuable à l'ordre des réponses : Facteur de distorsion des résultats causé par l'ordre dans lequel les questions sont posées dans une enquête.

Biais attribuable aux essais  : Changements observés dans le cadre d'une quasi-expérience qui peuvent être attribuables au fait que les participants connaissent bien l'instrument de mesure. C'est un obstacle possible à la validité interne.

Biais attribuable aux instruments : Conséquence d'un changement d'instrument selon la mesure lorsqu'on a recours à des enquêteurs différents. C'est un obstacle à la validité interne.

Biais attribuable aux répondants loquaces : Biais qui se produit lorsque certaines personnes s'expriment plus franchement que d'autres, et que leurs points de vue ressortent davantage.

Biais de non-réponse : Facteur de distorsion attribuable à la non-réponse  : les réponses provenant d'unités d'échantillonnage qui fournissent une information peuvent ne pas correspondre aux réponses des unités d'échantillonnage qui ne répondent pas, et ce sur des aspects importants.

Biais principaux : Effets distincts de chaque variable expérimentale.

Biais statistiquement significatif : Biais observé et probablement pas exclusivement attribuable au hasard. Ce biais peut être vérifié au moyen de tests statistiques.

Composition aléatoire : Technique utilisée pour les entrevues par téléphone et permettant de choisir un échantillon. L'enquêteur compose un numéro à l'aide d'un système de composition aléatoire quelconque, sans savoir si ce numéro existe ni s'il s'agit du numéro d'une entreprise, d'un hôpital ou d'un ménage.

Consultation de spécialistes : Méthode de collecte des données faisant appel aux opinions et aux connaissances de spécialistes dans des domaines fonctionnels en tant qu'indicateurs des résultats d'un programme.

Dépouillement de la documentation spécialisée : Méthode de collecte des données qui comprend l'examen de rapports de recherche, de publications et de livres.

Diffusion ou imitation du traitement : Fait pour les répondants appartenant à un groupe témoin de ressentir eux aussi les effets destinés au groupe expérimental (exposé au programme). C'est un obstacle à la validité interne.

Données longitudinales : Données recueillies au cours d'une période; il peut aussi s'agir d'une série de données accumulées concernant des personnes ou des entités.

Données objectives : Observations dénuées d'impressions personnelles et fondées sur des faits observables. Les données objectives peuvent être mesurées quantitativement ou qualitativement.

Données primaires : Données recueillies par une équipe d'évaluation expressément pour l'évaluation.

Données qualitatives : Observations catégoriques plutôt que numériques portant souvent sur les attitudes, les perceptions et les intentions.

Données quantitatives : Observations numériques.

Données secondaires : Données recueillies et consignées par une autre personne ou une autre organisation (ordinairement à une date antérieure), habituellement à des fins autres que celles de l'évaluation en cours.

Données subjectives : Observations dans lesquelles entrent en jeu des sentiments, des attitudes et des perceptions personnelles. Les données subjectives peuvent être mesurées quantitativement ou qualitativement.

Données transversales : Données recueillies au même moment auprès de diverses entités.

Écart type : L'écart type d'un ensemble de mesures numériques (sur une «échelle d'intervalles») indique le degré de regroupement des mesures individuelles autour de la moyenne.

Échantillonnage aléatoire : Sélection d'unités d'une population fondée sur le principe de la répartition au hasard. Il existe pour chaque unité de la population une probabilité calculable (différente de zéro) d'être choisie.

Échantillonnage non aléatoire : Choix des unités d'un échantillon effectué de façon à ce chaque unité de la population n'ait pas une probabilité calculable différente de zéro d'être choisie pour faire partie de l'échantillon.

Échantillonnage par liste : Technique principalement utilisée pour les entrevues téléphoniques afin de prélever un échantillonnage. L'enquêteur part d'une base de sondage renfermant des numéros de téléphone, choisit une unité dans cette base et réalise une entrevue téléphonique soit avec une personne précise, soit avec la première qui répond à ce numéro.

Échantillonnage stratifié  : Technique d'échantillonnage aléatoire suivant laquelle une population est divisée en couches relativement homogènes appelées strates. Des échantillons appropriés sont choisis dans chaque strate.

Échantillonnage subdivisé  : Technique d'échantillonnage aléatoire impliquant le choix d'un certain nombre d'échantillons indépendants à partir d'une population plutôt que celui d'un seul échantillon. Chaque sous-échantillon est appelé échantillon subdivisé et est choisi indépendamment des autres en fonction du même plan d'échantillonnage.

Effet d'interaction  : Effet net combiné d'au moins deux variables qui influent sur le résultat d'une quasi-expérience.

Enquête  : Méthode de collecte des données qui suppose une démarche planifiée en vue de recueillir les données requises auprès d'un échantillon de la population visée (ou au moyen d'un recensement complet). La population visée est composée des personnes ou des entités touchées par le programme (ou de personnes ou entités semblables).

Entrevue non structurée  : Technique d'entrevue utilisant une conversation normale menant à des questions spontanées, souvent dans le cadre de l'observation régulière des activités d'un programme.

Entrevue suivant une présentation type  : Technique d'entrevue utilisant des questions ouvertes et des questions fermées dont le texte est rédigé avant l'entrevue.

Erreur autre que d'échantillonnage  : Type d'erreur non attribuable à l'échantillonnage se produisant dans presque toute activité d'enquête (même un recensement). Il peut s'agir par exemple de l'interprétation différente que les répondants donnent aux questions, d'erreurs de traitement des résultats ou d'erreurs dans la base de sondage.

Erreur d'échantillonnage  : Erreur attribuée à l'échantillonnage et à la mesure d'un segment de la population pour éviter de devoir exécuter un recensement dans les mêmes conditions générales.

Étude de cas  : Méthode de collecte des données qui suppose des études en profondeur de cas ou de projets liés à un programme. Cette méthode comporte une ou plusieurs techniques de collecte des données (p. ex., entrevues, étude de dossiers).

Étude de dossiers  : Méthode de collecte des données impliquant l'examen des dossiers d'un programme. Il existe ordinairement deux sortes de dossiers  : les dossiers à caractère général au sujet d'un programme et les dossiers portant sur des projets, clients ou participants particuliers.

Événements historiques  : Événements non liés au programme, mais influant sur les réactions des intéressés.

Exactitude  : Différence entre une estimation faite à partir d'un échantillon et des résultats obtenus à la suite d'un recensement. Dans les estimations non biaisées, précision et exactitude sont synonymes.

Exhaustivité  : Étendue et profondeur maximales de l'examen des questions faisant l'objet de l'évaluation.

Facteurs de régression  : Pseudo-changements des résultats d'un programme qui se produisent lorsqu'on a choisi pour un programme des personnes ou des unités de traitement en raison de leurs résultats extrêmes. Ces facteurs sont un obstacle à la validité interne.

Fiabilité  : Degré auquel une mesure appliquée de façon répétée à une situation donnée produit les mêmes résultats, pourvu que la situation ne change pas d'une application à une autre. La fiabilité peut correspondre à la stabilité de la mesure dans le temps ou à la permanence de la mesure d'un endroit à un autre.

Formule de la taille de l'échantillon  : Équation utilisée pour déterminer la taille minimale requise de l'échantillon. Cette équation varie selon la sorte d'estimation à faire, le degré de précision recherché et la méthode d'échantillonnage.

Groupe de comparaison  : Groupe qui n'est pas exposé à un programme ou à un traitement. Voir également «groupe témoin».

Groupe expérimental  : En recherche, groupe de sujets qui bénéficie du programme; aussi appelé groupe de traitement ou groupe exposé au programme.

Groupe témoin  : Dans les modèles quasi-expérimentaux, groupe de sujets qui éprouve toutes les influences, sauf celles du programme, exactement de la même façon que le groupe exposé à un traitement (qu'on appelle aussi «groupe expérimental»). On peut l'appeler groupe non exposé au programme.

Guide d'entrevue  : Liste de sujets à aborder ou de questions à poser au cours de l'entrevue.

Hypothèses plausibles  : Autres façons possibles d'expliquer les résultats d'un programme, c'est-à-dire influences autres que celle du programme.

Inférence causale  : Processus logique utilisé pour tirer des conclusions à partir des données ou des éléments de preuve sur les retombées d'un programme. Lorsqu'on dit qu'un programme a produit ou causé un certain résultat, cela signifie que, s'il n'avait pas existé (ou s'il avait existé sous une forme ou avec une ampleur différentes), le résultat obtenu (ou le niveau de résultat) ne se serait pas produit.

Instruments de mesure  : Instruments utilisés pour recueillir des données (p. ex., questionnaires, directives d'entrevue, formulaires d'inscription des observations).

Interaction entre la sélection et le programme  : Réceptivité inhabituelle des participants à un programme attribuable au fait qu'ils sont conscients de participer au programme ou à une enquête. C'est un obstacle à la validité interne et externe.

Interaction entre le milieu et le programme  : Non-représentativité du milieu dans lequel se déroule le projet expérimental ou pilote par rapport au milieu envisagé pour le programme. C'est un obstacle à la validité externe.

Interaction entre les événements historiques et le programme  : Conditions dans lesquelles s'est déroulé le programme et qui ne sont pas représentatives des conditions futures. C'est un obstacle à la validité externe.

Maturation  : Changements des résultats attribuables au temps plutôt qu'au programme, par exemple le vieillissement des participants. C'est un obstacle à la validité interne.

Méthode d'échantillonnage  : Méthode de choix des unités d'échantillonnage (p. ex., Ã©chantillonnage systématique, stratifié).

Méthode de collecte des données  : Manière dont sont réunis les faits relatifs à un programme et à ses résultats. Le dépouillement de la documentation spécialisée, l'étude de dossiers, les observations directes, les enquêtes, la consultation de spécialistes et les études de cas figurent parmi les méthodes de collecte des données fréquemment utilisées pour l'évaluation de programmes.

Méthodes analytiques directes  : Méthodes utilisées pour traiter les données afin de fournir des éléments de preuve sur les retombées ou les effets directs d'un programme.

Modalités multiples d'établissement de la preuve  : Utilisation de plusieurs stratégies d'évaluation indépendantes pour examiner la même question d'évaluation, à partir de sources de données ou de méthodes analytiques des données différentes.

Modèle d'entrées-sorties  : Modèle économique pouvant servir à analyser les dépendances mutuelles entre différents éléments d'une économie. C'est un modèle systématique qui présente les échanges de biens et de services entre les segments de production et de consommation d'une économie.

Modèle d'évaluation  : Modèle logique ou cadre conceptuel utilisé pour tirer des conclusions au sujet des résultats.

Modèle d'évaluation idéal  : Comparaison conceptuelle de deux ou de plusieurs situations identiques en tout point, sauf que le programme s'applique dans un seul cas. Un seul groupe (le groupe expérimental) bénéficie du programme; l'autre; les autres groupes (groupes témoins) sont exposés à toutes les influences pertinentes, sauf celles du programme, exactement de la même façon que le groupe expérimental. Les résultats sont mesurés de manière identique pour chaque groupe, et toute différence observée peut être attribuée au programme.

Modèle implicite  : Modèle dans lequel il n'y a pas de groupe témoin officiel, et où les mesures sont prises après l'exposition au programme.

Modèle macro-économique  : Modèle des interactions entre les marchés des produits, de la main-d'_uvre et des biens d'une économie qui s'intéresse aux niveaux de production et des prix, compte tenu des interactions entre l'offre et la demande globales.

Modèle micro-économique  : Modèle du comportement économique des acheteurs et vendeurs individuels sur un marché donné et dans des circonstances particulières.

Modèle quasi expérimental  : Structure d'étude utilisant des groupes de comparaison pour faire des inférences causales, mais sans recours à la randomisation pour constituer un groupe expérimental et un groupe témoin. Le premier groupe est ordinairement acquis; le groupe expérimental est choisi pour correspondre le plus possible avec lui, de façon à permettre des inférences sur les effets incrémentiels du programme.

Modèle statistique  : Modèle ordinairement fondé sur des recherches antérieures et permettant de transformer une mesure précise des effets en une autre mesure précise des effets, une mesure précise des effets en une gamme d'autres mesures des effets ou une gamme de mesures des effets en une autre gamme de mesures des effets.

Modèles expérimentaux (ou aléatoires)  : Modèles utilisés pour établir l'équivalence initiale entre un ou plusieurs groupes témoins et le groupe exposé à un traitement en créant administrativement des groupes par assignation aléatoire, ce qui permet d'en assurer l'équivalence mathématique. Comme exemples de modèles expérimentaux ou aléatoires, signalons les suivants  : les modèles avec groupes aléatoires, les modèles à carré latin, les modèles fractionnels et les quatre groupes de Salomon.

Niveau de confiance  : Affirmation selon laquelle la valeur réelle d'un paramètre pour une population donnée se situe à l'intérieur d'un certain niveau de probabilité dans une fourchette spécifiée de valeurs.

Non-réponse  : Situation qui se produit lorsqu'on ne peut pas obtenir d'information auprès d'unités d'échantillonnage.

Objectivité  : Qualité des éléments de preuve et des conclusions qui peut être vérifiée par une personne autre que les auteurs.

Observation sur le terrain  : Méthode de collecte des données qui suppose des visites aux endroits où un programme est exécuté. Elle a pour but d'évaluer directement le contexte du programme, ses activités et les personnes qui y participent.

Politique monétaire  : Mesure de l'État exerçant une influence sur la masse monétaire et les taux d'intérêt. Il peut aussi s'agir d'un programme.

Population  : Ensemble des unités auxquelles s'appliquent les résultats d'une enquête.

Profondeur  : Degré d'exactitude et de détail d'une mesure.

Randomisation  : Utilisation d'un plan de probabilité pour établir un échantillon. On peut utiliser des tables de nombres aléatoires, des ordinateurs, des dés, des cartes, etc.

Stratégie d'évaluation  : Méthode utilisée pour recueillir des données sur les retombées d'un programme. Elle comprend un modèle d'évaluation, une méthode de collecte des données et une technique d'analyse.

Taille de l'échantillon  : Nombre d'unités à échantillonner.

Unité d'échantillonnage  : Unité utilisée pour l'échantillonnage. La population devrait être divisible en un nombre fini d'unités distinctes qui ne se chevauchent pas, afin que chaque membre de la population n'appartienne qu'à une unité d'échantillonnage.

Validité de la mesure  : Une mesure est valable si elle représente ce qu'elle est censée représenter. Les mesures valables ne présentent pas de biais systématique.

Validité des conclusions  : Aptitude à généraliser les conclusions tirées d'un programme actuel et à les appliquer à d'autres endroits, lieux ou situations. Pour formuler des conclusions généralisables, il faut satisfaire aux critères de validité interne et de validité externe.

Validité externe  : Aptitude à généraliser les conclusions tirées d'un programme et à les appliquer à des conditions futures ou différentes. Les obstacles à la validité externe comprennent l'interaction entre la sélection et le programme, l'interaction entre le milieu et le programme et l'interaction entre les événements historiques et le programme.

Validité interne  : Aptitude à affirmer qu'un programme a eu des résultats mesurés (jusqu'à un certain point), malgré d'autres explications plausibles. Les obstacles à la validité interne les plus courants sont les événements historiques, la maturation, l'attrition, les biais attribuables à la sélection, les facteurs de régression statistique, la diffusion et l'imitation du traitement, ainsi que l'essai.

Annexe 3 - BIBLIOGRAPHIE

Abt, C.G., éd., The Evaluation of Social Programs, Thousand Oaks : Sage Publications, 1976.

Alberta, ministère du Trésor, Measuring Performance : A Reference Guide, septembre 1996.

Alkin, M.C., A Guide for Evaluation Decision Makers, Thousand Oaks : Sage Publications, 1986.

Angelsen, Arild et Ussif Rashid Sumaila, Hard Methods for Soft Policies : Environmental and Social Cost-Benefit Analysis, Bergen, Norvège  : Institut Michelsen, 1995.

Australie, ministère des Finances, Handbook of Cost-Benefit Analysis, Canberra, 1991.

Babbie, E.R., Survey Research Methods, Belmont : Wadsworth, 1973.

Baird, B.F., Managerial Decisions Under Uncertainty, New York : Wiley Interscience, 1989.

Behn, R.D. et J.W. Vaupel, Quick Analysis for Busy Division Makers, New York : Basic Books, 1982.

Belli, P., Guide to Economic Appraisal of Development Projects, Washington (DC) : Banque mondiale, 1996.

Bentkover, J.D., Covdlo, V.T. et J. Mumpower, Benefits Assessment : The State of the Art, Dordrecht, Pays-Bas  : D. Reidel Publishing Co., 1986.

Berk, Richard A. et Peter H. Rossi, Thinking About Program Evaluation, Thousand Oaks : Sage Publications, 1990.

Bickman, L., éd., Using Program Theory in Program Evaluation, Vol. 33 de New Directions in Program Evaluation, San Francisco : Jossey-Bass, 1987.

Blalock, H.M., Jr., Measurement in the Social Sciences : Theories and Strategies, Chicago : Aldine, 1974.

Blalock, H.M., Jr., éd., Causal Models in the Social Sciences, Chicago : Aldine, 1971.

Boberg, Alice L. et Sheryl A. Morris-Khoo, «The Delphi Method : A Review of Methodology and an Application in the Evaluation of a Higher Education Program», Canadian Journal of Program Evaluation, Vol. 7, N^o 1, avril-mai, 1992, p. 27 à 40.

Boruch, R.F., «Conducting Social Experiments», Evaluation Practice in Review, Vol. 34 de New Directions in Program Evaluation, San Francisco : Jossey-Bass, 1987, p. 45 à 66.

Boruch, R.F., et al., Reanalysing Program Evaluations - Policies and Practices for Secondary Analysis for Social and Education Programs, San Francisco : Jossey-Bass, 1981.

Boruch, R.F., «On Common Contentions About Randomized Field Experiments», in Glass, Gene V., éd., Evaluation Studies Review Annual, Thousand Oaks : Sage Publications, 1976.

Bradburn, N.M. et S. Sudman, Improving Interview Methods and Questionnaire Design, San Francisco : Jossey-Bass, 1979.

Braverman, Mark T. et Jana Kay Slater, Advances in Survey Research, Vol. 70 de New Directions in Program Evaluation, San Francisco : Jossey-Bass, 1996.

Buffa, E.S. et J.S. Dyer, Management Science Operations Research : Model Formulation and Solution Methods, New York : John Wiley and Sons, 1977.

Cabatoff, Kenneth A., «Getting On and Off the Policy Agenda : A Dualistic Theory of Program Evaluation Utilization», Canadian Journal of Program Evaluation, Vol. 11, N^o 2, automne 1996, p. 35 à 60.

Campbell, D., «Considering the Case Against Experimental Evaluations of Social Innovations», Administrative Science Quarterly ,Vol. 15, N^o 1, 1970, p. 111 à 122.

Campbell, D.T., «Degrees of Freedom and the Case Study», Comparative Political Studies, Vol. 8, 1975, p. 178 à 193.

Campbell, D.T. et J.C. Stanley, Experimental and Quasi-Experimental Designs for Research, Chicago : Rand-McNally, 1963.

Canada, Bureau du Vérificateur général du Canada, Bulletin 84-7, Photographies et autres aides visuelles.

Canada, Bureau du Vérificateur général, «Le choix et l'application des techniques de collecte des éléments probants en vérification d'optimisation des ressources», Analyse coûts-avantages, 1994, annexe B5.

Canada, Secrétariat du Conseil du Trésor, Aborder les années 90  : Perspectives gouvernementales pour l'évaluation de programmes, Ottawa, 1991.

Canada, Secrétariat du Conseil du Trésor, «Examen, vérification interne et évaluation», Manuel du Conseil du Trésor, Ottawa, dernière révision en 1994.

Canada, Secrétariat du Conseil du Trésor, Guide de l'analyse avantages-coûts, Ottawa, 1997.

Canada, Secrétariat du Conseil du Trésor, Guide de la gestion de la qualité, Ottawa, octobre 1992.

Canada, Secrétariat du Conseil du Trésor, Guides des services de qualité  :

Services de qualité - Tour d'horizon, Ottawa, octobre 1995.
Guide I - Consultation des clients, Ottawa, octobre 1995.
Guide II - Mesure de la satisfaction des clients, Ottawa, octobre 1995.
Guide III - Collaboration avec les syndicats, Ottawa, octobre 1995.
Guide IV - Un milieu propice à l'apprentissage, Ottawa, octobre 1995.
Guide V - Reconnaissance du mérite, Ottawa, octobre 1995.
Guide VI - Sondage auprès des employés, Ottawa, octobre 1995.
Guide VII - Normes de service, octobre 1995.
Guide VIII - Analyses comparatives et meilleures pratiques, Ottawa, octobre 1995.
Guide IX - Communications, Ottawa, octobre 1995.
Guide X - Analyse comparative et partage des pratiques examplaires - Mise à jour du Guide XI - Gestion efficace des plaintes, Ottawa, juin 1996.
Guide XII - Qui est le client? - Document de travail, Ottawa, juillet 1996.
Guide XIII - Guide des gestionnaires pour la prestation de services de qualité, Ottawa, septembre 1996.

Canada, Secrétariat du Conseil du Trésor, L'évaluation des programmes fédéraux : Répertoire sur l'utilisation des évaluations, Ottawa, 1991.

Canada, Secrétariat du Conseil du Trésor, Les normes de service : Un guide pour l'initiative, Ottawa, février 1995.

Canada, Secrétariat du Conseil du Trésor, Mesure de la satisfaction des clients - Concevoir et adopter de saines pratiques de mesure et de suivi de la satisfaction des clients, Ottawa, octobre 1991.

Canada, Secrétariat du Conseil du Trésor, Normes d'évaluation de programmes dans les ministères et organismes fédéraux, Ottawa, juillet 1989.

Canada, Secrétariat du Conseil du Trésor, Pour offrir aux Canadiens et aux Canadiennes un service de qualité à un prix raisonnable - Établissement de normes de service au gouvernement fédéral, Ottawa, décembre 1994.

Canada, Secrétariat du Conseil du Trésor, Pour une fonction d'examen plus efficace - Rapport annuel au Parlement par le Président du Conseil du Trésor, Ottawa, octobre 1995.

Canada, Secrétariat du Conseil du Trésor, Repenser le rôle de l'État : Améliorer la mesure des résultats et de la responsabilisation - Rapport annuel au Parlement par le Président du Conseil du Trésor, Ottawa, octobre 1996.

Canada, Statistique Canada, La structure par entrées-sorties de l'économie canadienne 1961-1981, Ottawa, avril 1989, n^o de cat. 15-201F.

Canada, Statistique Canada, Lignes directrices concernant la qualité (2^e Ã©dition), Ottawa, 1987.

Canada, Statistique Canada, Répertoire des méthodes d'évaluation des erreurs dans les recensements et les enquêtes, Ottawa, 1982, CSCCB-F.

Caron, Daniel J., «Knowledge Required to Perform the Duties of an Evaluator», Canadian Journal of Program Evaluation, Vol. 8, N^o 1, avril-mai 1993, p. 59 à 78.

Casley, D.J. et K. Kumar, The Collection, Analysis and Use of Monitoring and Evaluation Data, Washington (DC) : Banque mondiale, 1989.

Chatterjee, S. et B. Price, Regression Analysis by Example (2^e Ã©dition), New York : John Wiley and Sons, 1995.

Chelimsky, Eleanor; éd., Program Evaluation : Patterns and Directions, Washington : American Society for Public Administration, 1985.

Chelimsky, Eleanor et William R. Shadish, éd., Evaluation for the 21st Century : A Handbook, Thousand Oaks : Sage Publications, 1997.

Chen, H.T. et P.H. Rossi, «Evaluating with Sense : the Theory-Driven Approach», Evaluation Review, Vol. 7, 1983, p. 283 à 302.

Chen, Huey-Tsyh, Theory-Driven Evaluations, Thousand Oaks : Sage Publications, 1990.

Chenery, H. et P. Clark, Inter-industry Economics, New York : John Wiley and Sons, 1959.

Ciarlo, J., éd., Utilizing Evaluation, Thousand Oaks : Sage Publications, 1984.

Clemen, R.T., Making Hard Decisions, Duxbury Press, 1991, sections 1 à 3.

Cook, T.D. et D.T. Campbell, Quasi-Experimentation : Designs and Analysis Issues for Field Settings, Chicago : Rand-McNally, 1979.

Cook, T.D. et C.S. Reichardt, éd.,Qualitative and Quantitative Methods in Evaluation Research, Thousand Oaks : Sage Publications, 1979.

Cordray, D.S., «Quasi-Experimental Analysis : A Mixture of Methods and Judgement», in Trochim, W.M.K., éd., Advances in Quasi-Experimental Design and Analysis, p. 9 à 27, Vol. 31 de New Directions in Program Evaluation, San Francisco : Jossey-Bass, 1986.

Datta L. et R. Perloff., Improving Evaluations, Thousand Oaks : Sage Publications, 1979, section II.

Delbecq, A.L., et al., Group Techniques in Program Planning : A Guide to the Nominal Group and Delphi Processes, Glenview  : Scott, Foresman, 1975.

Dexter, L.A., Elite and Specialized Interviewing, Evanston (Illinois)  : Northwestern University Press, 1970.

Duncan, B.D., Introduction to Structural Equation Models, New York : Academic Press, 1975.

Eaton, Frank, «Measuring Program Effects in the Presence of Selection Bias : The Evolution of Practice», Canadian Journal of Program Evaluation, Vol. 9, N^o 2, octobre-novembre 1994, p. 57 à 70.

Favaro, Paul et Marie Billinger, «A Comprehensive Evaluation Model for Organizational Development», Canadian Journal of Program Evaluation, Vol. 8, N^o 2, octobre-novembre 1993, p. 45 à 60.

Fienberg, S., The Analysis of Cross-classified Categorical Data (2^e Ã©dition), Cambridge : MIT (Massachusetts Institute of Technology), 1980.

Fitzgibbon, C.T. et L.L. Morris, Evaluator's Kit (2^e Ã©dition), Thousand Oaks : Sage Publications, 1988.

Fowler, Floyd J., Improving Survey Questions : Design and Evaluation, Thousand Oaks : Sage Publications, 1995.

Fox, J., Linear Statistical Models and Related Methods, with Applications to Social Research, New York : Wiley, 1984.

Gauthier, B., éd., Recherche sociale : de la problématique à la collecte des données, Montréal  : Les Presses de l'Université du Québec, 1984.

Gliksman, Louis, et al., «Responders vs. Non-Responders to a Mail Survey : Are They Different?», Canadian Journal of Program Evaluation, Vol. 7, N^o 2, octobre-novembre 1992, p. 131 à 138.

Globerson, Aryé, et al., You Can't Manage What You Don't Measure : Control and Evaluation in Organizations, Brookfield : Gower Publications, 1991.

Goldberger, A.S. et D.D. Duncan, Structural Equation Models in the Social Sciences, New York : Seminar Press, 1973.

Goldman, Francis et Edith Brashares, «Performance and Accountability : Budget Reform in New Zealand», Public Budgeting and Finance, Vol. 11, N^o 4, hiver 1991, p. 75 à 85.

Goode, W.J. et Paul K. Hutt, Methods in Social Research, New York : McGraw-Hill, 1952, chapitre 9.

Gordon, R.A., Economic Instability and Growth : The American Record, Harper & Row, 1974.

Guba, E.G., «Naturalistic Evaluation», in Cordray, D.S., et al., éd., Evaluation Practice in Review, Vol. 34 de New Directions in Program Evaluation, San Francisco : Jossey-Bass, 1987.

Guba, E.G. et Y.S. Lincoln, Effective Evaluation : Improving the Usefulness of Evaluation Results Through Responsive and Naturalistic Approaches, San Francisco : Jossey-Bass, 1981.

Hanley, J.A., «Appropriate Uses of Multivariate Analysis», Annual Review of Public Health, Palo Alto : Annual Reviews Inc., 1983, p. 155 à 180.

Hanushek, E.A. et J.E. Jackson, Statistical Methods for Social Scientists, New York : Academic Press, 1977.

Harberger, A.C., Project Evaluation : Collected Papers, Chicago : Markham Publishing Co., 1973.

Heilbroner, R.L. et L.C. Thurow, Economics Explained, Toronto : Simon and Schuster Inc., 1987.

Heise, D.R., Causal Analysis, New York : Wiley, 1975.

Henderson, J. et R. Quandt, Micro-economic Theory, New York : McGraw-Hill, 1961.

Hoaglin, D.C., et al., Data for Decisions, Cambridge (MA)  : Abt Books, 1982.

Hudson, Joe, et al., éd., Action Oriented Evaluation in Organizations : Canadian Practices, Toronto : Wall and Emerson, 1992.

Huff, D., How to Lie with Statistics, Penguin, 1973.

Jolliffe, R.F., Common Sense Statistics for Economists and Others, Routledge and Kegan Paul, 1974.

Jorjani, Hamid, «The Holistic Perspective in the Evaluation of Public Programs : A Conceptual Framework», Canadian Journal of Program Evaluation, Vol. 9, N^o 2, octobre-novembre 1994, p. 71 à 92.

Katz, W.A., Introduction to Reference Work : Reference Services and Reference Processes, Vol. II, New York : McGraw-Hill, 1982, chapitre 4.

Kenny, D.A., Correlation and Causality, Toronto : John Wiley and Sons, 1979.

Kerlinger, F.N., Behavioural Research : A Conceptual Approach, New York : Holt, Rinehart and Winston, 1979.

Kidder, L.H. et M. Fine, «Qualitative and Quantitative Methods : when Stories Converge», in Multiple Methods in Program Evaluation, Vol. 35 de New Directions in Program Evaluation, San Francisco : Jossey-Bass, 1987.

Kish, L., Survey Sampling, New York : Wiley, 1965.

Krause, Daniel Robert, Effective Program Evaluation : An Introduction, Chicago : Nelson-Hall, 1996.

Krueger, R.A., Focus Groups : A Practical Guide for Applied Research, Thousand Oaks : Sage Publications, 1988.

Leeuw, Frans L., «Performance Auditing and Policy Evaluation : Discussing Similarities and Dissimilarities», Canadian Journal of Program Evaluation, Vol. 7, N^o 1, avril-mai 1992, p. 53 à 68.

Leontief, W., Input-Output Economics, New York : Oxford University Press, 1966.

Levine, M., «Investigative Reporting as a Research Method : an Analysis of Bernstein and Woodward's `All The President's Men'», American Psychologist, Vol. 35, 1980, p. 626 à 638.

Love, Arnold J., Evaluation Methods Sourcebook II, Ottawa  : Société canadienne d'évaluation, 1995.

Mark, M.M., «Validity Typologies and the Logic and Practice of Quasi-Experimentation», in W.M.K. Trochim, éd., Advances in Quasi-Experimental Design and Analysis, p. 47 à 66, Vol. 31 de New Directions in Program Evaluation,San Francisco : Jossey-Bass, 1986.

Martin, Lawrence L. et Peter M. Kettner, Measuring the Performance of Human Service Programs, Thousand Oaks : Sage Publications, 1996.

Martin, Michael O. et V.S. Mullis, éd., Quality Assurance In Data Collection, Chestnut Hill : Center for the Study of Testing, Evaluation, and Educational Policy, Boston College, 1996.

Maxwell, Joseph A., Qualitative Research Design : An Interactive Approach, Thousand Oaks : Sage Publications, 1996.

Mayne, John et Eduardo Zapico-Goñi, Monitoring Performance in the Public Sector : Future Directions From International Experience, New Brunswick (NJ) : Transaction Publishers, 1996.

Mayne, John, et al., éd., Advancing Public Policy Evaluation : Learning From International Experiences, Amsterdam : North-Holland, 1992.

Mayne, John et R.S. Mayne, «Will Program Evaluation be Used in Formulating Policy?», in Atkinson, M. et M. Chandler, éd., The Politics of Canadian Public Policy, Toronto : University of Toronto Press, 1983.

Mayne, John, «In Defense of Program Evaluation», Canadian Journal of Program Evaluation, Vol. 1, N^o 2, 1986, p. 97 à 102.

McClintock, C.C., et al., «Applying the Logic of Sample Surveys to Qualitative Case Studies : The Case Cluster Method», in Van Maanen, J., éd., Qualitative Methodology, Thousand Oaks : Sage Publications, 1979.

Mercer, Shawna L. et Vivek Goel, «Program Evaluation in the Absence of Goals : A Comprehensive Approach to the Evaluation of a Population-Based Breast Cancer Screening Program», Canadian Journal of Program Evaluation, Vol. 9, N^o 1, avril-mai 1994, p. 97 à 112.

Miles, M.B. et A.M. Huberman, Qualitative Data Analysis : A Sourcebook and New Methods, Thousand Oaks : Sage Publications, 1984.

Miller, J.C. III et B. Yandle, Benefit-Cost Analyses of Social Regulation, Washington : American Enterprise Institute, 1979.

Moore, M.H., Creating Public Value : Strategic Management in Government, Boston : Harvard University Press, 1995.

Morris, C.N. et J.E. Rolph, Introduction to Data Analysis and Statistical Inference, Englewood Cliffs : Prentice Hall, 1981.

Mueller, J.H., Statistical Reasoning in Sociology, Boston : Houghton Mifflin, 1977.

Nachmias, C. et D. Nachmias, Research Methods in the Social Sciences, New York : St. Martin's Press, 1981, chapitre 7.

Nelson, R., Merton, P. et E. Kalachek, Technology, Economic Growth and Public Policy, Washington (DC) : Brookings Institute, 1967.

Nutt, P.C. et R.W. Backoff, Strategic Management of Public and Third Sector Organizations, San Francisco : Jossey-Bass, 1992.

O'Brecht, Michael, «Stakeholder Pressures and Organizational Structure», Canadian Journal of Program Evaluation, Vol. 7, N^o 2, octobre-novembre 1992, p. 139 à 147.

Okun, A., The Political Economy of Prosperity, Norton, 1970.

Paquet, Gilles et Robert Shepherd, «The Program Review Process : A Deconstruction», Ottawa  : Faculté d'administration, Université d'Ottawa, 1996.

Patton, M.Q., Qualitative Evaluation Methods, Thousand Oaks : Sage Publications, 1980.

Patton, M.Q., Creative Evaluation (2^e Ã©dition), Thousand Oaks : Sage Publications, 1986.

Patton, M.Q., Practical Evaluation, Thousand Oaks : Sage Publications, 1982.

Patton, M.Q., Utilization-Focused Evaluation (2^e Ã©dition), Thousand Oaks : Sage Publications, 1986.

Pearsol, J.A., éd., «Justifying Conclusions in Naturalistic Evaluations», Evaluation and Program Planning, Vol. 10, N^o 4, 1987, p. 307 à 358.

Perret, Bernard, «Le contexte français de l'évaluation : Approche comparative», Canadian Journal of Program Evaluation, Vol. 9, N^o 2, octobre-novembre 1994, p. 93 à 114.

Peters, Guy B. et Donald J. Savoie, Governance in a Changing Environment, Centre canadien de gestion, Montréal & Kingston : McGill-Queen's University Press, 1993.

Polkinghorn, R.S., Micro-theory and Economic Choices, Richard Irwin Inc., 1979.

Posavac, Emil J. et Raymond G. Carey, Program Evaluation : Methods and Case Studies (5^e Ã©dition), Upper Saddle River (NJ) : Prentice Hall, 1997.

Pressman, J.L. et A. Wildavsky, Implementation, Los Angeles : UCLA Press, 1973.

Ragsdale, C.T., Spreadsheet Modelling and Decision Analysis, Cambridge : Course Technology Inc., 1995.

Reavy, Pat, et al., «Evaluation as Management Support : The Role of the Evaluator», Canadian Journal of Program Evaluation, Vol. 8, N^o 2, octobre-novembre 1993, p. 95 à 104.

Rindskopf, D., «New Developments in Selection Modeling for Quasi-Experimentation», in W.M.K. Trochim, éd., Advances in Quasi-Experimental Design and Analysis, p. 79 à 89, Vol. 31 de New Directions in Program Evaluation, San Francisco : Jossey-Bass, 1986.

Rist, Ray C., éd., Program Evaluation and the Management of the Government, New Brunswick (NJ) : Transaction Publishers, 1990.

Robinson, J.P. et P.R. Shaver, Measurement of Social Psychological Attitudes, Ann Arbor : Survey Research Centre, University of Michigan, 1973.

Rossi, P.H. et H.E. Freeman, Evaluation : A Systematic Approach (2^e Ã©dition), Thousand Oaks : Sage Publications, 1989.

Rossi, P.H., Wright, J.D. et A.B. Anderson, éd., Handbook of Survey Research, Orlando : Academic Press, 1985.

Rush, Brian et Alan Ogborne, «Program Logic Models : Expanding their Role and Structure for Program Planning and Evaluation», Canadian Journal of Program Evaluation, Vol. 6, N^o 2, octobre-novembre 1991, p. 95 à 106.

Rutman, L. et John Mayne, «Institutionalization of Program Evaluation in Canada : The Federal Level», in M.Q. Patton, éd., Culture and Evaluation, Vol. 25 de New Directions in Program Evaluation, San Francisco : Jossey-Bass, 1985.

Ryan, Allan G. et Caroline Krentz, «All Pulling Together : Working Toward a Successful Evaluation», Canadian Journal of Program Evaluation, Vol. 9, N^o 2, octobre-novembre 1994, p. 131 à 150.

Ryan, Brenda et Elizabeth Townsend, «Criteria Mapping», Canadian Journal of Program Evaluation, Vol. 4, N^o 2, octobre-novembre 1989, p. 47 à 58.

Samuelson, P., Foundations of Economic Analysis, Cambridge : Harvard University Press, 1947.

Sang, H.K., Project Evaluation, New York : Wilson Press, 1988.

Sassone, P.G. et W.A. Schaffer, Cost-Benefit Analysis : A Handbook, New York : Academic Press, 1978.

Schick, Allen, The Spirit of Reform : Managing the New Zealand State, rapport commandé par le ministère du Trésor et la Commission des services aux États de la Nouvelle-Zélande, 1996.

Schmid, A.A., Benefit-Cost Analysis : A Political Economy Approach, Boulder : Westview Press, 1989.

Seidle, Leslie., Rethinking the Delivery of Public Services to Citizens, Montréal  : Institut de recherche en politiques publiques (IRPP), 1995.

Self, P., Econocrats and the Policy Process : The Politics and Philosophy of Cost-Benefit Analysis, Londres  : MacMillan, 1975.

Shadish, William R., et al. Foundations of Program Evaluation : Theories of Practice, Thousand Oaks : Sage Publications, 1991.

Shea, Michael P. et John H. Lewko, «Use of a Stakeholder Advisory Group to Facilitate the Utilization of Evaluation Results», Canadian Journal of Program Evaluation, Vol. 10, N^o 1, avril-mai 1995, p. 159 à 162.

Shea, Michael P. et Shelagh M.J. Towson, «Extent of Evaluation Activity and Evaluation Utilization of CES Members», Canadian Journal of Program Evaluation, Vol. 8, N^o 1, avril-mai 1993, p. 79 à 88.

Silk, L., The Economists, Avon Books, 1976.

Simon, H., «Causation», in D.L. Sill, éd., International Encyclopedia of the Social Sciences, Vol. 2, New York : Macmillan, 1968, p. 350 à 355.

Skaburskis, Andrejs et Fredrick C. Collignon, «Cost-Effectiveness Analysis of Vocational Rehabilitation Services», Canadian Journal of Program Evaluation, Vol. 6, N^o 2, octobre-novembre 1991, p. 1 à 24.

Skelton, Ian, «Sensitivity Analysis in Multi-criteria Decision Aids : A Demonstration of Child Care Need Assessment», Canadian Journal of Program Evaluation, Vol. 8, N^o 1, avril-mai 1993, p. 103 à 116.

Société canadienne d'évaluation, Comité de normalisation, «Standards for Program Evaluation in Canada : A Discussion Paper», Canadian Journal of Program Evaluation, Vol. 7, N^o 1, avril-mai 1992, p. 157 à 170.

Sprent, P., Statistics in Action, Penguin, 1977.

Stolzenberg, J.R.M. et K.C. Land, «Causal Modeling and Survey Research», in Rossi, P.H., et al., TITRE MANQUANT, Orlando : Academic Press, 1983, p. 613 à 675.

Stouthamer-Loeber, Magda et Welmoet Bok van Kammen, Data Collection and Management : A Practical Guide, Thousand Oaks : Sage Publications, 1995.

Suchman, E.A.,  Evaluative Research : Principles and Practice in Public Service and Social Action Programs, New York : Russell Sage, 1967.

Sugden, R. et A. Williams, The Principles of Practical Cost-benefit Analysis, Oxford : Oxford University Press, 1978.

Tellier, Luc-Normand, Méthodes d'évaluation des projets publics, Sainte-Foy : Presses de l'Université du Québec, 1994, 1995.

Thomas, Paul G., «The Politics and Management of Performance Measurement and Service Standards», Winnipeg : St-John's College, University of Manitoba, 1996.

Thompson, M., Benefit-Cost Analysis for Program Evaluation, Thousand Oaks : Sage Publications, 1980.

Thurston, W.E., «Decision-Making Theory and the Evaluator», Canadian Journal of Program Evaluation, Vol. 5, N^o 2, octobre-novembre 1990, p. 29 à 46.

Trochim, W.M.K., éd., Advances in Quasi-Experimental Design and Analysis, Vol. 31 de New Directions in Program Evaluation, San Francisco : Jossey-Bass, 1986.

Uhl, Norman et Carolyn Wentzel, «Evaluating a Three-Day Exercise to Obtain Convergence of Opinion», Canadian Journal of Program Evaluation, Vol. 10, N^o 1, avril-mai 1995, p. 151 à 158.

Van Pelt, M. et R. Timmer, Cost-Benefit Analysis for Non-Economists, Institut d'économie des Pays-Bas, 1992.

Van Maasen, J., éd., Qualitative Methodology, Thousand Oaks : Sage Publications, 1983.

Warwick, D.P. et C.A. Lininger, The Survey Sample : Theory and Practice, New York : McGraw-Hill, 1975.

Watson, D.S., Price Theory in Action, Boston : Houghton Mifflin, 1970.

Watson, Kenneth, «Selecting and Ranking Issues in Program Evaluations and Value-for-Money Audits», Canadian Journal of Program Evaluation, Vol. 5, N^o 2, octobre-novembre 1990, p. 15 à 28.

Watson, Kenneth, «The Social Discount Rate», Canadian Journal of Program Evaluation, Vol. 7, N^o 1, avril-mai 1992, p. 99 à 118.

Webb, E.J., et al., Nonreactive Measures in the Social Sciences (2^e Ã©dition), Boston : Houghton Mifflin, 1981.

Weisberg, Herbert F., Krosmick, Jon A. et Bruce D. Bowen, éd., An Introduction to Survey Research, Polling, and Data Analysis, Thousand Oaks : Sage Publications, 1996.

Weisler, Carl E., U.S. General Accounting Office, Review Topics in Evaluation : What Do You Mean by Secondary Analysis?

Williams, D.D., éd., Naturalistic Evaluation, Vol. 30 de New Directions in Program Evaluation, San Francisco : Jossey-Bass, 1986.

Wye, Christopher G. et Richard C. Sonnichsen, éd., Evaluation in the Federal Government : Changes, Trends and Opportunities, San Francisco : Jossey-Bass, 1992.

Yates, Brian T., Analyzing Costs, Procedures, Processes, and Outcomes in Human Services, Thousand Oaks : Sage Publications, 1996.

Yin, R., The Case Study as a Rigorous Research Method, Thousand Oaks : Sage Publications, 1986.

Zanakis, S.H., et al., «A Review of Program Evaluation and Fund Allocation Methods within the Service and Government», Socio-Economic Planning Sciences, Vol. 29, N^o 1, mars 1995, p. 59 à 79.

Zúñiga, Ricardo, L'évaluation dans l'action  : choix de buts et choix de procédures, Montréal  : Librairie de l'Université de Montréal, 1992.

Annexe 4 - AUTRES RÉFÉRENCES

• Administrative Science Quarterly
• American Sociological Review
• The Canadian Journal of Program Evaluation, journal officiel de la Société canadienne d'évaluation
• Canadian Public Administration
• Canadian Public Policy
• Evaluation and Program Planning
• Evaluation Practice, anciennement Evaluation Quarterly
• Evaluation Review
• Human Organization
• International Review of Administrative Sciences
• Journal of the American Statistical Association
• Journal of Policy Analysis and Management,
• Management Science
• New Directions in Program Evaluation, journal officiel de l'American Evaluation Association
• Optimum
• Policy Sciences
• Psychological Bulletin
• Public Administration
• Public Administration Review
• The Public Interest
• Public Policy
• Survey Methodology Journal

Le lecteur pourra aussi consulter avec profit d'autres publications sur l'évaluation portant sur des secteurs de programme particuliers, comme les services de santé, l'éducation, les services sociaux et la justice pénale.

• Page précédente
• Table des matières
• Texte complet
• Page suivante