Méthodes d'évaluation des programmes

• Page précédente
• Table des matières
• Texte complet
• Page suivante

Chapitre 1 - INTRODUCTION

L'évaluation du rendement des programmes est un élément clé de la stratégie de gestion des résultats du gouvernement fédéral. Le cycle de chaque programme (conception, mise en oeuvre et évaluation) s'inscrit dans celui, plus large, du Système de gestion des dépenses du gouvernement. Les plans établissent les objectifs du programme et les critères d'évaluation de son succès; les rapports sur le rendement évaluent les résultats.

La mesure du rendement est un élément essentiel de ce cycle. Les évaluations devraient fournir au moment voulu des constatations et des conclusions à la fois pertinentes, fiables et objectives sur le rendement du programme, grâce à des méthodes valides et fiables de collecte et d'analyse des données. Idéalement, les évaluations devraient présenter les constatations et les conclusions de façon claire et équilibrée, tout en précisant leur degré de fiabilité.

Ce manuel est un exposé des méthodes appropriées pour atteindre les objectifs analytiques. Dans une large mesure, les défis de l'évaluation sont typiques de ceux qui se posent dans toute la recherche en sciences sociales. La documentation pertinente foisonne d'excellentes descriptions du bon et du mauvais usage des méthodes d'évaluation. À cet égard, il convient de souligner que la documentation sur les techniques et les objets de la recherche en sciences sociales traite de façon beaucoup plus détaillée que nous le faisons des questions méthodologiques abordées dans ces pages. Il faut aussi souligner que bien peu des méthodes dont nous parlons ici devraient être utilisées sans que l'on consulte d'autres ouvrages et publications ou des praticiens d'expérience. C'est pour cette raison que la plupart des rubriques de notre manuel comprennent une liste de tels documents.

1.1 Objectifs et plan

Il est généralement difficile de choisir les méthodes appropriées d'évaluation d'un programme. C'est d'autant plus complexe en raison des nombreux points qui peuvent devoir faire l'objet de l'évaluation, du grand nombre de méthodes susceptibles d'être utilisées pour recueillir et analyser les données, compte tenu des ressources et du temps disponibles, ainsi que de la nécessité de faire en sorte que tous les points pertinents soient analysés.

Ce manuel a été conçu pour aider les praticiens et les autres parties intéressées à comprendre les facteurs méthodologiques intervenant dans la mesure et l'évaluation des résultats des programmes. L'accent est mis sur les avantages et les inconvénients des diverses méthodes étudiées. Il ne faut pas considérer le manuel comme un ensemble de lignes directrices contenant des instructions détaillées pour les évaluateurs, mais plutôt comme un exposé des éléments méthodologiques dont il faut tenir compte pour réaliser une étude d'évaluation crédible des résultats d'un programme.

1.2 Processus d'évaluation

Les évaluations comprennent trois phases (représentées à la figure 1) :

• l'étude préparatoire à l'évaluation ou le cadre (la planification);
• l'étude d'évaluation;
• la prise de décisions fondées sur les constatations et les recommandations.

L'étude préparatoire à l'évaluation dégage les principaux points et les principales questions sur lesquels l'évaluation doit porter, en déterminant les méthodes les mieux adaptées à la collecte des données recherchées. L'information est ensuite présentée au client sous forme d'options d'évaluation, pour qu'il choisisse l'approche qui lui convient. L'étude d'évaluation elle-même ne peut commencer qu'une fois son mandat établi. Les données sont alors recueillies et analysées de façon qu'on puisse en dégager des constatations sur les points à évaluer (voir les sous-études 1, 2 et 3 à la figure 1). On se base alors sur les constatations et sur les recommandations pour prendre des décisions sur l'avenir du programme. La discussion des constatations permet d'aider à assurer qu'on rende compte des résultats.

1.3 Questions à évaluer

Lorsqu'on envisage les questions à évaluer et les méthodes à utiliser à cet égard, il faut généralement faire une distinction entre deux types de résultats  :

• les extrants opérationnels;
• les résultats qui comprennent à la fois des avantages pour les clients du programme (et parfois aussi les inconvénients imprévus pour les clients et pour d'autres personnes) ainsi que les retombées connexes, associées aux objectifs du programme (par exemple, la création d'emplois, l'amélioration de la santé, de la sécurité et du mieux-être, ainsi que la sécurité nationale).

Les évaluations portent habituellement sur de nombreuses questions. Bien sûr, chaque programme est unique, mais les questions à évaluer peuvent souvent être groupées sous les trois rubriques suivantes.

• Maintien de la pertinence  : Mesure dans laquelle le programme conserve sa pertinence pour les priorités de l'État et les besoins des citoyens.
• Résultats  : Mesure dans laquelle le programme atteint ses objectifs dans les limites du budget, sans avoir d'importantes retombées indésirables.
• Rentabilité  : Mesure dans laquelle le programme fait appel à la méthode la plus appropriée, la plus efficiente et la plus économique pour atteindre ses objectifs.

En ce qui concerne les méthodes d'évaluation, on distingue deux groupes de questions à évaluer. Le premier est celui des questions liées à la théorie et à la structure du programme, c'est-à-dire à sa raison d'être et les autres solutions envisageables. Prenons par exemple un programme d'aide à l'industrie dans le cadre duquel le gouvernement accorde des subventions ponctuelles à tel ou tel projet. Dans ce cas, la question fondamentale qu'il faut se poser sur la raison d'être du programme est la suivante  : «Pourquoi le gouvernement inciterait-il des entreprises à lancer des projets qu'elles n'entreprendraient pas autrement?» Pour que le programme satisfasse à ce critère, il doit exister une justification convaincante dans la politique publique. Les avantages sociaux du programme pour le Canada doivent l'emporter sur ses coûts sociaux afin qu'il puisse en valoir la peine, même si son rendement n'est pas suffisamment élevé pour qu'une entreprise soit disposée à investir ses propres fonds. Cela pourrait arriver parce que le gouvernement peut répartir son risque sur un grand nombre de projets qui, pris individuellement, représenteraient un trop gros risque pour une entreprise privée.

Pour mieux comprendre cette question, prenons un deuxième exemple, celui d'un programme spécial d'enseignement du français ou de l'anglais aux immigrants. Sa raison d'être pourrait être justifiée par des lacunes des systèmes scolaires actuels. On se demanderait donc pourquoi le gouvernement fédéral devrait offrir un tel programme  : parce que les écoles sont surpeuplées, ou parce que seules les écoles privées en offrent un, mais à un prix inabordable pour beaucoup d'immigrants? On pourrait aussi juger nécessaire d'offrir aux immigrants plus de cours d'anglais, tout en concluant qu'une aide directe aux écoles qui en offrent déjà pourrait être une solution de remplacement plus efficace.

L'autre groupe de questions à évaluer (atteinte des objectifs, effets et conséquences) est lié aux résultats du programme. Qu'est-il arrivé grâce à celui-ci? Revenons à notre premier exemple et supposons que le gouvernement a octroyé une subvention pour un projet qui a créé dix emplois. Peut-on dire, en ce qui concerne son objectif de création d'emplois sous-jacent, que le programme a été fructueux pour cette raison? Avant de faire une déclaration crédible à ce sujet, nous devons répondre aux questions suivantes  :

• Le projet aurait-il été entrepris sans l'aide de l'État? Si oui, aurait-il été réalisé à plus petite échelle?
• Les personnes embauchées étaient-elles en chômage, ou ont-elles simplement quitté un autre emploi? Si les emplois qu'elles occupaient sont restés vacants, ou s'ils ont été simplement repris par des personnes qui avaient déjà du travail, le projet n'a peut-être eu aucun effet net de création d'emplois. Dans ce cas, l'objectif sous-jacent n'aurait pas été atteint.

L'évaluation doit porter aussi bien sur les effets attendus qu'imprévus du programme. Dans l'exemple qui nous intéresse, les effets attendus pourraient être une augmentation du revenu personnel ou l'accroissement des exportations canadiennes. Les effets imprévus pourraient comprendre un soutien financier accru des entreprises étrangères, aux dépens des sociétés canadiennes, ou encore le maintien d'activités incompatibles avec la restructuration indispensable du secteur industriel visé. Si le projet avait pu être réalisé sans l'aide de l'État, il est impossible d'imputer au programme d'aide le blâme de ses effets néfastes, pas plus que de lui attribuer le mérite de ses effets favorables.

Par ailleurs, le programme de notre deuxième exemple pourrait avoir pour objectif l'amélioration de l'aptitude à la lecture des immigrants participants, mais il pourrait aussi avoir d'autres retombées, comme le revenu auquel des immigrants devraient renoncer pour assister aux cours, les emplois ou le revenu accru qu'ils pourraient obtenir grâce à leur apprentissage de l'anglais (s'il ne s'agit pas là d'objectifs du programme) et les répercussions du programme sur les écoles qui offrent des cours analogues, par exemple, une baisse de leur clientèle ou la mise à pied d'enseignants.

Dans le tableau 1, les questions à évaluer sont groupées sous deux rubriques  : l'une théorique (raison d'être et solutions de remplacement) et l'autre concrète, axée sur les résultats du programme (atteinte des objectifs, effets et conséquences). La deuxième rubrique englobe deux grands types de problèmes d'analyse, à savoir a) les problèmes de mesure, sur la façon de mesurer les résultats d'un programme et b) les problèmes d'attribution, sur la manière de déterminer si les résultats constatés sont attribuables au programme (et dans quelle mesure ils le sont). Ces deux problèmes et la façon d'utiliser divers outils méthodologiques pour les surmonter constituent le thème principal du manuel.

Il faudrait toutefois souligner que bon nombre de questions méthodologiques liées à la détermination des résultats d'un programme sont tout aussi indissociables de l'analyse de sa raison d'être et des autres solutions envisageables. Par exemple, si l'on remet en question le maintien d'un programme, on peut procéder à une analyse approfondie pour en mesurer la pertinence (Poister, 1978, p. 6 et 7; Kamis, 1979). En pareil cas, il peut se poser des problèmes de mesure semblables à ceux qui se manifestent lorsqu'on étudie les résultats d'un programme.

Néanmoins, l'analyse de ces résultats pose au moins un problème qui ne se présente pas lorsqu'on étudie les aspects théoriques d'un programme, celui de l'attribution. C'est typiquement le plus ardu des aspects de l'évaluation, et pourtant le plus important. Les difficultés d'attribution sont l'un des principaux sujets traités dans ces pages.

Après avoir souligné les difficultés associées à l'attribution des résultats d'un programme, nous devrions préciser que leur ampleur varie selon le genre de programme et les résultats étudiés. Ainsi, la satisfaction de la clientèle pourrait être le résultat attendu d'un programme de service, lequel peut alors être le seul facteur plausible auquel on puisse attribuer le niveau de satisfaction observé. Un modèle d'évaluation relativement rudimentaire fondé sur quelques arguments seulement peut alors suffire à attribuer les résultats. Il reste toutefois que l'attribution demeure un aspect à traiter soigneusement, puisqu'un lien apparemment manifeste avec le programme peut se révéler invalide. Par exemple, le mécontentement à l'égard des Centres d'emploi du Canada peut refléter les conditions économiques globales, plutôt qu'être attribuable au service effectivement assuré grâce au programme. Dans ce cas, la détermination du niveau de satisfaction de la clientèle attribuable au programme lui-même pourrait se révéler très difficile.

Enfin, l'évaluation ne devrait pas considérer le programme comme une «boîte noire» transformant automatiquement des intrants en extrants et en effets. Cette approche laisse une énorme zone grise dans notre compréhension des raisons du succès ou de l'échec des programmes. Pour interpréter une constatation quelconque sur les résultats d'un programme, il faut être en mesure de déterminer si la réussite (ou l'échec) est attribuable au succès (ou à l'échec) du cadre théorique du programme, de sa mise en oeuvre ou de ces deux éléments. Pour faire une interprétation comme celle-là - élément indispensable à la formulation de recommandations en vue de la prise de décisions -, il faut connaître la dynamique générale et les extrants opérationnels du programme. C'est cette connaissance qui permet à l'évaluateur d'analyser les extrants dans le contexte de la raison d'être du programme et de son cadre théorique afin de déterminer les raisons de sa réussite ou de son échec.

Références  : Introduction à l'évaluation

Alberta, ministère du Trésor, Measuring Performance : A Reference Guide, Edmonton, septembre 1996.

Alkin, M.C., A Guide for Evaluation Decision Makers, Thousand Oaks : Sage Publications, 1986.

Berk, Richard A. et Peter H. Rossi, Thinking About Program Evaluation, Thousand Oaks : Sage Publications, 1990.

Canada, Secrétariat du Conseil du Trésor, Aborder les années 90  : Perspectives gouvernementales pour l'évaluation de programmes, Ottawa, 1991.

Canada, Secrétariat du Conseil du Trésor, «Examen, vérification interne et évaluation», Manuel du Conseil du Trésor, Ottawa, 1994.

Canada, Secrétariat du Conseil du Trésor, Guide de la gestion de la qualité, Ottawa, octobre 1992.

Canada, Secrétariat du Conseil du Trésor, Guides des services de qualité  : Services de qualité - Tour d'horizon, Ottawa, octobre 1995;
Guide I - Consultation des clients, Ottawa, octobre 1995;
Guide II - Mesure de la satisfaction des clients, Ottawa, octobre 1995;
Guide III - Collaboration avec les syndicats, Ottawa, octobre 1995;
Guide IV - Un milieu propice à l'apprentissage, Ottawa, octobre 1995;
Guide V - Reconnaissance du mérite, Ottawa, octobre 1995;
Guide VI - Sondages auprès des employés, Ottawa, octobre 1995;
Guide VII - Normes de service, Ottawa, octobre 1995;
Guide VIII - Analyses comparatives et meilleures pratiques, Ottawa, octobre 1995;
Guide IX - Communications, Ottawa, octobre 1995;
Guide X - Analyse comparative et partage des pratiques exemplaires - Mise à jour du Guide VIII, Ottawa, mars 1996;
Guide XI - Gestion efficace des plaintes, Ottawa, juin 1996;
Guide XII - Qui est le client? - Document de travail, Ottawa, juillet 1996;
Guide XIII - Guide des gestionnaires pour la prestation de services de qualité, Ottawa, septembre 1996.

Canada, Secrétariat du Conseil du Trésor, L'évaluation des programmes fédéraux  : Répertoire sur l'utilisation des évaluations, Ottawa, 1991.

Canada, Secrétariat du Conseil du Trésor, Les normes de service  : Un guide pour l'initiative, Ottawa, février 1995.

Canada, Secrétariat du Conseil du Trésor, Normes d'évaluation de programmes dans les ministères et organismes fédéraux, Ottawa, juillet 1989.

Canada, Secrétariat du Conseil du Trésor, Pour offrir aux Canadiens et aux Canadiennes des services de qualité  : Établissement de normes de service au gouvernement fédéral, Ottawa, décembre 1994.

Canada, Secrétariat du Conseil du Trésor, Pour une fonction d'examen plus efficace - Rapport annuel au Parlement par le Président du Conseil du Trésor, Ottawa, octobre 1995.

Canada, Secrétariat du Conseil du Trésor, Repenser le rôle de l'État : Améliorer la mesure des résultats et de la responsabilisation - Rapport annuel au Parlement par le Président du Conseil du Trésor, Ottawa, octobre 1996.

Caron, Daniel, J., «Knowledge Required to Perform the Duties of an Evaluator», Canadian Journal of Program Evaluation. Vol. 8, N^o 1, avril-mai 1993, p. 59 à 78.

Chelimsky, Eleanor et William R. Shadish, éd., Evaluation for the 21^st Century : A Handbook, Thousand Oaks : Sage Publications, 1997.

Chelimsky, Eleanor, éd., Program Evaluation : Patterns and Directions, Washington : American Society for Public Administration, 1985.

Chen, Huey-Tsyh, Theory-Driven Evaluations, Thousand Oaks : Sage Publications, 1990.

Fitzgibbon, C.T. et L.L. Morris, Evaluator's Kit (2^e édition), Thousand Oaks : Sage Publications, 1988.

Hudson, Joe, et al., éd., Action Oriented Evaluation in Organizations : Canadian Practices, Toronto : Wall and Emerson, 1992.

Krause, Daniel Robert, Effective Program Evaluation : An Introduction, Chicago : Nelson-Hall, 1996.

Leeuw, Frans L., «Performance Auditing and Policy Evaluation : Discussing Similarities and Dissimilarities», Canadian Journal of Program Evaluation, Vol. 7, N^o 1, avril-mai 1992, p. 53 à 68.

Love, Arnold J., Evaluation Methods Sourcebook II, Ottawa  : Société canadienne d'évaluation, 1995.

Martin, Lawrence L. et Peter M. Kettner, Measuring the Performance of Human Service Programs, Thousand Oaks : Sage Publications, 1996.

Mayne, John, et al., éd., Advancing Public Policy Evaluation : Learning from International Experiences, Amsterdam : North-Holland, 1992.

Mayne, John, «In Defence of Program Evaluation», Canadian Journal of Program Evaluation, Vol. 1, N^o 2, 1986, p. 97 à 102.

Mayne, John et Eduardo Zapico-Goñi, Monitoring Performance in the Public Sector : Future Directions from International Experience, New Brunswick (NJ) : Transaction Publishers, 1996.

Paquet, Gilles et Robert Shepherd, The Program Review Process : A Deconstruction, Ottawa  : Faculté d'administration de l'Université d'Ottawa, 1996.

Patton, M.Q., Creative Evaluation, (2^e édition), Thousand Oaks : Sage Publications, 1986.

Patton, M.Q., Practical Evaluation, Thousand Oaks : Sage Publications, 1982.

Patton, M.Q., Utilization Focused Evaluation, (2^e édition), Thousand Oaks : Sage Publications, 1986.

Perret, Bernard, «Le contexte français de l'évaluation : Approche comparative», Canadian Journal of Program Evaluation, Vol. 9, N^o 2, octobre-novembre 1994, p. 93 à 114.

Posavac, Emil J. et Raymond G. Carey, Program Evaluation : Methods and Case Studies, (5^e édition), Upper Saddle River (NJ) : Prentice-Hall, 1997.

Rossi, P.H. et H.E. Freeman, Evaluation : A Systematic Approach (2^e édition), Thousand Oaks : Sage Publications, 1989.

Rush, Brian et Alan Ogborne, «Program Logic Models : Expanding their Role and Structure for Program Planning and Evaluation», Canadian Journal of Program Evaluation. Vol. 6, N^o 2, octobre-novembre 1991, p. 95 à 106.

Rutman, L. et John Mayne, «Institutionalization of Program Evaluation in Canada : The Federal Level», in M.Q. Patton, éd., Culture and Evaluation, Vol. 25 of New Directions in Program Evaluation, San Francisco : Jossey-Bass, 1985.

Ryan, Allan G. et Caroline Krentz, «All Pulling Together : Working Toward a Successful Evaluation», Canadian Journal of Program Evaluation, Vol. 9, N^o 2, octobre-novembre 1994, p. 131 à 150.

Shadish, William R., et al.,Foundations of Program Evaluation : Theories of Practice, Thousand Oaks : Sage Publications, 1991.

Shea, Michael P. et Shelagh M.J. Towson, «Extent of Evaluation Activity and Evaluation Utilization of CES Members», Canadian Journal of Program Evaluation, Vol. 8, N^o 1, avril-mai 1993, p. 79 à 88.

Société canadienne d'évaluation, Comité de normalisation, «Standards for Program Evaluation in Canada : A Discussion Paper», Canadian Journal of Program Evaluation, Vol. 7, N^o 1, avril-mai 1992, p. 157 à 170.

Tellier, Luc-Normand, Méthodes d'évaluation des projets publics, Sainte-Foy  : Presses de l'Université du Québec, 1994, 1995.

Thurston, W.E., «Decision-Making Theory and the Evaluator», Canadian Journal of Program Evaluation, Vol. 5, N^o 2, octobre-novembre 1990, p. 29 à 46.

Wye, Chirstopher G. et Richard C. Sonnichsen, éd., Evaluation in the Federal Government : Changes, Trends and Opportunities, San Francisco : Jossey-Bass, 1992.

Zanakis, S.H., et al., «A Review of Program Evaluation and Fund Allocation Methods within the Service and Government», Socio-economic Planning Sciences, Vol. 29, N^o 1, mars 1995, p. 59 à 79.

Zúñiga, Ricardo, L'évaluation dans l'action : choix de buts et choix de procédures, Montréal  : Librairie de l'Université de Montréal, 1992.

• Page précédente
• Table des matières
• Texte complet
• Page suivante