Rôle du gouvernement dans l’assurance de la qualité de l’évaluation : Document de travail

avril 2006

Préparé pour : Le Centre d'excellence en évaluation, Secrétariat du Conseil du Trésor du Canada
Préparé par : J. Bradley Cousins, Ph.D., et Tim Aubry, Ph.D., Centre de recherche sur les services communautaires, 
Université d'Ottawa

Personne-ressource :
B. Cousins, 145 Jean Jacques Lussier, Faculté d'Éducation, Université d'Ottawa, K1N 6N5, bcousins@uottawa.ca,
(613) 562-5800, poste 4036, télécopieur : (613) 562-5146.

Les auteurs désirent exprimer toute leur gratitude pour la contribution à la recherche de Foong-Peng Leong.

© Sa Majesté du chef du Canada, représentée par le président du Conseil du Trésor, 2006, et l'Université d'Ottawa
No de catalogue BT22-108/2006
ISBN 0-662-49282-X

Ce document est offert en médias substituts et sur le site Web du Secrétariat du Conseil du Trésor du Canada à l'adresse suivante : http://www.tbs-sct.gc.ca/cee/

 La version en ligne renferme de l'information approfondie pour chaque programme de formation en évaluation de l'université ou du gouvernement offert à l'extérieur du Canada et au Canada comme il est décrit aux tableaux 2 et 3 (voir l'annexe A en ligne) et pour chaque centre d'excellence en évaluation et pour les domaines connexes disponibles à l'extérieur du Canada et au Canada comme il est indiqué aux tableaux 5 et 6 (voir annexe B en ligne).

Sommaire

1. Introduction
        1.1 Contexte
        1.2 Justification
        1.3 Aperçu

2. Examen et synthèse de la documentation sur la professionnalisation de l'évaluation
        2.1 Évaluation et gouvernement
        2.2 Débat sur la professionnalisation
        2.3 Compétences de base pour les évaluateurs
        2.4 Répercussions pour la professionnalisation de l'évaluation au Canada

3. Étude sur les programmes universitaires de formation en évaluation et les options
        3.1 Formation en évaluation à l'étranger
        3.2 Formation de pointe en évaluation au Canada
        3.3 Étude de cas d'un programme concerté gouvernement-université

4. Étude sur les centres d'excellence universitaires en évaluation
        4.1 Centres d'excellence universitaires témoignant d'un intérêt marqué pour l'évaluation et situés à l'étranger
        4.2 Centres canadiens d'excellence universitaires s'intéressant aux activités d'évaluation

5. Conclusions et conséquences
        5.1 Formation et éducation
        5.2 Centres d'excellence
        5.3 Autres activités avec les universités
        5.4 Appui à l'association professionnelle
        5.5 Conclusion

Ouvrages de référence

Annexe A

Annexe B

Sommaire

Aperçu

En décembre 2005, le Centre d'excellence en évaluation (CEE) du Secrétariat du Conseil du Trésor a retenu les services du Centre de recherche sur les services communautaires (CRSC) de l'Université d'Ottawa. Il lui a confié la rédaction d'un document de travail mettant en évidence, aux fins d'examen, des stratégies et des options réalisables qui permettraient au gouvernement de promouvoir le perfectionnement professionnel poussé des évaluateurs dans le but d'améliorer l'assurance de la qualité de la fonction d'évaluation. Les conséquences sur les relations entre le gouvernement et le secteur universitaire revêtent un intérêt particulier.

Pour atteindre ces objectifs, le document est divisé en quatre parties. Dans la première, on passe en revue la documentation sur la professionnalisation de l'évaluation. La deuxième partie porte sur les résultats d'une étude des programmes universitaires de formation en évaluation et des options reposant sur des recherches dans Internet et des consultations par téléphone. Dans la troisième partie, on trouve les résultats d'une étude sur les centres d'excellence universitaires au Canada et à l'échelle internationale à partir de recherches dans Internet, d'un suivi bibliographique et de consultations par téléphone et par courriel. Dans la dernière partie, qui est fondée sur les trois premières, on propose une série d'options pour renforcer la capacité d'évaluation du CEE au moyen de partenariats avec les universités.

Examen et synthèse de la documentation sur la professionnalisation de l'évaluation

Il ressort de la documentation examinée sur le rôle de l'évaluation au gouvernement que cette dernière constitue une fonction importante et en vigueur depuis longtemps au sein du gouvernement du Canada, mais que son intégration au processus décisionnel est demeurée restreinte. Or, l'actuel cadre de gestion (c'est-à-dire le Cadre de responsabilisation de gestion du SCT) adopté par le gouvernement fédéral canadien fait de l'évaluation une fonction essentielle de la gestion publique.

Le gouvernement canadien a joué un rôle moins direct et moins évident que les gouvernements des États-Unis et du Royaume-Uni dans le développement du domaine de l'évaluation de programmes et de la capacité d'évaluation. La création de la Société canadienne d'évaluation en 1981 et la publication par la suite de La Revue canadienne d'évaluation de programme , revue bilingue dotée d'un comité de lecture, étaient étroitement liées à des préoccupations fédérales en matière d'évaluation. La création du CEE en 2001 représente la principale contribution du gouvernement fédéral canadien au renforcement de la capacité d'évaluation.

L'examen de la documentation sur la professionnalisation de l'évaluation de programmes nous donne à penser que l'évaluation de programmes ne peut pas encore être considérée comme une profession véritable dans la mesure où il lui manque des processus de reconnaissance professionnelle ou de permis d'exercer, des critères régissant l'adhésion aux associations professionnelles et des programmes de formation préalable des évaluateurs qui soient reconnus officiellement et agréés par des associations professionnelles d'évaluation de programmes.

Au nombre des entraves ou des obstacles qui empêchent l'évaluation de programmes de devenir une véritable profession, mentionnons la participation accrue de non-évaluateurs à des activités d'évaluation, le manque de clarté de la définition de l'évaluation, le cheminement de carrière varié et hors des sentiers battus des évaluateurs de programmes, l'ambivalence liée à l'adoption de la certification parmi les évaluateurs, le manque de programmes universitaires de formation, le coût de la mise en Guvre d'un système de reconnaissance professionnelle, les problèmes relatifs à la reconnaissance professionnelle ou au maintien des droits acquis des professionnels de l'évaluation de programmes actuellement en exercice, en fonction de leur formation et de leur expérience, et le risque accru de litiges visant les évaluateurs de programmes favorisés par la reconnaissance professionnelle.

Le domaine de l'évaluation des programmes, semble-t-il, n'est prêt à effectuer la certification professionnelle des évaluateurs au moyen d'un agrément ou d'un permis d'exercice attribué par par une association professionnelle. Si l'on en croit les travaux d'un groupe de travail de l'American Evaluation Association, un système de délivrance de titres et de certificats semble davantage faisable à l'heure actuelle et pourrait servir d'étape transitoire ou intermédiaire vers un système de reconnaissance professionnelle plus rigoureux. Dans ce système, ceux qui ont suivi une série de cours ou acquis de l'expérience, ou les deux, recevraient un titre de compétences.

Une étude de la documentation sur les compétences de base des évaluateurs a permis de dégager deux projets de recherche récents qui ont mis en évidence de manière empirique un ensemble de compétences de base. Le premier, mené par un groupe de chercheurs américains sous la direction de King et Stevahn (King, Stevahn, Ghere et Minnema, 2001; Stevahn et coll., 2005a, 2005b), a donné lieu à un ensemble de compétences essentielles pour les évaluateurs de programme, validé empiriquement; cet ensemble a évolué sur une période de cinq ans et a été remaniée à la lumière de la rétroaction d'évaluateurs et de spécialistes américains et canadiens dans le domaine. Ces compétences sont organisées en six catégories ou thèmes : 1) pratique professionnelle (6 compétences); 2) enquête systématique (20 compétences); 3) analyse situationnelle (12 compétences); 4) gestion de projet (12 compétences); 5) pratique réflexive (5 compétences); 6) compétences interpersonnelles (6 compétences).

Un deuxième ensemble de compétences découle d'une autre étude empirique commandée par la Société canadienne d'évaluation à l'appui de son programme de défense de l'évaluation. Connu sous le nom de « projet relatif au bloc de connaissances de base en évaluation » et entrepris par un groupe de chercheurs sous la direction de Zorzi (Zorzi, Perrin, McGuire, Long et Lee, 2002; Zorzi, McGuire et Perrin, 2002; voir également McGuire et Zorzi), l'étude a mis à jour une liste de 23 connaissances et compétences générales en matière d'évaluation de programmes, qui chapeautent des connaissances, compétences et pratiques plus précises. Chaque élément a été classé dans l'un des groupes suivants : éthique, planification et conception de l'évaluation, collecte de données, analyse et interprétation de données, communication et compétences interpersonnelles et gestion de projet.

L'état de la recherche sur la professionnalisation de l'évaluation de programmes permet de constater que le gouvernement fédéral a manifestement un rôle important à jouer dans le développement de la professionnalisation de l'évaluation et dans l'amélioration de l'assurance de la qualité de la fonction d'évaluation tant en son sein qu'à l'extérieur. Il semblerait prudent de poursuivre les efforts déployés dans le cadre de l'approche de perfectionnement professionnel en faveur d'une reconnaissance professionnelle qui ferait fond sur l'excellent travail de perfectionnement des compétences des évaluateurs mené à ce jour. Cette démarche nécessiterait que le gouvernement donne son appui à la mise en place d'un système de délivrance de titres et de certificats auquel on pourrait se fier pour déterminer si les personnes chargées d'effectuer les évaluations disposent d'une formation de base et d'une expérience suffisantes pour mener leur mission conformément à une norme rigoureuse de qualité et d'efficacité.

Étude sur les programmes universitaires de formation en évaluation et les options

Une étude sur les programmes de formation à l'étranger a révélé que la plupart des programmes universitaires connus en évaluation sont offerts par des universités américaines (à l'exception des universités de Melbourne et de Londres). Il est possible, par ailleurs, que ces programmes soient quelque peu en déclin compte tenu de la situation professionnelle des membres fondateurs. Néanmoins, on a relevé plusieurs programmes de deuxième et de troisième cycle ainsi que des programmes sanctionnés par un certificat. Il existe de nombreuses options en ce qui concerne le perfectionnement professionnel et la formation continue en évaluation, mais la plupart d'entre elles ne débouchent pas sur un certificat d'honneur, mais plutôt sur une simple mention de participation. Le Training Institute, administré par le General Accounting Office des États-Unis, et les cours en évaluation de deuxième et de troisième cycle offerts par de nombreux départements et facultés universitaires constituent des exceptions à cette règle.

Les possibilités de formation en évaluation sont nombreuses au Canada, mais les formations universitaires avancées semblent assez limitées. À l'heure actuelle, il n'existe aucun programme en évaluation menant à un diplôme au pays et on ne compte que trois programmes de niveau supérieur sanctionnés par un certificat (dont un est en attente d'approbation) et un programme sanctionné par un diplôme offert par un collège communautaire. Alors qu'un large éventail d'universités offrent des études supérieures en évaluation, il s'agit la plupart du temps de cours. Ces cours peuvent être intégrés à des programmes menant à un diplôme (suivis en parallèle ou par la suite) et il est probable que les candidats pourraient se spécialiser en évaluation en poursuivant des programmes dans des disciplines connexes comme l'éducation et la psychologie sociale appliquée. Il est encourageant de noter toutefois que les cours d'université en évaluation et dans les disciplines connexes existent à une telle échelle et que plusieurs établissements proposent plus d'un cours d'évaluation dans une même faculté ou un même département, car il sera plus facile, par exemple, d'élaborer un programme sanctionné par un certificat si les facultés ou départements peuvent étoffer les cours existants au lieu d'élaborer des programmes à partir de zéro. Enfin, il existe une grande variété d'autres possibilités de formation et de perfectionnement professionnel dans le domaine de l'évaluation au sein et à l'extérieur du gouvernement, mais à l'heure actuelle, aucun règlement n'exige des candidats qu'ils aient suivi une telle formation pour occuper des postes se rattachant à l'évaluation au sein du gouvernement fédéral.

Un programme de maîtrise ès sciences du Royaume-Uni, qui est le fruit d'un partenariat entre le gouvernement et une université, a été étudié. Ce programme assez exceptionnel se rapporte presque directement à une réflexion sur le rôle du gouvernement dans la promotion de l'assurance de la qualité de l'évaluation. En tant que partenaires, le gouvernement et l'université participent aux responsabilités relatives à l'élaboration et à l'exécution de programmes. Tandis que le programme à temps partiel de deux ans semble hautement pertinent par rapport aux besoins du gouvernement, il respecte également les normes du secteur universitaire relativement au diplôme de cycle supérieur.

Étude sur les centres d'excellence universitaires s'intéressant de près à l'évaluation

Nous avons recensé un large éventail de centres dans cinq pays anglophones dans le monde. Nombre de ces centres se trouvent dans des facultés d'éducation ou de développement humain, mais on a également observé l'existence de centres de services de santé et interdisciplinaires. La taille de ces centres et l'envergure de leur travail varient grandement. La plupart participent à la fois à des travaux de recherche, à des activités se rapportant à l'évaluation, notamment des services conseil, la prestation de services et la diffusion, ainsi qu'à des activités de formation ou d'éducation. Un grand nombre d'entre eux dépendent d'une manière ou d'une autre du gouvernement (en général le fédéral ou l'État) pour ce qui est du financement, comme source de subventions par voie de concours, ou pour la réalisation de projets confiés à contrat. Les fondations privées offrent souvent également un soutien. Les activités des centres incluent fréquemment la recherche disciplinaire (p. ex. aide sociale à l'enfance, santé publique), en plus de services liés à l'évaluation. Dans certains cas, il y a des liens officiels avec des programmes menant à l'obtention d'un grade mais parfois les activités du centre ne concernent pas l'éducation ou la formation.

Par rapport à l'échantillon international, les centres canadiens d'excellence s'intéressant de près aux activités se rapportant à l'évaluation semblent un peu plus homogènes pour ce qui est de la taille et moins présents dans les facultés d'éducation. Nous avons observé une tendance en ce qui concerne les centres interdisciplinaires, lesquels ne semblent pas affiliés à une faculté ou à un département universitaire particulier. Les centres qui participent à des activités se rapportant à l'évaluation sont difficiles à recenser, car l'évaluation n'est pas mentionnée dans le nom qu'ils portent. Néanmoins, au Canada, on note une vaste participation des centres universitaires aux activités d'évaluation, sous forme de services conseil, de prestation de services ou de formation. On observe aussi un intérêt marqué pour la promotion de la pratique reposant sur la recherche dans les domaines pertinents, dans certains cas par la diffusion de la recherche stratégique ou le courtage de la recherche effectuée ailleurs. Enfin, il semble clair que les centres dépendent dans une large mesure des fonds générés par leur relation avec le gouvernement, soit en tant que bénéficiaires de son financement ou de ses subventions ou en qualité d'expert-conseil du gouvernement fédéral ou provincial.

Conclusions et conséquences

Les résultats dont fait état le présent document de travail sur la formation et l'éducation mènent à inclure l'élaboration dans les universités de programmes pilotes d'études supérieures en évaluation sanctionnés par un certificat parmi les options à envisager. Un appui sous la forme d'une garantie de plusieurs offres de travail au gouvernement fédéral (c'est-à-dire le recrutement de personnel du gouvernement recyclé en évaluation) au cours des années à venir serait utile pour aider à établir et à développer des programmes au sein de la structure universitaire. Un tel projet pourrait donner lieu à un système de délivrance de titres et de certificats de facto que le gouvernement pourrait utiliser aux fins d'embauche et de passation de marchés. Il existe d'autres options de formation et d'éducation, par exemple créer des partenariats entre le gouvernement fédéral et les universités afin d'élaborer des programmes menant à l'obtention d'un grade, veiller à ce que le CEE continue d'offrir des ateliers et des cours de courte durée, et continuer à appuyer la « Série sur le compétences essentielles » de la SCE.

La mise sur pied de centres d'excellence en évaluation de programmes dans les universités canadiennes est également proposée comme véhicule pour renforcer la capacité d'évaluation. Ces centres permettraient de faire participer davantage d'universitaires à l'évaluation de programmes et pourraient promouvoir le perfectionnement de personnel hautement qualifié en évaluation au moyen d'expériences pratiques et de travaux de recherche à l'intention des candidats postdoctoraux et des étudiants de troisième cycle. Par ailleurs, on recommande de maintenir et d'élargir le lien entre les universitaires et le gouvernement fédéral dans le cadre de leur participation à des activités d'assurance de la qualité comme des comités consultatifs et des fonctions d'évaluation par les pairs ayant trait à l'évaluation de programmes au gouvernement fédéral.

On propose également que les universités soient mises à contribution en renforçant les échanges entre le gouvernement et les universitaires, par exemple au moyen de détachements, de placements professionnels de personnes en congé sabbatique et de remplacements en cas de congé de courte durée, et en appuyant le perfectionnement des étudiants en offrant des sites de placements professionnels et de stages.

Enfin, le soutien du gouvernement fédéral à l'élaboration, par la SCE, d'un système de délivrance de titres et de certificats vaut la peine d'être examiné. Il peut être considéré comme une stratégie progressive menant à une éventuelle reconnaissance professionnelle.

1. Introduction

1.1 Contexte

En décembre 2005, le Centre d'excellence en évaluation (CEE) du Secrétariat du Conseil du Trésor a retenu les services du Centre de recherche sur les services communautaires (CRSC) de l'Université d'Ottawa. Il lui a confié la rédaction d'un document de travail mettant en évidence des options pour aller de l'avant avec un système de délivrance de titres et de certificats en évaluation et la création de Centres d'expertise en évaluation au sein des universités.

Dans l'énoncé de travail, le CEE a établi les trois objectifs suivants pour le document de travail : 1) donner un aperçu global de la formation universitaire de pointe en évaluation et en délivrance de titres et de certificats en recensant le type de formation et de reconnaissance professionnelle offert dans divers pays; 2) relier les constatations de l' aperçu global au contexte canadien en déterminant quelle formation pertinente est actuellement offerte au Canada (cours universitaires, cours offerts par la Société canadienne d'évaluation, cours offerts par le gouvernement fédéral); 3) présenter différentes options aux fins d'examen par le CEE qui permettraient de renforcer économiquement la capacité d'évaluation du gouvernement fédéral au moyen de partenariats avec les universités.

1.2 Justification

Dans une étude récente (2005) diligentée par le CEE, Gussman examine la professionnalisation de l'évaluation au sein du gouvernement fédéral. Il passe en revue les développements et les tendances en l'évaluation de programmes par rapport au contexte de la gestion de la fonction publique en pleine évolution et propose des options pour rehausser la crédibilité des professionnels de l'évaluation. Ces questions, qui portent sur l'amélioration de l'assurance de la qualité en matière d'évaluation, prennent de plus en plus d'importance au gouvernement fédéral pour diverses raisons.

Tout d'abord, la nouvelle Loi fédérale sur l'imputabilité et le Plan d'action , déposés le 11 avril 2006, visent à rendre le gouvernement plus efficace et responsable en proposant des mesures particulières propres à accroître la responsabilisation, la transparence et la surveillance de l'activité gouvernementale. Cette documentation est conforme à l'actuel Cadre de responsabilisation de gestion (CRG) du SCT où sont définies les attentes à l'égard de la gestion moderne de la fonction publique. Le cadre de gestion sous-jacent, Des résultats pour les Canadiens et les Canadiennes (gouvernement du Canada, 2000), exige une gestion axée sur les résultats (GAR), ce qui nécessite le recours à un examen évaluatif afin de s'entendre sur les résultats, de les mesurer et d'en rendre compte (Vérificateur général du Canada, 1997). Au-delà du débat sur le rapport entre la mesure du rendement et l'évaluation, selon Segsworth (2005), les exigences du Conseil du Trésor relativement au Cadre de gestion et de responsabilisation axé sur les résultats (CGRAR) et à l'architecture d'activités de programme (AAP) privilégient un lien bien plus étroit entre les deux fonctions. Les présentations au Conseil du Trésor portant sur des programmes de subventions et de contributions doivent être accompagnées d'un CGRAR afin que l'on puisse surveiller et évaluer les résultats des programmes et en rendre compte. L'AAP expose la façon dont un ministère alloue et gère les ressources dont il est responsable en vue d'obtenir les résultats voulus et la façon dont les programmes et les activités connexes sont intégrés à ses résultats stratégiques. Si l'on veut que la fonction d'évaluation soit vraiment intégrée à la fonction plus vaste de gestion au gouvernement, il faudra veiller à ce qu'elle soit reconnue pour la contribution exceptionnelle qu'elle apporte (outre celle de vérification interne, par exemple) et que sa qualité soit assurée.

Deuxièmement, selon Aucoin (2005),

Cependant, d'après de récentes données découlant d'une autre étude diligentée par le CEE, l'évaluation n'est pas bien intégrée au processus décisionnel de la haute direction. Breen et associés (2005) ont interrogé des sous-ministres et constaté que bien qu'ils s'entendent tous pour dire que l'évaluation est une fonction de politique ou de programme, ils déplorent aussi l'absence d'une boucle de rétroaction entre les résultats de l'évaluation et l'élaboration et la gestion de politiques et de programmes. Les sous-ministres savent également que la capacité d'évaluation a été durement touchée pendant l'examen des programmes mené au milieu des années 90 et qu'elle est aujourd'hui limitée. Ils ont fait observer que la plupart des études d'évaluation sont confiées en sous-traitance en raison du manque de ressources internes et que cette démarche affaiblit la capacité des unités d'évaluation à devenir des sources permanentes d'avis et d'érudition. Aucoin (2005) affirme que l'amélioration de la qualité de l'évaluation des programmes sera impossible si la haute direction ou les ministres n'exigent pas la qualité.

Troisièmement, en dépit des initiatives du Secrétariat du Conseil du Trésor (SCT) visant à améliorer la qualité de l'évaluation, comme la création du CEE en 2001, des éléments probants se sont accumulés indiquant que la qualité de l'évaluation est limitée à plusieurs égards. Une étude interne de la qualité des évaluations dans les ministères et les organismes, menée par le CEE (2004) faisait état de quelques améliorations dans les rapports d'évaluation depuis 2002, et mentionnait que les efforts déployés par le SCT pour améliorer la qualité des évaluations remportent un certain succès. D'importantes lacunes persistent cependant, notamment les suivantes : absence de définition des questions d'évaluation; survol superficiel des problèmes de coût-efficacité; absence de description des méthodes employées; manque ou absence d'intégration des données issues de systèmes de mesure du rendement, etc. (CEE, 2004). Selon Segsworth (2005), les préoccupations relatives à la qualité ont été soulevées par le vérificateur général dans presque toutes les vérifications de la fonction d'évaluation.

Quatrièmement, Gussman (2005) fait remarquer que la fonction de vérification interne au sein du gouvernement fédéral canadien est actuellement renforcée dans la foulée des diverses enquêtes, ce qui peut sensibiliser le milieu de l'évaluation à la nécessité de prendre officiellement des mesures d'assurance de la qualité en faisant mieux connaître la fonction d'évaluation. De plus, la nouvelle Politique sur la vérification interne, entrée en vigueur le 1er avril 2006, donne des lignes directrices sur les compétences attendues des dirigeants de la vérification, lesquels doivent posséder une attestation de vérificateur interne certifié ou un titre de comptable professionnel (CA, CGA ou CMA), et des vérificateurs internes.

Enfin, parmi les 284 ETP affectés à l'évaluation dans les ministères et organismes fédéraux, nombre d'entre eux (20 p. 100 peut-être) vont prendre leur retraite dans les prochaines années et il y a un besoin urgent, voire la possibilité, de rajeunir l'effectif en embauchant du personnel compétent ayant reçu une formation en évaluation. La demande de personnel compétent est également à la hausse en raison du roulement continu de personnel.

Compte tenu de la situation, Gussman (2005) appuie le principe de programmes universitaires offrant un certificat en évaluation, qui pourrait être une solution propre à améliorer l'uniformité et la rigueur méthodologique au sein de la fonction d'évaluation. Le CEE espère s'appuyer sur le document de Gussman en recensant et en passant en revue les stratégies et les options réalisables qui permettraient au gouvernement de promouvoir le perfectionnement professionnel poussé des évaluateurs dans le but d'améliorer l'assurance de la qualité au sein de la fonction d'évaluation. C'est la finalité première du présent document. Les conséquences pour la relation entre le gouvernement, le secteur universitaire et l'association professionnelle, la Société canadienne d'évaluation (SCE), revêtent un intérêt particulier. 

1.3 Aperçu

Le rôle de l'évaluation au gouvernement et les questions concernant la professionnalisation du domaine, y compris la possibilité de reconnaissance professionnelle des personnes et l'accréditation des programmes de formation en évaluation, ont fait l'objet de nombreux débats et discussions dans la documentation sur l'évaluation. Ces travaux découlent en grande partie des débats entre collègues au sein de l'American Evaluation Association (AEA), bien que ces questions aient très certainement attiré l'attention de la SCE et continuent de le faire. Nous commençons par un examen et une synthèse de la documentation.

Vous trouverez ensuite un aperçu global de la formation universitaire de pointe en évaluation et en délivrance de titres et de certificats, notamment du type de formation et de reconnaissance professionnelle offerts à l'étranger. Ensuite, nous faisons le point sur les programmes de formation offerts au Canada en établissant un lien entre les résultats de la vue d'ensemble et le contexte canadien. À cet égard, le document de travail indique quelle formation pertinente est actuellement proposée au Canada (cours universitaires, cours offerts par la Société canadienne d'évaluation, cours dispensés par le gouvernement fédéral) et fournit une analyse, à partir des résultats de la vue d'ensemble, de ce qu'on pourrait mettre au point dans le contexte canadien. La participation du gouvernement aux initiatives de formation en évaluation revêt un intérêt particulier. À cette fin, le profil d'un programme de maîtrise particulier au Royaume-Uni, qui est le fruit d'un partenariat entre le Cabinet Office et l'Institute of Education de l'Université de Londres, sera présenté aux fins d'examen.

La participation éventuelle du gouvernement met grandement l'accent sur les options de formation en évaluation qui répondront à ses nouveaux besoins, mais il existe d'autres éléments qui pourraient être compatibles avec le programme d'amélioration de l'assurance de la qualité en matière d'évaluation. Plus précisément, les centres d'excellence universitaires en évaluation seront également l'objet de notre attention dans le document actuel. Comment ces centres peuvent-ils améliorer l'assurance de la qualité en évaluation? Quel est à cet égard le rôle possible pour le gouvernement dans la promotion de l'assurance de la qualité? Dans la troisième partie, nous abordons ces questions en examinant la création, la mission, la viabilité et la fonction des centres d'excellence universitaires en évaluation au Canada et à l'étranger.

Dans la dernière partie du document, nous présentons différentes options aux fins d'examen qui permettraient de renforcer de manière rentable la capacité d'évaluation au sein du gouvernement fédéral, par exemple en répondant à ses besoins d'évaluation interne au moyen de partenariats avec les universités. Nous examinons comment les options proposées pourraient être mises en Guvre par le CEE. 

2. Examen et synthèse de la documentation sur la professionnalisation de l'évaluation

Trois grands thèmes seront abordés dans la présente analyse de la documentation. D'abord, nous examinons le rôle de l'évaluation dans le contexte du gouvernement, entre autres les influences mutuelles entre l'évaluation et le gouvernement. Ensuite, nous résumons le débat portant sur la professionnalisation de l'évaluation dans le but de faire le point sur l'état de la réflexion. Ce débat, qui s'est cantonné dans l'ensemble au milieu de l'évaluation, n'en présente pas moins un grand intérêt pour le gouvernement. Enfin, nous nous concentrerons sur une question qui est au cGur du débat sur la professionnalisation, à savoir les progrès dans l'établissement d'un ensemble convenu de compétences pour les évaluateurs. La plupart des ouvrages publiés que nous citons pour chacun de ces thèmes proviennent du Canada et des États-Unis, mais on observe un intérêt croissant dans des disciplines connexes à l'extérieur de l'Amérique du Nord (Russon et Russon, 2005; Perrin, 2005). Les textes utilisés pour l'analyse documentaire (documents de travail, articles publiés et chapitres) ont été recensés principalement dans le cadre de consultations et d'un suivi bibliographique..

2.1 Évaluation et gouvernement  

Datta (2003) est peut-être l'auteur qui nous livre l'examen le plus détaillé de la relation entre l'évaluation et le gouvernement. Ce chapitre, qui porte exclusivement sur l'évaluation et le gouvernement aux États-Unis, a été qualifié par Datta de travail en cours, mais nous sommes du même avis qu'elle : il est au nombre des quelques analyses sérieuses portant sur les façons dont l'évaluation et le gouvernement se sont influencés mutuellement.

L'auteur explique dans le détail huit aspects qui font que le gouvernement influe sur l'évaluation, dont plusieurs sont particulièrement pertinents pour notre propos. Les huit aspects de cette influence sont les suivants : 1) la demande d'évaluation interne au sein du gouvernement; 2) la demande d'évaluation interne de la part des bénéficiaires de fonds fédéraux; 3) la demande d'évaluation externe de la part de bénéficiaires de fonds fédéraux et les exigences relatives à l'évaluation des incidences; 4) les influences sur les méthodes, les schémas et les mesures d'évaluation; 5) le développement de l'évaluation en tant que profession; 6) les possibilités d'emploi pour les évaluateurs; 7) le leadership en évaluation; 8) les influences sur la capacité d'évaluation. La plupart des aspects de cette influence trouvent leur écho dans le milieu canadien de l'évaluation. Le gouvernement est à l'origine de l'essor de ce domaine, notamment la création d'une demande en matière d'évaluation, la promotion de l'évaluation en tant qu'entité professionnelle et le renforcement de la capacité d'évaluation (voir, p. ex. Segsworth, 2005, et l'entrevue de J. Hudson par Cousins, 2005).

L'analyse approfondie de l'histoire de l'évaluation au sein du gouvernement du Canada sort du cadre de notre propos, mais le lecteur intéressé peut consulter deux documents importants sur le sujet, l'un de Muller-Clemm et Barnes (1997) et l'autre plus récent de Segsworth (2005). Un autre excellent document rédigé par Aucoin (2005) - document de travail diligenté par le CEE - replace l'évaluation dans le contexte de l'évolution des structures et des approches du processus fédéral de prise de décisions et d'allocation des ressources.

Au Canada, comme aux États-Unis, comme le mentionne Datta (2003), le gouvernement a joué un rôle clé dans la création de la demande d'évaluation en exigeant que des fonds soient réservés à l'évaluation des programmes de subventions et de contributions et, récemment, en élaborant un cadre fédéral de responsabilisation de gestion, dans lequel se situe l'évaluation. Aucoin (2005, p. 10-11) indique également :

Le 11 avril dernier, le gouvernement fédéral, sous la direction du premier ministre Stephen Harper, a déposé la Loi fédérale sur l'imputabilité et le Plan d'action (gouvernement du Canada, 2006). Cette loi vise à renforcer l'actuel système de surveillance et de gestion et requerra l'examen de toutes les subventions et contributions fédérales.

Cependant, malgré les demandes internes d'évaluation, au fil des ans, l'intégration de l'évaluation au processus décisionnel du gouvernement a connu des hauts et des bas. Aucoin affirme que le principal avantage de l'évaluation est sa capacité à produire des éléments d'information à l'appui de l'efficacité de programmes et que l'accent mis sur ce critère dans le processus décisionnel gouvernemental a varié au fil des ans. Outre la réaction du public et la discipline financière, l'efficacité des programmes représente un troisième critère de gouvernance et de gestion publique judicieuses, pour lequel le Canada n'a pas obtenu d'aussi bons résultats que pour les deux autres, en partie en raison des changements dans les politiques de gestion et de prise de décisions au fil des ans. Néanmoins, la structure actuelle donne un bon coup de pouce, et en fait, la possibilité de faire de l'évaluation une fonction de base de la gestion publique.

On ignore dans quelle mesure la politique et la pratique gouvernementales ont façonné les méthodes, les schémas et les mesures d'évaluation. Aux États-Unis, Datta affirme que les méthodes ont évolué au fil du temps, depuis les essais contrôlés randomisés jusqu'aux méthodes quasi expérimentales, en passant par les schémas théoriques, les évaluations multi-sites et l'intégration des méthodes quantitatives et qualitatives. Les exigences fédérales en matière d'évaluation ont joué un certain rôle dans l'articulation de ces approches. Il est intéressant de noter que depuis la publication du chapitre de Datta (2003), on observe un virage dans la politique fédérale qui a suscité d'importants bouleversements dans le milieu américain de l'évaluation.

Plus précisément, le US Department of Education (ministère de l'Éducation) vient de décider récemment de privilégier les projets d'évaluation reposant sur un modèle d'essais contrôlés randomisés (2003) et exige de solides justifications de la part de ceux qui ont recours à d'autres modèles de groupes de comparaison. Cette décision a suscité un énorme débat et une controverse dans le milieu de l'évaluation (p. ex. Scriven, 2003) et donné lieu à une réaction officielle de l'American Evaluation Association (2003). Néanmoins, cette situation illustre clairement l'influence du gouvernement sur l'évaluation. On peut formuler des observations similaires en ce qui concerne le Royaume-Uni. Selon Gussman (2005), avec son engagement à établir des politiques reposant sur des données de la recherche, le gouvernement britannique a fait preuve de leadership en utilisant des approches méthodologiques de pointe à l'égard de l'évaluation des politiques.

D'après Gussman, le Royaume-Uni a également eu recours aux méthodes d'évaluation qualitative et à des approches de méthodes mixtes intégrées à l'égard des schémas d'évaluation de la mise en Guvre. On a observé une tendance similaire au Canada en ce qui concerne l'évaluation de la mise en Guvre; cependant, l'incidence de la politique fédérale sur l'évaluation du résultat ou de la répercussion ne s'est peut-être pas encore fait sentir. Les cadres de responsabilisation en place encouragent l'intégration de l'évaluation à la mesure du rendement et favourisent l'évaluation de l'incidence ou du résultat par rapport à d'autres approches visant à comprendre la mise en Guvre de programmes dans le but d'améliorer le rendement et les résultats. Toutefois, Segsworth est d'avis que l'évaluation doit encore s'attarder à l'examen de l'incidence conformément aux principes de la gestion axée sur les résultats :

Selon Datta (2003), aux États-Unis, le gouvernement a joué un rôle très important dans la professionnalisation de l'évaluation. Cette influence a pris différentes formes, notamment des intervenants clés travaillant au gouvernement, le financement de conférences d'avant-garde sur l'évaluation et, indirectement, l'incitation des parties intéressées à se rencontrer, ce qui a donné lieu à la création de l'Evaluation Research Society, précurseur de l'actuelle AEA. On a également observé ces influences au Canada. La création de la Société canadienne d'évaluation en 1981 et par la suite la publication de La Revue canadienne d'évaluation de programme , revue bilingue dotée d'un comité de lecture, étaient étroitement liées à des préoccupations fédérales en matière d'évaluation (entrevue de J. Hudson par Cousins, 2005).

La participation du gouvernement canadien au renforcement de la capacité d'évaluation a été un peu moins évidente qu'aux États-Unis. Chez nos voisins, selon Datta (2003), la National Science Foundation a contribué directement à encourager la formation des évaluateurs en mathématique et en sciences en appuyant les programmes universitaires menant à l'obtention d'un grade (J. Altschuld, communication personnelle, le 3 avril 2006). Elle a également accordé un appui relativement direct aux possibilités de perfectionnement professionnel comme l'Evaluator's Institute et les stages annuels d'été financés par la NSF à l'Université Western Michigan. Cette université abrite également l'un des deux centres d'évaluation - l'autre étant le Centre for the Study of Evaluation de l'Université de Californie, à Los Angeles - qui ont bénéficié d'un appui assez important et constant du gouvernement en partie pour renforcer et maintenir la capacité d'évaluation pendant de longues années (A. Gullickson, communication personnelle, le 11 avril 2006).

Le Joint Committee for Educational Evaluation Standards, organisme auquel le fédéral a apporté un soutien direct et important, siège à l'Evaluation Center et on lui attribue l'élaboration des normes d'évaluation de programmes largement utilisées. Enfin, en 1988, le GAO des États-Unis a mis sur pied son propre institut de formation pour séparer la formation et l'éducation de l'orientation professionnelle et du soutien organisationnel dans le but de mieux répondre aux besoins en information du Congrès. Selon Kingsbury et Hedrick (1994), pour effectuer le travail d'évaluation et de vérification du GAO, chaque évaluateur doit suivre un minimum de 80 heures de formation tous les deux ans. En raison de changements dans les priorités des ressources au sein du gouvernement fédéral, l'Institut de formation a finalement été aboli, pour ensuite reprendre vie en tant que Centre d'apprentissage. La formation en évaluation continue d'être offerte au Centre d'apprentissage, lequel est assujetti aux normes de vérification gouvernementales, y compris aux 80 heures de recyclage obligatoire tous les deux ans (N. Kingsbury, communication personnelle, le 7 avril 2006).

Au pays, l'École de la fonction publique du Canada dispense une formation interne d'un océan à l'autre aux fonctionnaires fédéraux canadiens et offre périodiquement des cours sur l'évaluation. La création du CEE en 2001 représente la principale contribution du gouvernement fédéral au renforcement de la capacité d'évaluation. Parallèlement à l'influence du gouvernement sur l'évaluation, on a constaté que cette dernière influençait également le gouvernement de manière directe et indirecte. Datta analyse ces influences, en décrivant la situation qui prévaut aux États-Unis. Pendant longtemps, les universitaires ont participé à titre de conseillers aux études d'évaluation menées par le gouvernement aux États-Unis. Les avis de ces spécialistes se reflètent directement dans les demandes de propositions visant des évaluations et d'autres documents.

Au Canada, au cours des dernières années, les universitaires sont devenus membres de comités consultatifs d'évaluation de ministères ou d'organismes et ils ont participé à l'examen par les pairs des cadres d'évaluation et des rapports d'évaluation finaux. D'autres influences signalées par Datta sont moins évidentes. Selon elle, les chefs de file du milieu universitaire de l'évaluation ont une énorme influence sur le gouvernement fédéral par l'intermédiaire des étudiants qu'ils forment et qui acceptent par la suite un emploi au sein de l'organisme fédéral (2003, p. 357). Par ailleurs, on a constaté que certains spécialistes universitaires de l'évaluation aux États-Unis acceptaient des fonctions au gouvernement, ce qui constitue sans aucun doute un autre moyen de communiquer les points de vue et le savoir universitaires en vue d'influencer la nature et les conséquences de l'évaluation au sein du gouvernement. Au Canada, ces influences indirectes risquent d'être plus subtiles et légèrement atténuées en raison de la rareté comparative de programmes universitaires de formation spécialisée en évaluation et du petit nombre d'universitaires participant à la recherche sur l'évaluation de programmes. Cependant, comme dans de nombreux autres pays, les conférences nationales et régionales commanditées par la SCE ont permis des échanges dynamiques sur des intérêts et des sujets relatifs à l'évaluation entre le milieu de l'évaluation dans son ensemble et le gouvernement.

L'influence de l'évaluation sur le gouvernement pour ce qui est de l'utilisation des résultats des études et de l'incidence de la recherche est encore moins certaine. Le recours à l'évaluation a été un thème de recherche relativement porteur pendant un certain temps. Les premières études nationales menées aux États-Unis (p. ex. Alkin, Kosecoff, Fitz-Gibbon et Seligman, 1974; Patton et coll., 1977; Weiss et Bucuvlas, 1980) ont aidé à comprendre le problème du non recours à l'évaluation, les facteurs et les conditions qui sous-tendent l'utilisation de l'évaluation et les différentes manières de l'utiliser. Bien que l'étude empirique directe à grande échelle semble aller quelque peu en diminuant, selon de récentes publications, le recours par le gouvernement à l'évaluation demeure un centre d'intérêt qui est matière à débat (p. ex. Grasso, 2003; Leviton, 2003). Au Canada, l'analyse directe de l'incidence de l'évaluation a été un peu plus limitée, bien qu'il puisse y avoir un intérêt accru pour l'utilisation de l'information découlant de la recherche en sciences sociales au gouvernement (p. ex. Amara, Ouimet et Landry, 2004; Landry, Amara et Lamari, 2001).

La récente étude interne susmentionnée et diligentée par le CEE (Breen et associés, 2005) constitue une exception. L'étude portait sur les points de vue et les opinions des sous-ministres concernant la fonction d'évaluation et son incidence sur le processus décisionnel au gouvernement fédéral. Les sous-ministres ont fait part de leurs opinions concernant l'état actuel de la fonction d'évaluation et des facteurs qui l'influençaient, notamment une préoccupation générale concernant l'absence de « rétroaction entre les résultats des évaluations et l'élaboration et la gestion de politiques et de programmes » (Breen et associés, 2005, p. 5). Bien que les évaluateurs aient formulé des recommandations utiles, aucune méthode établie ne semblait prévue pour tenir compte de ces recommandations dans les politiques et les programmes. Une autre étude en cours vise à déterminer la mesure dans laquelle l'évaluation est intégrée à la culture organisationnelle du gouvernement et s'interroge sur la façon d'améliorer cet aspect. 

Cousins et coll. (2006) ont effectué une étude du schéma conceptuel afin de comprendre les conditions qui doivent être réunies pour que l'évaluation soit utile et de comparer les points de vue des hauts responsables décisionnels de programmes et des dirigeants de l'évaluation des ministères et organismes gouvernementaux. D'après l'étude, les deux groupes partageaient des points de vue remarquablement similaires et les conditions les plus souvent citées pour que l'évaluation ait des chances d'être utile sont les suivantes : 1) l'évaluation réalisée est de qualité élevée, crédible et intègre; 2) l'évaluation appuie clairement la prise de décisions et de mesures; 3) l'infrastructure organisationnelle et les ressources réservées aux activités d'évaluation sont adéquates; et 4) l'évaluation est prise en charge, comprise et ratifiée par les utilisateurs. Ces résultats visent à éclairer la deuxième étape de la recherche prévoyant la réalisation d'une enquête suivie, au moyen d'un questionnaire auprès des évaluateurs ayant participé à la formation et de multiples études de cas d'organismes gouvernementaux et du secteur sans but lucratif mettant l'accent sur les conditions qui facilitent le recours à l'évaluation de programmes.

Somme toute, l'évaluation est reconnue depuis longtemps comme une importante fonction au gouvernement, probablement bien avant la première politique d'évaluation adoptée au Canada en 1977. Cependant, la mesure dans laquelle l'évaluation a été intégrée à ce jour en tant que fonction de base au processus décisionnel gouvernemental est limitée. L'actuel cadre de gestion adopté au gouvernement fédéral, ainsi que la nouvelle Loi fédérale sur l'imputabilité et le Plan d'action offrent d'importantes occasions de progresser dans cette voie. L'évaluation et le gouvernement entretiennent une relation dynamique et les influences sont probablement réciproques. Cette relation a fait l'objet de relativement peu de recherches au Canada par rapport à d'autres pays.

2.2 Débat sur la professionnalisation

L'évaluation est-elle une profession? Est-elle sur le point d'en être une? Quels sont les éléments qui nous permettront de dire qu'elle a obtenu un statut professionnel? Ces questions, et de nombreuses autres du même ordre, ont été soulevées sur une base presque cyclique au cours des 25 dernières années au moins et elles continuent à retenir l'attention des membres du milieu de l'évaluation et d'autres parties intéressées (p. ex. récent débat tenu en 2005 par la section régionale de la capitale nationale de la SCE à Ottawa et à la réunion conjointe de la SCE et de l'AEA à Toronto). Dans l'ensemble, malgré l'excellent travail relatif à l'élaboration de normes professionnelles et de principes de pratique en Amérique du Nord (AEA, Guiding Principles for Evaluators ; Shadish, Newman, Schierer et Wye, 1995; Guidelines for Ethical Conduct , SCE n.d.-b; Program Evaluation Standards , Comité conjoint, 1994), on ne peut pas encore considérer l'évaluation comme une véritable profession. (Love, 1995; Smith, 2003; Worthen, 2003).

Worthen (2003) énonce une série de critères pour qu'un domaine d'activité comme l'évaluation de programmes soit considéré comme une profession. Nous présentons une adaptation de cette liste au tableau 1 sous forme de questions. À côté de ces questions figurent les conclusions de Worthen, une évaluation que nous sommes portés à appuyer. En résumé, le domaine qu'est l'évaluation de programmes possède plusieurs des caractéristiques d'une véritable profession sans pour autant répondre à trois critères essentiels. Sur le plan positif, on ne conteste guère que l'évaluation en tant que domaine de pratique répond à un besoin cerné et qu'il existe un ensemble de connaissances et de compétences propres à cette spécialisation, comme en témoignent l'apparition de plusieurs revues, dotées d'un comité de lecture dans le domaine, et la récente publication de l'Encyclopaedia of Evaluation (Mathison, 2005). Il existe des programmes de préparation structurés, dont bon nombre sont offerts aux États-Unis mais aussi dans d'autres pays comme le Canada (voir la partie 3.0 ci-après). Le domaine offre des possibilités de carrière stables, à la fois au sein du gouvernement et d'autres organismes des secteurs public et privé, mais aussi dans le milieu des services conseil, et la fonction peut être considérée comme étant institutionnalisée à bien des égards, le gouvernement fédéral canadien en étant le principal exemple. Des associations professionnelles sont en place depuis longtemps au Canada, aux États-Unis et dans d'autres pays, leur nombre augmentant chaque année. Actuellement, l'organisme cadre, l'Organisation internationale de coopération en évaluation, compte parmi ses membres organismes d'envergure nationale (p. ex. SCE, AEA) ou des organismes régionaux (p. ex. African Evaluation Association, Australasian Evaluation Society, Société européenne d'évaluation) et plusieurs de ces associations professionnelles ont élaboré des normes ou des principes de pratique professionnelle.

Tableau 1 : Critères permettant de déterminer si l'évaluation est une profession
(adapté de Worthen, 2003)

Cependant, aucun pays n'est encore doté d'un processus de délivrance de certificats ou de permis d'exercer au niveau de l'association dans le domaine de l'évaluation. Aucune des associations professionnelles susmentionnées ne réglemente l'adhésion en fonction des compétences professionnelles. On ne trouve nulle part des programmes de formation en cours d'emploi ou préalables à ce dernier qui soient officiellement reconnus par des organismes d'évaluation professionnelle. Ces trois dernières caractéristiques expliquent en quoi l'évaluation se distingue d'autres professions et organismes professionnels, dont certains - comme l'Association canadienne des conseillers en management (ACCM) et l'Institut canadien des comptables agréés (ICCA) - qui partagent avec l'évaluation des intérêts professionnels et la clientèle (voir l'excellent document comparatif de Long et Kishchuk, 1997). Et elles représentent les principales questions sur lesquelles a porté en grande partie le débat sur la professionnalisation.

La plupart de ces questions ont été posées et amplement débattues au fil des ans. On peut reconnaître l'important leadership de l'AEA à cet égard. Un numéro spécial de New Directions in Evaluation portant sur la préparation des évaluateurs a été publié en 1994 (Altschuld et Engle, 1994). Divers sujets, notamment les perspectives en matière d'accréditation, l'éthique professionnelle, l'ensemble de connaissances et de compétences en évaluation et les programmes de formation, ont fait l'objet d'une analyse assez directe dans ce numéro. Plus tard dans les années 1990, sous la direction du président de l'association, M. Bickman, un groupe de travail, piloté par Altschuld, a été formé et chargé d'examiner de manière plus approfondie et plus ciblée la question de la reconnaissance professionnelle. Une rubrique thématique de l' American Journal of Evaluation (1999, volume 20, voir plus précisément Alschuld, 1999) a été consacrée au produit du travail de ce groupe. Nombre des questions ont été réexaminées dans des publications subséquentes comme l' International Handbook on Educational Evaluation (Kelleghan, Stufflebeam et Wingate, 2003). Ainsi, compte tenu de toutes les analyses, quels sont les principaux obstacles ou entraves à lever pour que l'évaluation devienne une véritable profession et pourquoi n'est-ce pas encore arrivé jusqu'à présent? Voici un résumé des principaux défis et questions auxquels il convient de s'attarder :

• Diversification du domaine - L'évaluation, en tant que domaine de pratique et de recherche, a remarquablement évolué au fil des ans, à partir de sa position initiale de totale adhésion aux modèles de recherche traditionnels en sciences sociales et en ce raison notamment de la multiplication des défis épistémologiques en sciences sociales en général. L'apparition d'une démarche d'évaluation axée sur la concertation, la participation et l'habilitation constitue une caractéristique clé de cette diversification. Les raisons d'ordre pratique, politique et philosophique qui ont motivé la participation d'intervenants autres que les évaluateurs du programme (p. ex. gestionnaires, responsables de la mise en Guvre, bénéficiaires visés du programme) ont été les catalyseurs du changement (Smith, 2003; Worthen, 2003). Perrin (2005) affirme que l'évaluation est une transdiscipline et qu'il n'est pas nécessaire que les évaluateurs possèdent des connaissances hautement spécialisées dans tous les domaines.
  
• Manque de clarté de la définition du domaine -Avec l'apparition d'une telle diversité, les définitions classiques de l'évaluation, comme étant « un examen systématique en vue de déterminer le bien-fondé, l'utilité et l'importance du programme et d'en appuyer le processus décisionnel », cessent d'être universelles. Les buts de l'évaluation vont maintenant au-delà de la résolution de problèmes liés aux politiques, aux programmes et à l'organisation pour inclure un projet de transformation s'intéressant de près, par exemple, à la réduction de l'injustice sociale et à l'amélioration des conditions sociales. La distinction entre l'évaluation et l'élaboration de programmes s'estompe de plus en plus (Morris, 2003; Perrin, 2005)
  
• Cheminement de carrière hors des sentiers battus - Il n'existe pas de cheminement de carrière bien établi en évaluation. Nombre d'évaluateurs en exercice et de spécialistes de l'évaluation ont fait leur entrée dans le domaine par accident ou encore de manière fortuite ou improvisée. Plusieurs ont appris et continuent d'apprendre sur le tas, sans avoir reçu de formation particulière dans le domaine, à part, le cas échéant, une formation quelconque de base en méthodologie de recherche en sciences sociales (Borys, Gauthier, Kischuk et Roy, 2005). De nombreux membres des associations professionnelles d'évaluation ne sont pas des évaluateurs à temps plein. Ils s'acquittent d'autres responsabilités qui peuvent avoir trait à la gestion de programmes, à la prestation de services et à l'enseignement (Borys et coll., 2005; Smith, 2003; Worthen, 2003).
  
• Manque de dynamisme de la part des évaluateurs en exercice - Malgré les préoccupations et le besoin croissant d'assurance de la qualité en évaluation au Canada relevé par Gussman (2005), on ignore dans quelle mesure les membres des associations professionnelles d'évaluation sont séduits par l'idée d'une reconnaissance professionnelle. Selon une enquête menée par le groupe de travail susmentionné auprès des membres de l'AEA, l'idée ne suscite qu'un appui mitigé. Jones et Worthen (1999) ont observé tout un éventail d'opinions concernant les bases sur lesquelles devrait reposer la reconnaissance professionnelle (p. ex. compétences essentielles, formation avancée, domaines spécialisés) ou son existence. Les opinions étaient partagées en ce qui concerne la faisabilité, l'efficacité, voire l'utilité du processus de reconnaissance professionnelle. Plus de la moitié des répondants (qui tiraient principalement au moins les deux tiers de leur revenu de l'évaluation) n'étaient pas d'accord ou se disaient indécis sur la question de savoir si la reconnaissance professionnelle ferait progresser le domaine de l'évaluation de programmes.
  
  Au Canada, un récent sondage auprès de 1 005 évaluateurs appartenant à divers secteurs a révélé un appui peu enthousiaste au principe de la reconnaissance professionnelle (Borys et coll., 2005). Selon les résultats, environ les trois quarts des personnes interrogées souhaitaient qu'on reconnaisse les compétences des évaluateurs et environ les deux tiers exprimaient le désir de disposer d'un mécanisme pour prouver leur compétence. Bien qu'une grande majorité ait signalé que les employeurs préféreraient embaucher des personnes ou des consultants titulaires d'un certificat, seulement 60 p. 100 environ ont fait part de leur intérêt à satisfaire aux exigences pour obtenir la reconnaissance professionnelle.
  
• Manque de programmes universitaires de formation - Au fil des ans, on a signalé l'existence d'au moins 40 programmes universitaires de formation en évaluation de programmes aux États-Unis et ailleurs (Altschuld, Engle, Cullen, Kim et Macce, 1994; May, Fleisher, Schreier et Cox, 1986). Selon certaines études récentes, les programmes universitaires de formation en évaluation seraient peut-être en diminution aux États-Unis (Enge et Alschuld, 2003; sous presse). Quelle que soit la situation, le nombre de programmes d'études offerts est généralement considéré comme étant trop faible pour appuyer une formation en évaluation et un processus de reconnaissance professionnelle (Altschuld, 2005; Worthen, 1999, 2003). Dans les universités canadiennes, l'évaluation est enseignée (principalement) au niveau du deuxième ou du troisième cycle dans un large éventail d'universités (voir le répertoire de cours de la SCE à l'adresse www.evaluationcanada.ca) et il existe des possibilités de spécialisation en évaluation dans des disciplines connexes menant à un diplôme (p. ex. psychologie communautaire, sciences de la santé, administration scolaire). Certains programmes en évaluation sont sanctionnés par un certificat (voir l'analyse à la partie 3.0 ci-dessous), mais ils sont relativement rares.
  
• Coût - Pour établir un système de reconnaissance professionnelle, Worthen (2003) indique qu'il faut résoudre quatre grandes difficultés : 1) déterminer ce que pourrait impliquer en soi une démarche fondamentale de reconnaissance professionnelle dans la formation d'une personne; 2) s'entendre sur les connaissances et compétences de base à maîtriser; 3) établir des procédures et instruments de reconnaissance professionnelle bien étayés aux yeux de la loi; 4) obtenir un soutien au processus de reconnaissance professionnelle obligatoire. Outre ces importants coûts de démarrage, il y aurait les coûts de tenue à jour d'un répertoire officiel et d'un processus de délivrance de certificats. Cette démarche nécessiterait la création d'emplois rémunérés et l'établissement de groupes d'évaluation par les pairs (Long et Kishchuk, 1997). La troisième difficulté serait probablement celle qui poserait le plus de problèmes, puisqu'il faudrait s'accorder sur les compétences professionnelles et établir des normes pour définir les compétences minimales d'accès à la profession. Comme nous le rappelle Love (1994), il faudrait également un code d'éthique professionnelle valable. Un système établi pour délivrer un certificat aux membres nécessiterait obligatoirement un processus de réglementation de la qualité des services d'évaluation de programmes et le retrait de l'agrément des évaluateurs qui contreviennent au code d'éthique. Les coûts de l'association pour l'assurance contre la faute professionnelle seraient importants. Tous ces coûts seraient assumés par les membres demandant la reconnaissance professionnelle, les membres de la société en général, les organismes partenaires ou une combinaison de ces derniers.
  
• Maintien des droits acquis - Lorsqu'une association professionnelle opte pour un système de reconnaissance professionnelle, quelles sont les répercussions pour les membres d'origine de l'association? Altschuld (1999b) signale que, jusqu'à présent, les associations professionnelles en évaluation ont surtout eu le souci d'assurer leur longévité en renforçant et en maintenant un rôle décent pour leurs membres. Un système à deux niveaux permettrait peut-être le mieux de répondre à l'exigence de reconnaissance professionnelle obligatoire puisqu'il n'empêcherait pas les parties intéressées qui ne pratiquent pas l'évaluation d'adhérer à l'association professionnelle. Il y aurait des risques de faux positifs (membres reconnus qui ne le devraient pas) et de faux négatifs (candidats à qui l'on refuse la reconnaissance professionnelle, à tort). Altschuld est d'avis que la clause de maintien des droits acquis devrait être assez généreuse et qu'un délai de grâce suffisant pourrait être requis (communication personnelle, le 3 avril 2006).
  
• Judiciarisation de la société - Worthen, qui était autrefois un fervent tenant et partisan de la reconnaissance professionnelle des évaluateurs, a récemment assoupli sa position à la lumière de deux considérations importantes. La première, décrite ci-dessus, a trait à l'évolution de la diversité du domaine qui, à son avis, se traduit par une ouverture d'esprit et un éclectisme imposants [au lieu d'] un ralliement autour de compétences et de connaissances qui pourraient nous sembler essentielles pour l'évaluation (2003, p. 340). La deuxième est la tendance à la judiciarisation progressive de la société. La propension à régler les différends, les désaccords et les déceptions comme des litiges prend des proportions presque épidémiques dans notre société (p. 340). Aucune poursuite ni aucun grief ne peuvent être pris à la légère, quel que soit apparemment leur caractère dérisoire ou leur absurdité. Et le temps, l'énergie et les coûts requis pour faire face à ces contestations judiciaires peuvent couper le souffle.

Il ressort de ces discussions et délibérations d'avant-garde que le domaine n'est pas tout à fait prêt pour une reconnaissance professionnelle individuelle sous la forme d'un permis d'exercer (ce qui implique une loi de réglementation ou des exigences relatives à un permis de pratiquer) ou d'une reconnaissance par une association professionnelle. Le groupe de travail de l'AEA a toutefois présenté une proposition un peu moins ambitieuse, un projet de système de délivrance de titres et de certificats. Le plus grand tenant de cette approche a été Altschuld (1999b, 2005), qui définit la reconnaissance professionnelle comme l'aboutissement d'une série de cours ou d'une expérience équivalente que doit avoir à son actif une personne pour recevoir un titre. Le titre pourrait être délivré par une association professionnelle ou, le cas échéant, par des formateurs, à ceux ayant suivi la formation (2005, p. 159). La délivrance d'un titre ou d'un certificat ne sanctionne pas l'ensemble des compétences acquises par la personne qui les reçoit, mais uniquement qu'elle a acquis une certaine expérience et suivi certains cours. Cette nuance est conforme à la distinction établie par Love (1994) entre l'approche de perfectionnement professionnel et la reconnaissance professionnelle par la délivrance d'un permis d'exercer. La délivrance de titres et de certificats s'apparente à la démarche de perfectionnement professionnel.

L'option de la délivrance de titres et de certificats occupe une position intermédiaire entre la reconnaissance professionnelle pure et dure reposant, par exemple, sur la validation de compétences essentielles, et le statu quo que semble être le respect général des principes de pratique professionnelle sans mécanisme garantissant que les évaluateurs en exercice ont à leur actif une formation ou une expérience professionnelle suffisante pour permettre une pleine appréciation ou susciter le respect. La délivrance de titres et de certificats pourrait être considérée comme une étape transitoire ou intermédiaire, susceptible de déboucher sur l'élaboration d'un système de reconnaissance professionnelle plus rigoureux. Comme l'explique Altschuld :

Malgré les efforts louables pour faire avancer l'AEA dans cette direction, y compris l'appui public à la proposition présentée par M. Bickam (1999), alors président de l'AEA, rien ne s'est matérialisé aux États-Unis, probablement en raison des nombreuses difficultés susmentionnées, et de l'enthousiasme apparemment mitigé des membres de l'AEA, comme l'a révélé le sondage auprès des membres (Jones et Worthen, 1999). Mais au Canada, comme l'indique justement Gussman (2005), le contexte actuel au sein du gouvernement fédéral semble propice à l'appui d'une proposition de ce genre. Nous sommes d'accord avec le système volontaire de délivrance de titres et de certificats envisagé par Gussman pour le Canada, tout en étant d'accord avec lui et Altschuld sur l'idée qu'une période transitoire de maintien des droits acquis risquerait de produire des faux positifs (évaluateurs bénéficiant à tort d'une reconnaissance professionnelle) et des faux négatifs (évaluateurs n'ayant pas bénéficié à tort d'une reconnaissance professionnelle).

Des critères permettant de déterminer quelles expériences et formations il faut prendre en compte jetteraient les bases d'un système de délivrance de titres et de certificats. Il faudrait alors s'entendre sur un ensemble cohérent de compétences pour les évaluateurs. Examinons maintenant où on en est à cet égard.

2.3 Compétences de base pour les évaluateurs

Les normes, principes et lignes directrices se rapportant à la pratique professionnelle en évaluation ont pour principal objectif d'améliorer la qualité des résultats et des produits de l'évaluation. En d'autres termes, ils aident à imaginer à quoi pourraient ressembler des évaluations d'une bonne qualité et à donner des directives générales aux professionnels de l'évaluation sur la façon de les produire. Mais ils ne définissent pas avec précision les compétences que devrait posséder l'évaluateur pour produire de bonnes évaluations. Or, l'acquisition de ces compétences est essentielle à la professionnalisation de l'évaluation, comme le donne à penser l'analyse ci-dessus portant sur les exigences de la reconnaissance professionnelle. Mais cette acquisition serait également utile à plusieurs autres fins, notamment la défense des intérêts du domaine, le perfectionnement professionnel ainsi que l'élaboration et l'évaluation de programmes de formation en évaluation.

Stevahn, King, Ghere et Minnema (2005a) indiquent qu'au fil des ans, plusieurs intervenants et auteurs intéressés ont établi des listes de tâches et de compétences requises pour mener à bien des évaluations efficaces. Au Canada, la SCE a établi une de ces listes, sur laquelle repose le programme de la Série des compétences essentielles , qui comprend quatre séminaires intensifs d'une journée visant à familiariser les nouveaux évaluateurs aux principes de base de l'évaluation de programmes, y compris la planification des évaluations, l'utilisation de l'évaluation comme outil de gestion pour améliorer le rendement du programme, et l'évaluation des résultats (SCE, n.d.-a; voir également Nagao, Kuji-Shikatani et Love, 2005). La Série des compétences essentielles reflète l'approche de reconnaissance professionnelle axée sur le perfectionnement professionnel qui a été élaborée par la SCE et sur laquelle reposait récemment l'évaluation d'un programme pilote d'accréditation pour les évaluateurs scolaires effectuée par la Société japonaise d'évaluation (Nagao et coll., 2005). Mentionnons également l'exemple du SCT, qui a élaboré les Normes d'évaluation pour le gouvernement du Canada dans le cadre de sa Politique d'évaluation dans le but de « fournir aux ministères une base sur laquelle s'appuyer pour améliorer leurs pratiques en matière d'évaluation et [permettre] au Secrétariat du Conseil du Trésor de surveiller la mise en Guvre de sa politique d'évaluation » (2001, annexe B). Les normes du SCT donnent des définitions et des orientations pour les normes associées à la planification de l'évaluation et à l'élaboration des questions; la compétence en évaluation; l'objectivité et l'intégrité; la consultation et les avis; les mesures et l'analyse; et la préparation de rapports.

Si ces listes se sont peut-être révélées utiles pour fournir des orientations en ce qui a trait à la formation, à la surveillance de la politique et aux façons souhaitables de façonner la pratique d'évaluation, aucun des cadres proposés ne semblait être systématiquement dérivé ou empiriquement validé par consensus par les divers professionnels du domaine (Stevahn et coll., 2005a, p. 103) [1] . Deux projets importants ont été entrepris récemment afin de combler cette lacune. Le premier, qui est le fruit d'un groupe de chercheurs américains dirigés par King et Stevahn (King, Stevahn, Ghere et Minnema, 2001; Stevahn et coll., 2005a, 2005b), a donné lieu à un ensemble de compétences essentielles pour les évaluateurs de programme, validé empiriquement; cet ensemble a évolué pendant cinq ans et a été révisé à la lumière de la rétroaction des évaluateurs et des spécialistes américains et canadiens dans le domaine. Ces compétences sont agencées en six catégories ou thèmes :

• pratique professionnelle (6 compétences) : avertie, éthique, pratique professionnelle;
• enquête systématique (20 compétences) : compétences techniques pour réaliser l'évaluation;
• analyse situationnelle (12 compétences) : compréhension de l'évaluation en tant qu'activité politique;
• gestion de projet (12 compétences) : compétences pour gérer les projets d'évaluation;
• pratique réflexive (5 compétences) : perfectionnement professionnel continu;
• compétences interpersonnelles (6 compétences) : négociation, règlement de conflits et compétences connexes; (voir Stevahn et coll., 2005a).

Un deuxième ensemble de compétences découle d'une autre étude empirique commandée par la SCE à l'appui de son programme de promotion de l'évaluation. Le projet Bloc de connaissances de base en évaluation (BCBE) a été entrepris par un groupe de chercheurs dirigés par Zorzi (Zorzi, Perrin, McGuire, Long et Lee, 2002; Zorzi, McGuire et Perrin, 2002; voir également McGuire et Zorzi) et comprenait une analyse bibliographique et la consultation via Internet de professionnels de l'évaluation au Canada et à l'étranger à propos des compétences requises pour mener à bien une évaluation spécifique des antécédents. Trente-six spécialistes en évaluation ayant des formations variées ont interprété les résultats. Le but du projet était d'élaborer un bloc de connaissances de base sur l'évaluation de programmes en établissant les avantages de l'évaluation, les résultats requis pour produire ces avantages (p. ex. éléments probants, conclusions, recommandations) ainsi que les connaissances et compétences requises pour produire ces résultats. Il en est ressorti une liste de 23 connaissances et compétences générales, qui chapeautent des connaissances, des compétences et des pratiques plus précises. Chaque élément a été classé dans une des catégories suivantes : éthique, planification et conception de l'évaluation; collecte de données; analyse et interprétation de données, communication et compétences interpersonnelles et gestion de projet. Le groupe a conclu que les compétences requises pour effectuer une évaluation varient selon le but et le contexte de l'évaluation; les compétences en évaluation évoluent constamment et nul n'a besoin d'être compétent dans tous les domaines.

Le lecteur remarquera des chevauchements considérables entre ces éléments et le cadre des CEEP élaboré par le groupe de King et Stevahn. Mais l'étude du BCBE a apporté un plus, du fait qu'elle accorde une attention aux avantages de l'évaluation (responsabilisation, processus décisionnel, connaissances et compétences se rapportant au programme; changement social, cohésion et collaboration) et aux résultats requis pour obtenir cet impact (divers produits d'évaluation, résultats de la participation des intervenants, résultats de portée générale). Les auteurs font valoir qu'une prise de conscience claire de ces avantages et des moyens de les concrétiser renforcerait la capacité des évaluateurs à mener des évaluations permettant de répondre aux besoins des intervenants, d'atteindre les objectifs établis et de parvenir aux finalités prévues. Ce raisonnement corrobore la lacune mentionnée dans la documentation sur le renforcement de la capacité en matière d'évaluation, à savoir que l'on a fait des recherches considérables sur le développement de la capacité à mener des évaluations, mais qu'on en sait relativement moins sur le développement de la capacité à utiliser les évaluations (Compton, Baizerman et Stockdill, 2002; Cousins, Goh, Clark et Lee, 2004; Cousins et coll., 2006). Perrin (2005) dit également ceci :

En conclusion, il semble que bien des études récentes portent sur les compétences et les connaissances des évaluateurs et que ces travaux pourraient servir de base à des actions et à des stratégies plus concrètes visant à améliorer l'assurance de la qualité de l'évaluation. On s'entend pour dire, en règle générale, qu'il serait prématuré d'élaborer un système de certification des évaluateurs reposant sur ces compétences - ce que Love (1994) appelle l'approche de reconnaissance professionnelle axée sur le permis d'exercer. Altschuld (2005), Stevahn et coll. (2005a) et Perrin (2005) semblent être d'accord. Toutefois, ces auteurs et d'autres reconnaissent également que les compétences peuvent être utilisées pour faire progresser le programme d'assurance de la qualité et de défense de l'évaluation. Perrin (2005), par exemple, discute de plusieurs finalités des compétences : éducation et formation de base, auto-évaluation, perfectionnement professionnel, information et promotion des compétences requises pour réaliser une évaluation compétente et outil propre à aider ceux qui diligentent les évaluations. Il se prononce en faveur de l'utilisation de l'information sur les compétences pour informer au lieu de prescrire, d'autant plus que l'évaluation est considérée comme une transdiscipline et en raison des nombreux problèmes encore à résoudre.

Stevahn et coll. (2005b) affirment que les compétences doivent servir de base à la conception et à l'élaboration de la formation universitaire s'adressant aux évaluateurs. Ils proposent qu'un consortium de parties intéressées se réunisse pour établir un ensemble de normes régissant les programmes de formation en évaluation. Un tel projet nécessiterait une synthèse des divers ensembles de compétences établis à ce jour. On envisage un système d'accréditation volontaire pour les organismes offrant une formation en évaluation. L'accréditation supposerait que le programme en question respecte un ensemble convenu de normes. Bien que cet argument soit peut-être fondé, Altschuld donne un avis contraire reposant en partie sur sa propre participation à l'examen des programmes de formation en évaluation actuellement offerts (Altschuld et coll., 1994; Engle et coll., sous presse). Sa préoccupation se résume comme suit :

Selon Altschuld (2005), la plupart des programmes sont assez modestes et ne renferment que deux à trois cours portant sur l'évaluation. Ils sont diversifiés, tendent à être spécialisés dans certains domaines et ont des objectifs et buts variables. Cependant, à son avis, les compétences de l'évaluateur sont utiles car elles appuient l'élaboration d'un système de délivrance de titres et de certificats aux évaluateurs, comme nous l'avons décrit ci-dessus. Ce système, appuyé par un ensemble cohérent de compétences, pourrait mener à l'élaboration de programmes d'évaluation interdisciplinaires. De plus, des systèmes différents de délivrance de titres et de certificats pourraient être prévus pour des niveaux débutants et des niveaux de compétences supérieurs, selon la formation et l'expérience professionnelle. Les compétences pourraient également servir à déterminer la pertinence des programmes de formation en évaluation et d'autres expériences pratiques et professionnelles par rapport à ce qu'on attend des évaluateurs dans l'exercice de leurs fonctions. 

2.4 Répercussions pour la professionnalisation de l'évaluation au Canada

Dans cet examen et cette synthèse de la documentation, nous nous sommes penchés sur trois thèmes distincts, quoique interdépendants. Tout d'abord, nous nous sommes penchés sur la relation entre l'évaluation et le gouvernement, en accordant une attention particulière aux développements dans le contexte canadien comme le rôle de l'évaluation dans le cadre de gestion contemporain incontournable. Ensuite, nous avons étudié en détail les principaux arguments associés au débat sur la professionnalisation qui se sont tenus au fil des ans. Enfin, nous avons examiné les progrès réalisés dans le perfectionnement des compétences des évaluateurs et les répercussions de ce travail.

Somme toute, il est clair que le gouvernement a de toute évidence un rôle à jouer dans la promotion de la professionnalisation de l'évaluation et l'amélioration de l'assurance de la qualité des évaluations en son sein et à l'extérieur. La situation de la pratique professionnelle de l'évaluation est telle qu'il serait prématuré pour l'instant d'établir un processus de reconnaissance professionnelle axé sur l'option de permis d'exercer décrite par Love (1994). Il nous apparaît plus prudent de poursuivre les efforts dans le cadre de la démarche de perfectionnement professionnel à partir des excellents travaux consacrés à ce jour à l'acquisition des compétences en évaluation. Le gouvernement devrait alors appuyer la mise en place d'un système de délivrance de titres et de certificats en fonction duquel on pourrait décider qui possède une formation générale et une expérience suffisantes pour réaliser des évaluations de qualité. Il serait également nécessaire que le gouvernement collabore davantage avec le secteur universitaire et l'association professionnelle (c'est-à-dire la SCE).

Un système de délivrance de titres et certificats comme celui décrit ci-dessus nécessiterait en outre que des programmes universitaires de formation ou d'autres types de programmes soient offerts au Canada. Nous allons maintenant examiner l'état de la formation universitaire en évaluation au Canada et examiner dans quelle mesure elle est comparable à celle offerte dans d'autres pays. Vous trouverez ci-après un examen des centres d'excellence universitaires au Canada et à l'étranger. La mesure dans laquelle ces centres peuvent contribuer à l'assurance de la qualité en matière d'évaluation dans le secteur public et la façon dont ils s'y prennent revêtent un intérêt particulier..

3. Étude sur les programmes universitaires de formation en évaluation et les options

Dans la présente partie, nous étudions les programmes de formation universitaire en évaluation à l'étranger et au Canada. Nous examinerons en premier lieu les programmes offerts à l'étranger, principalement aux États-Unis. Nous aurons ainsi une base de comparaison de la formation universitaire offerte au Canada, qui sera abordée dans la prochaine partie. Enfin, nous examinerons de manière plus approfondie un programme mixte, offert au Royaume-Uni, qui est le fruit d'un partenariat entre le gouvernement et le milieu universitaire. Nous donnons la description de ce programme en raison de son caractère particulier, notamment en ce qui concerne le rôle du gouvernement dans l'assurance de la qualité en matière d'évaluation.

3.1 Formation en évaluation à l'étranger

3.1.1 Programmes universitaires
La grande majorité des programmes universitaires de formation en évaluation que nous avons recensés sont offerts par des universités américaines. La principale source pour découvrir ces programmes a été Altschuld et coll. (1994) à qui l'on doit une étude sur les programmes d'évaluation. Une étude menée auparavant par May et coll. (1986) a été utilisée comme base de comparaison par Altschuld et associés. Récemment, Engle et Altchuld (2003, sous presse) ont mis à jour leur étude publiée en 1994. Dans les deux cas, la définition qu'ils donnent d'un programme comprend « plusieurs cours, des séminaires, des formations pratiques et autres choix, etc. afin d'enseigner ce que le répondant considérait comme étant les principes et concepts de l'évaluation » (Altschuld et coll., 1994, p. 72).

Les auteurs observent un déclin dans les programmes d'évaluation au fil des années. À l'époque de l'étude menée par Altschuld et coll. (1994), il y avait 49 programmes, dont 38 aux États-Unis (en baisse par rapport aux 44 signalés par May et coll. (1986). « Il est important de signaler que sur ces 49 programmes, seulement la moitié (25) comportent le terme " évaluation " dans leur titre officiel, ce qui restreint la visibilité des autres » (Engle et Altschuld, 2003, p. 13). Dans l'étude la plus récente, les auteurs indiquaient que le nombre total de programmes a diminué, passant de 49 à 36 (26 aux États-Unis). Les auteurs émettent l'hypothèse que cette situation peut être attribuable au fait que les chefs de file de l'évaluation les plus âgés prennent leur retraite. « Nous n'avons pas encore commencé à voir apparaître la prochaine génération de programmes universitaires sous l'égide de jeunes professeurs passionnés » (p. 13). Là encore, la visibilité est un problème clé, puisque 22 programmes (61 p. 100) ont le terme « évaluation » dans leur titre.

Ces études nous ont fourni un point de départ pour notre propre recherche de programmes dans Internet. Des détails particuliers sur les programmes sont mentionnés dans le rapport de l'étude de 1994, mais cette information n'a pas été reprise récemment. Nous avons par conséquent choisi les programmes qui semblaient avoir un certain rapport avec le gouvernement (généralement sous la forme d'un stage ou d'un placement en formation pratique et nous avons essayé ensuite de trouver les pages Web actuelles. Certains de ces programmes n'existent plus, tandis que d'autres nous sont apparus comme étant moins des programmes qu'un ou deux cours en évaluation intégrés à des études du niveau de la maîtrise ou du doctorat. Le programme de l'Université de Californie à Los Angeles (UCLA) en méthodologie de recherche sociale est un bon exemple à cet égard (M. Alkin, communication personnelle, le 11 avril 2006). Nous ne faisons mention que des programmes permettant d'obtenir une spécialisation évidente en évaluation. Notre échantillon final est résumé au tableau 2. L'annexe A [2] dresse la liste de tous les programmes (à l'étranger et au Canada) que nous avons trouvés avec des renseignements plus détaillés sur chacun. Il convient de mentionner que notre recherche dans le Web a été limitée dans la mesure où cette information n'est pas présentée de façon uniforme, et où les liens explicites avec le gouvernement ne sont pas souvent en évidence. L'échantillon final n'est pas exhaustif mais nous pensons qu'il est représentatif de la formation de pointe en évaluation dans les universités.

Le tableau 2 fournit une vue d'ensemble utile sur ce qui est actuellement disponible en matière de programmes universitaires de formation en évaluation à l'étranger. Nous n'avons trouvé que deux programmes à l'extérieur des États-Unis, un à l'Université de Melbourne, en Australie, et l'autre au Royaume-Uni. Ce dernier est une initiative conjointe réunissant l'Institute of Education, de l'Université de Londres, et le gouvernement, qui est présentée de manière plus détaillée dans la partie qui suit. Nous avons confirmé que le programme de Melbourne est le seul disponible en Australasie (J. Owen, communication personnelle, le 7 avril 2006).

Tableau 2 : Programmes universitaires ou gouvernementaux de formation en évaluation

Dans de nombreux cas, les programmes d'évaluation sont offerts en tant que centres d'intérêt particulier à des étudiants titulaires d'un grade supérieur, soit au niveau de la maîtrise ou du doctorat. Plusieurs de ces programmes comprenaient l'étude de méthodes quantitatives, de mesures ou de statistiques. Dans certains cas (p. ex. Claremont Graduate University, Université Western Michigan et l'Université du Minnesota), la spécialisation en évaluation existait et était sanctionnée par un diplôme. Dix des 17 programmes que nous avons décrits sont offerts par des facultés ou des collèges d'enseignement. À la différence du Canada, l'éducation aux États-Unis est de compétence fédérale et les textes normatifs sur l'évaluation font observer que la plus grande partie des travaux préliminaires effectués en évaluation ont mis l'accent sur l'évaluation de programmes éducatifs fédéraux d'envergure nationale. On trouve aussi des programmes dans plusieurs écoles ou départements de psychologie et, dans le cas de l'American University, une école d'administration publique. C'était le seul programme se trouvant dans ce genre d'école. Le programme de l'Université Western Michigan sanctionné par un doctorat est en fait un programme interdisciplinaire reposant sur l'enseignement de quatre collèges universitaires (A. Gullickson, communication personnelle, le 11 avril 2006, Stufflebeam, 2001). D'après Stufflebeam (2001), ce programme est issu du Stanford Evaluation Consortium dirigé par L. Cronbach : le programme d'évaluation idéale menant à un diplôme inclurait 1) l'étude préparatoire d'une discipline en sciences sociales, 2) une participation à des colloques interdisciplinaires se penchant sur des évaluations, 3) un apprentissage auprès d'évaluateurs dans l'exercice de leurs activités (préparation de critiques, aide à la rédaction de soumissions, interprétation des données, communication des résultats) et 4) un stage auprès d'un organisme voué à la formulation de politiques. Dans les programmes qui étaient clairement identifiables en tant que programmes de formation en évaluation, nous n'avons pas trouvé de données prouvant explicitement que le curriculum était fondé sur un ensemble de compétences nécessaires à l'évaluateur et définies en tant que telles, c'est à dire la voie vers l'assurance de la qualité proposée par Stevahn et coll. (2005b).

Outre les programmes menant à un diplôme, plusieurs universités (7 ou 41 p. 100) proposent des programmes sanctionnés par un certificat d'études supérieures en évaluation, nécessitant généralement environ 15 crédits d'études (5 cours). Dans le cas de l'Université du Minnesota, le certificat n'est proposé qu'aux étudiants déjà titulaires d'un diplôme d'études supérieures, mais ce n'est pas le cas ailleurs. De façon générale, le certificat est offert au niveau de la maîtrise et, dans la plupart des cas, les crédits du certificat peuvent par la suite être validés pour l'obtention d'un grade supérieur. Melbourne a un programme sanctionné par un certificat dans le cadre d'un cours de téléenseignement. Ce programme a récemment été offert en vertu d'un contrat au gouvernement des Territoires du Nord Ouest, en partie par la voie du téléenseignement et en partie par une prestation sur place (J. Owen, communication personnelle, le 7 avril 2006)

Le nombre de professeurs à temps plein, enseignant sur une base régulière dans le cadre du programme d'évaluation, était souvent difficile à déterminer. Généralement, la seule information disponible était le nombre de membres du corps professoral qui sont membres à temps plein du département ou de l'unité universitaire. Néanmoins, les programmes qui précisaient quel était le personnel enseignant affecté au programme d'évaluation faisaient état habituellement d'au moins cinq membres.

Enfin, il y a une série de programmes qui proposent des formations, des stages, et ceux offrant des cours et uniquement la rédaction d'un mémoire ou d'une thèse. Dans le premier cas, il était expressément énoncé que la formation de praticiens efficaces de l'évaluation ou de l'analyse des politiques faisait partie de la mission de l'unité universitaire. Parfois, des activités de perfectionnement professionnel sont accessibles, de même que des programmes sanctionnés par un certificat ou un diplôme (p. ex. Claremont Graduate University, Université du Minnesota). Dans certains cas, la mission est expressément de former des chercheurs et des universitaires spécialisés en évaluation. Généralement, ces programmes étaient sanctionnés par un doctorat.

3.1.2 Autres options de formation
Dans l'analyse bibliographique, il est fait mention du phénomène du cheminement de carrière atypique: nous savons que de nombreux évaluateurs entrent dans cette spécialisation professionnnelle à l'issue de divers parcours, mais cela n'implique pas nécessairement qu'ils entrent dans le domaine sans aucune formation ou que la formation et le perfectionnement professionnels ne leur sont pas accessibles d'emblée. En plus des programmes menant à un diplôme d'études supérieures ou à un certificat, certaines universités mentionnées au tableau 2, par exemple, administrent des stages de perfectionnement professionnel et des cours de courte durée. L'Université du Minnesota et Claremont Graduate University sont deux exemples de ce genre. En outre, les intéressés peuvent participer à des séminaires portant sur des sujets particuliers et à des cours abrégés dans le cadre de conférences nationales et régionales comme celle organisée par l'Australaisian Evaluation Society, la Société européenne d'évaluation et l'American Evaluation Association. Aux États-Unis, l'Evaluator's Institute propose une autre option. Cette organisation du secteur privé organise un stage annuel qui réunit nombre de spécialistes bien connus du domaine dans le cadre de séminaires. De telles options, toutefois, pourraient plutôt être considérées comme des activités de professionnels destinées à accroître les connaissances et les compétences des évaluateurs plutôt que comme une expérience préparatoire avant l'entrée en exercice.

Outre ces possibilités de formation et de perfectionnement professionnel, il y a deux options de formation qui peuvent contribuer à l'assurance de la qualité en évaluation. La première est une formation sous l'égide du gouvernement et la seconde est l'inscription à un cours universitaire unique en l'évaluation. Ces deux options pourraient donner lieu à un certificat d'honneur plutôt qu'à une simple mention de participation. Autrement dit, à la différence de nombreux stages et séminaires de perfectionnement professionnel, on exigerait des participants qu'ils aient réussi un examen de connaissances et d'aptitudes à l'issue du cours. Nous analyserons maintenant les options de formation pour les évaluateurs.

En 1998, le General Accounting Office (GAO) du gouvernement fédéral des États-Unis a mis sur pied son propre institut de formation pour séparer la formation et l'éducation de l'orientation professionnelle et du développement tant du personnel qu'organisationnel. Selon Kinsgbury et Hedrick (1994), le Training Institute était jugé indispensable pour répondre aux besoins en matière d'information du Congrès des États-Unis. Il comprenait 17 salles de classe dans un immeuble situé à Washington D.C., outre les centres de formation installés dans tous les bureaux régionaux. De façon à avoir la qualification requise pour effectuer des missions de vérification et d'évaluation pour le GAO, chaque évaluateur doit suivre un minimum de 80 heures de formation tous les deux ans.

L'Institut propose six domaines d'études principaux pour la formation des évaluateurs : mission, politiques et responsabilités individuelles; planification de la mission et évaluation; communication; utilisation de l'ordinateur; relations en milieu de travail et gestion; et formation aux problématiques. Une formation personnalisée était également offerte sous forme de cours par internet. Dans leur critique du programme, Kingsbury et Hedricks (1994) concluent qu'il est crucial de faire concorder formation et emploi, que le fait de faire participer à la fois des gestionnaires hiérarchiques et du personnel à la formation accroît sa crédibilité et son incidence, et que la formation doit livrer des messages cohérents à tous les niveaux. À leurs yeux, il existe un besoin permanent d'évaluer les programmes de formation de façon à en assurer la qualité. Comme nous l'avons mentionné ci-haut, le Training Institute est maintenant devenu le Center for Learning, mais il continue d'être régi par les normes de vérification du gouvernement. Même s'il met l'accent sur la formation interne, le GAO a récemment modifié délibérément ses pratiques d'embauche pour privilégier du personnel ayant une formation supérieure, le plus souvent au niveau du doctorat (Ph.D.). Certains des évaluateurs peuvent avoir été formés dans le cadre de programmes spécialisés en évaluation, mais ce n'est pas nécessairement le cas (N. Kingsbury, communication personnelle, le 7 avril 2006).

Même lorsque la formation en évaluation au niveau du gouvernement est disponible, le cours universitaire en évaluation représente une autre option adoptée par de nombreux évaluateurs en exercice. Plusieurs programmes universitaires en évaluation mentionnés dans l'étude d'Altschuld et coll. (1994) n'ont pas été inclus dans notre étude (tableau 2) parce que notre recherche dans les site Web nous a révélé que seulement un ou deux cours en évaluation étaient offerts, plutôt qu'une série de cours, contribuant à un programme. Pourtant, ces cours proposent aux évaluateurs en exercice ou aux aspirants évaluateurs des options fort valables d'études intensives en évaluation au niveau supérieur, d'une quarantaine d'heures environ ou l'équivalent (3 crédits). Les candidats pourraient choisir de suivre le cours en évaluation unique dans le cadre d'un programme connexe comme les programmes d'éducation et de psychologie sanctionnés par un diplôme d'études supérieures. Morris (1994) fait observer qu'il s'agit d'un scénario probable étant donné que seulement 11 p. 100 des membres de l'AEA recensés dans l'annuaire des membres de 1992 font état d'une formation dans le cadre de programmes universitaires en évaluation sanctionnés par un diplôme ou un certificat d'études supérieures. Une autre option consisterait à s'inscrire à un tel cours en tant qu'étudiant spécial. Les candidats doivent avoir les titres requis pour étudier au niveau des études supérieures afin de pouvoir s'inscrire à des cours uniques de ce genre (p. ex, une mention honorable ou très honorable au baccalauréat spécialisé pertinent).

Morris (1994) a procédé à un examen approfondi du phénomène du cours unique en évaluation en s'intéressant expressément au rôle de ces cours et à leur contenu. Il considère le cours unique comme un élément valorisé de la formation professionnelle, plutôt que comme un exercice de perfectionnement des compétences de pure forme. Pourtant, sa principale contribution serait la production de consommateurs instruits plutôt que de praticiens compétents. Mais, selon l'auteur, cela peut être une bonne chose, compte tenu particulièrement de la nécessité de sensibiliser les non évaluateurs au pouvoir et à l'intérêt de la discipline. « Bien qu'un minimum de connaissances puisse être une chose dangereuse, l'évaluation de programmes est un domaine où l'ignorance absolue est encore pire. L'évaluation est plus susceptible de répondre à sa double finalité, à savoir faire la preuve de la crédibilité scientifique et améliorer la condition humaine, dans un environnement où ce n'est pas seulement le milieu professionnel de l'évaluation qui a accès aux connaissances et aux compétences pertinentes » (1994, p. 57). Il est clair, cependant, qu'il faut disposer de quelque chose de plus approfondi et de plus intensif pour perfectionner les compétences des évaluateurs et informer la profession.

3.1.3 Sommaire
Somme toute, il ressort de notre étude sur les programmes de formation à l'étranger que la plupart des programmes universitaires distincts en évaluation sont offerts par des universités américaines (à l'exception de Melbourne et de Londres), et qu'ils seraient légèrement en déclin, en raison peut être de la situation professionnelle des membres fondateurs. Néanmoins, on a relevé plusieurs programmes de deuxième et de troisième cycles ainsi que des programmes sanctionnés par un certificat. Il existe de nombreuses options en ce qui concerne le perfectionnement professionnel et la formation continue en évaluation, mais la plupart d'entre elles ne débouchent pas sur un certificat d'honneur mais plutôt sur une simple mention de participation. Le Training Institute, administré par le GAO des États-Unis, et les cours en évaluation de deuxième et troisième cycles offerts par de nombreux départements et facultés d'universités constituent des exceptions. Nous allons maintenant porter notre attention à la formation universitaire de pointe au Canada.

3.2 Formation de pointe en évaluation au Canada

3.2.1 Programmes d'études universitaires et postsecondaires
Bien que certaines universités canadiennes soient mentionnées dans les études d'Altschuld et Engle (1994, 2003), il n'existe pas à l'heure actuelle au Canada de programmes d'études en évaluation sanctionnés par des diplômes d'études supérieures du niveau de la maîtrise ou du doctorat, même si, dans certains cas, on trouve des doctorats avec spécialisation en mesure et évaluation. À notre connaissance, ces programmes se trouvent habituellement dans des facultés d'éducation et leur objet principal est l'évaluation à grande échelle et la mesure normalisée de l'excellence universitaire (p. ex. Université Laval, Université d'Ottawa, Université de Colombie-Britannique). Une très longue liste d'universités canadiennes, cependant, offrent des cours aux cycles supérieurs en évaluation de programmes, comme le montre la liste mise à jour fournie par la Société canadienne d'évaluation (SCE) (voir www.evaluationcanada.ca). Rien ne s'oppose, par conséquent, à ce qu'une personne intéressée se spécialise en évaluation dans le cadre d'un programme sanctionné par un diplôme d'études supérieures associé à un domaine de recherche connexe (p. ex. en administration scolaire, en psychologie communautaire, en sciences de la santé, en justice pénale).

Nous avons décrit plusieurs programmes postsecondaires canadiens (qui sont tous proposés à l'université, à l'exception du collège Georgian) au tableau 3 à des fins de comparaison. Pour identifier l'échantillon, nous avons commencé par les programmes canadiens inclus dans l'étude d'Altschuld et coll. (1994) et vérifié leurs sites Web afin de nous assurer qu'ils comportent au moins deux cours se rapportant à l'évaluation au sein du même programme ou domaine de concentration menant à un diplôme d'études supérieures. La raison en était que la possibilité de suivre au moins deux cours peut déboucher sur une spécialisation en évaluation dans le cadre d'une discipline connexe quelconque (la spécialisation ne serait probablement pas officielle ou ne serait pas mentionnée sur le diplôme, mais les candidats n'en pourraient pas moins faire leur thèse ou leur mémoire dans le domaine). Certaines universités recensées auparavant par le groupe d'Altschuld (p. ex. l'University de Calgary, l'Université de Lethbridge) ont été éliminées parce qu'elles ne remplissaient pas ce critère. D'autres universités ont été ajoutées. Notre ressource pour les découvrir a été la liste des cours postsecondaires établie par la SCE et mentionnée ci dessus. Nous avons exploré les sites Web des universités censées offrir au moins deux cours en évaluation à l'intérieur d'une faculté ou d'un département. En fin de compte, nous avons trouvé un programme donné par le collège Georgian, un collège communautaire situé en Ontario, du fait de son succès au Student Case Competition organisé par la SCE en 2005. Notre échantillon final recensait 12 universités canadiennes et un collège communautaire (voir le tableau 3).

Tableau 3 : Options de formation en évaluation au niveau des études postsecondaires au Canada

Bien qu'on ne trouve pas de programmes sanctionnés par un diplôme d'études supérieures en évaluation au Canada, nous avons recensé trois programmes menant à un certificat d'études supérieures en évaluation. Deux d'entre eux sont offerts dans des universités de langue française, un en administration publique (École nationale d'administration publique) et l'autre dans une université expressément vouée à l'éducation (Université du Québec à Montréal). Un troisième programme qui sera offert à titre expérimental à l'Université d'Ottawa à compter de l'automne 2006, en attendant son approbation finale, est structuré sous une forme bilingue et relève à la fois de la Faculté des sciences sociales et de la Faculté d'éducation. Dans chaque cas, l'exigence est de 15 crédits (5 cours) obtenus par des études à temps plein ou à temps partiel, ce qui est assez similaire à ce qu'on a pu observer concernant les programmes au delà de nos frontières.

Des cours en évaluation avec la possibilité de se spécialiser en évaluation sous l'égide d'une discipline connexe sont offerts dans plusieurs universités dans diverses disciplines, notamment la psychologie sociale appliquée ou la psychologie communautaire (p. ex. Université Laval, Université de Guelph, Université de Saskatchewan, Université de Windsor, Université Wilfrid Laurier), l'éducation (Université d'Ottawa, Université du Québec à Montréal), les sciences de la santé et la gérontologie (Université de Waterloo) et l'administration publique (Université Carleton, Université Dalhousie, École national d'administration publique, Université de Victoria).

Comme c'était le cas avec notre étude sur les programmes de formation à l'étranger, il est difficile de déterminer combien de membres du corps professoral enseignent des cours en évaluation dans chaque programme, mais les programmes sanctionnés par un certificat semblent compter un minimum de cinq professeurs.

L'expérience pratique en évaluation est principalement associée à des programmes menant à un certificat et à un diplôme, mais également à certaines universités qui n'offrent pas à l'heure actuelle de certificat (c'est le cas de l'Université Laval, de l'Université de Saskatchewan, de l'Université de Victoria, de l'Université de Windsor et de l'Université Wilfrid Laurier). L'expérience pratique varie des possibilités de stage, comme celles offertes par l'Université de Saskatchewan, à des cours comportant une formation pratique où les candidats participent à un travail en évaluation sous la supervision d'instructeurs de l'université (p. ex. Université d'Ottawa, Université de Victoria).

3.2.2 Autres options de formation
Comme ce serait le cas aux États-Unis et ailleurs, les candidats peuvent en réalité s'inscrire à des cours universitaires d'études supérieures en évaluation et les suivre en tant qu'étudiants spéciaux. En pareil cas, l'étudiant est tenu d'être admissible aux études supérieures dans diverses universités (p. ex. titulaire d'un baccalauréat avec mention honorable ou très honorable) et habituellement il ne devrait être autorisé à suivre que deux cours de ce genre en tant qu'étudiant spécial. L'avantage de ces cours est qu'ils sont consignés en tant que certificats d'honneur sur le relevé de notes de l'université, qu'ils confirment l'admissibilité du candidat aux études supérieures et, dans de nombreux cas, qu'ils peuvent par la suite être validés en vue d'un programme universitaire menant à un diplôme d'études supérieures ou à un certificat (à certaines conditions comme les exigences du programme et l'achèvement récent). La liste disponible dans le site Web de la Société canadienne d'évaluation (SCE) (www.evaluationcanada.ca) montre toute la panoplie d'universités offrant ce genre de cours à l'échelle du pays.

Le Programme d'analyste en recherche du collège Georgian (voir le tableau 3), qui s'inscrit dans la ligne des options postsecondaires au Canada, n'est pas un programme universitaire, mais les candidats sont censés avoir fait au moins trois années d'études postsecondaires avant de pouvoir s'inscrire. Le programme comprend 12 cours destinés principalement à l'acquisition de compétences dans divers sujets axés sur la recherche et un stage obligatoire pour le troisième et dernier semestre. Ce programme représente une alternative aux études universitaires sanctionnées par un diplôme. Il existe une variété d'autres options de formation au Canada pour les personnes intéressées à acquérir des connaissances et des compétences en évaluation, mais la majorité de ces formations devraient être plutôt considérées comme des activités de perfectionnement professionnel sanctionnées par un certificat de participation plutôt que par des titres de compétences de types crédits ou certificats qui figurent sur le relevé de notes de l'université.

Au Canada, l'École de la fonction publique du Canada offre une formation interne à l'échelle du pays aux employés fédéraux canadiens et propose périodiquement des cours en l'évaluation. Ces cours sont considérés comme aboutissant à un titre de compétences. Le CEE organise régulièrement une série d'ateliers thématiques à l'intention des fonctionnaires s'intéressant à l'évaluation. Ces possibilités sont similaires à la Série sur les compétences essentielles et aux possibilités de formation de niveau intermédiaire (p. ex. les programmes en conception d'enquêtes et modèles logiques) offerte par la Société canadienne d'évaluation, dans la mesure où ils sont sanctionnés par un certificat de participation plutôt que par un titre de compétences. Le certificat d'ESS est attribué après participation à quatre modules d'une journée (SCE, n.d.-a; Nagao, Kuji-Shikatani & Love, 2005). La SCE parraine également des ateliers et des activités de perfectionnement professionnel au niveau de la section régionale et annuellement au moment de son congrès national. Enfin, les universités proposent à l'occasion ce genre de possibilités sous la forme de stages d'été en évaluation et en méthodologie de recherche appliquée, mais ces possibilités ne nous semblent pas accessibles sur une base régulière comme on a pu l'observer ailleurs (Claremont Graduate School; University of Minnesota).

Malgré l'existence de ces options, contrairement à ce qui se passe aux États Unis, par exemple, le gouvernement fédéral canadien n'exige pas à l'heure actuelle que les fonctionnaires à qui l'on confie des tâches d'analyse et d'évaluation des politiques soient titulaires d'une attestation indiquant qu'ils ont suivi des formations de ce genre (voir l'analyse du Training Institute ci dessus).

3.2.3 Sommaire
Les possibilités de formation en évaluation sont nombreuses au Canada, mais celles d'une formation universitaire avancée semblent assez limitées. À l'heure actuelle, il n'existe aucun programme en évaluation menant à un diplôme d'études supérieures au pays et on ne compte que trois programmes de niveau supérieur sanctionnés par un certificat, dont l'un est en attente d'approbation, et un programme menant à un diplôme offert par un collège communautaire. Bien que des études de niveau supérieur en évaluation soient accessibles dans un large éventail d'universités, il s'agit la plupart du temps de cours. Ces cours peuvent être intégrés à des programmes menant à un grade (suivi en parallèle ou par la suite) et il est probable que les candidats pourraient se spécialiser en évaluation dans ce cadre, dans des disciplines connexes comme l'éducation ou la psychologie sociale appliquée. Il est encourageant de noter toutefois, que des cours d'université en évaluation et dans les disciplines connexes existent à une telle échelle et que plusieurs établissements proposent plus d'un cours dans une même faculté ou un même département, car la possibilité d'élaborer un programme sanctionné par un certificat, par exemple, se trouve accrue lorsque les facultés ou départements peuvent étoffer les cours existants au lieu d'élaborer des programmes à partir de rien. Enfin, il existe une grande variété d'autres possibilités de formation et de perfectionnement professionnel dans le domaine de l'évaluation au sein et à l'extérieur du gouvernement, mais à l'heure actuelle aucun règlement n'exige des candidats qu'ils aient suivi une telle formation pour occuper des postes se rattachant à l'évaluation au sein du gouvernement fédéral. Nous allons maintenant examiner un programme de maîtrise ès sciences au Royaume Uni, qui est le fruit d'un partenariat entre le gouvernement et l'université. Ce programme assez exceptionnel porte assez directement sur une analyse du rôle du gouvernement dans la promotion de l'assurance de la qualité de l'évaluation.

3.3 Étude de cas d'un programme concerté gouvernement-université

Le programme de maîtrise ès sciences intitulé Policy Analysis and Evaluation, élaboré au Royaume Uni et coparrainé par le Government Social Research Unit (CGSRU), le Cabinet Office et l'Institute for Education, de l'Université de Londres (2005), constitue un modèle de collaboration des institutions au service de l'assurance de la qualité de l'évaluation au gouvernement.

Ce programme, qui existe depuis octobre 2005, est essentiellement un programme d'études supérieures modulaire menant à un diplôme obtenu à l'issue de deux années d'études à temps partiel et il donne la possibilité exceptionnelle à des chercheurs en sciences sociales du gouvernement d'envisager de perfectionner leurs compétences professionnelles et d'améliorer leurs perspectives de carrière. (http://www.gsr.gov.uk/professional_development/msc/index.asp). Les objectifs du programme sont les suivants :

1. donner une formation à large assise en méthodologie de recherche en sciences sociales, mettant l'accent sur les méthodes quantitatives les plus pertinentes pour le personnel de recherche en sciences sociales du gouvernement;
   
2. permettre aux étudiants d'acquérir des connaissances et d'approfondir leur compréhension de la conception de la recherche, de la gestion de la recherche, de la politique fondée sur la recherche, de l'analyse économique, de l'analyse longitudinale et d'un éventail de méthodes de recherche quantitative, évaluative et qualitative;
   
3. de fournir aux étudiants des compétences polyvalentes qui peuvent être utilisées de manière efficace dans différents milieux de travail.

Le but du programme est de donner aux étudiants une connaissance approfondie des principales compétences en recherche quantitative se rapportant à la conception, à l'analyse et à l'évaluation de la politique gouvernementale. On s'attend à ce que les participants acquièrent un sens critique très pointu dans un éventail de méthodes de recherche et qu'ils appliquent leur compréhension de la matière aux questions de politique et de recherche. À terme, ils doivent communiquer clairement leur analyse à la fois à des spécialistes universitaires en recherche et à des non spécialistes. Ce faisant, les étudiants développeront leurs aptitudes en appliquant les méthodes de recherche de manière critique. Le programme, qui s'appuie sur une série de cours déjà élaborés à l'intention des chercheurs du gouvernement, a véritablement été conçu par le Cabinet Office et le service de recherche sociale du gouvernement. Le service de recherche sociale du gouvernement (GSRU) voulait rehausser la qualité de la recherche sociale au sein de l'organisation et il disposait de certains éléments d'information indiquant que les programmes universitaires ne donnaient pas aux étudiants les aptitudes en recherche requises pour le gouvernement (R. Taylor, communication personnelle, le 7 avril 2006).

Tableau 4 : Structure de programme modulaire de la maîtrise ès sciences en analyse des politiques et évaluation de programmes (adaptée du GSRU, 2005)

La structure modulaire du programme de deux ans, présentée au tableau 4, comprend cinq crédits modulaires obligatoires et deux crédits optionnels. Le programme correspond à une session d'études de 24 à 26 jours sur une période de deux ans et les cours sont donnés pendant les heures de travail habituelles au sein de la fonction publique. Le programme est livré en collaboration par le Cabinet Office et l'Institute of Education mais c'est l'Institut qui assume la responsabilité de l'évaluation du programme, dans la mesure où il conçoit et note les travaux, établit les commissions d'examen ou jurys et nomme un examinateur externe.

Les modules obligatoires se concentrent essentiellement sur la méthodologie quantitative en recherche sociale, c'est à dire les méthodes, les statistiques et la conception. Il y a également un module sur la politique fondée sur les éléments probants, ou une synthèse de la recherche pour la politique et la pratique. Les modules optionnels peuvent être choisis pour approfondir les méthodes, l'analyse et les capacités de conception et ils incluent des cours sur les méthodes qualitatives et l'économétrie.

L'équipe d'enseignants du programme est constituée de huit membres du corps professoral de l'Institute of Education, quatre membres du personnel du Cabinet Office et un consultant. Les étudiants du programme deviennent membres de la Doctoral School de l'Institute of Education ainsi que du Bedford Group of « Lifecourse and Statistical Studies », qui fait aussi partie des écoles de l'Institut. Le Bedford Group prend en charge l'enseignement des cours du Doctoral School de l'Institut en statistique, analyse multivariable et méthodes d'enquête. Il est également responsable de la direction du cours au niveau de la maîtrise ès arts et de la maîtrise ès sciences en économie de l'éducation ainsi que d'un nouveau module sur la méthodologie d'évaluation quantitative. En 2004 2005, quelque 30 étudiants au doctorat se sont inscrits au Bedford Group.

La maîtrise ès sciences du programme conjoint en analyse et évaluation des politiques est la première du genre à notre connaissance. Il s'agit d'un programme menant à un grade offert conjointement par une université et une organisation gouvernementale, et réservé exclusivement aux membres de l'organisation gouvernementale en question. Le programme est conforme aux normes universitaires du grade dans la mesure où l'Institut, qui fait partie des établissements d'enseignement habilités à décerner des diplômes et des grades, conserve la responsabilité de la notation et de l'interrogation des candidats. Bien que les normes universitaires du grade soient garantes de la qualité du programme, la participation considérable du gouvernement à la conception et à la livraison des modules obligatoires et optionnels garantit sa pertinence par rapport aux exigences gouvernementales en matière d'analyse et d'évaluation des politiques. Le programme illustre le rôle délibérément pratique que peut assumer le gouvernement dans l'amélioration de l'assurance de la qualité de l'évaluation.

Toutefois, selon son directeur, R. Taylor (communication personnelle, le 7 avril 2006), la mise en Guvre du modèle ne s'est pas faite sans difficulté. Le service de recherche sociale du gouvernement (GSRU) a lancé un concours auprès de plusieurs grandes universités du Royaume Uni mais, dans l'ensemble, elles n'étaient guère intéressées à devenir partenaires du gouvernement en vertu des modalités proposées. Elles voulaient diriger leurs propres programmes menant à un grade et ne parvenaient pas à comprendre pourquoi le gouvernement recherchait un partenariat. Une fois le partenaire choisi, la principale difficulté résida dans le système de reconnaissance des grades. Il s'agit d'un système extrêmement paperassier et l'approbation par l'université prit beaucoup de temps. L'obstacle le plus important était l'établissement d'un modèle opérationnel viable.

Le service de recherche sociale du gouvernement (GSRU) a acquitté des droits de démarrage à son partenaire universitaire et impose maintenant le paiement de droits par étudiant qui couvrent tous les coûts. Même les étudiants qui ne briguent pas la maîtrise ès sciences participent aux cours à un taux commercial. La première promotion en 2005 comprenait 18 étudiants. À ce jour, la rétroaction a été extrêmement positive. Les étudiants sont assez satisfaits du programme et les ministères considèrent que le grade représente un bon rapport qualité-prix et qu'il contribue à rehausser le niveau de compétences. Le programme fera prochainement l'objet d'une évaluation en bonne et due forme (R. Taylor, communication personnelle, le 7 avril 2006). Nous poursuivons maintenant notre examen des relations entre l'université et le gouvernement en nous penchant sur le concept de « centre d'excellence en évaluation » et en examinant comment ces centres ont été amenés à participer et peuvent participer à l'assurance de la qualité de l'évaluation au niveau gouvernemental.

4. Étude sur les centres d'excellence universitaires en évaluation

À la différence des programmes de formation et d'enseignement en évaluation, on ne trouve que très peu de choses dans la documentation sur la nature, le rôle et les conséquences des centres d'excellence en évaluation. Nous avons cherché à recenser l'éventail des centres universitaires, tant à l'étranger (dans les pays anglophones) qu'au Canada. Il convient de noter, d'entrée de jeu, que ces entités portent le plus souvent le nom de centres de recherche et parfois de groupes ou instituts de recherche. Nous avons établi notre échantillon principalement grâce aux moteurs de recherche d'Internet, mais également par un suivi bibliographique ainsi que par des consultations par téléphone et courriel, et nous nous efforçons de les décrire en indiquant leurs structures, leurs fonctions et leur mission, leur mode de financement, leurs liens avec les programmes de formation et menant à des grades, ainsi que leurs relations avec les organismes de financement ou de parrainage et les clients (p. ex. fondations, gouvernement). Comme dans le cas des programmes de formation, notre ambition était d'être exhaustifs, mais force nous est de reconnaître que nombre de centres, qui se livrent néanmoins à d'important travaux d'évaluation, sont difficiles à trouver du fait que le terme « évaluation » n'apparaît pas dans leur nom officiel ni dans l'énoncé de leur mission. Toutefois, dans les parties qui suivent, nous nous efforçons non seulement de décrire l'ensemble des centres, mais également de donner une idée de leurs relations éventuelles avec le gouvernement soit en tant que fournisseurs de services (entrepreneurs) ou en tant que bénéficiaires de l'aide ou du financement du gouvernement. Nous commençons par examiner les centres situés à l'étranger et concluons par un survol des centres d'excellence canadiens témoignant d'un intérêt marqué pour l'évaluation.

4.1 Centres d'excellence universitaires témoignant d'un intérêt marqué pour l'évaluation et situés à l'étranger

4.1.1 Caractéristiques de l'échantillon
À terme, nous avons recensé 21 centres d'excellence, que nous avons jugés être d'un grand intérêt dans le domaine de l'évaluation. Nous les présentons succinctement au tableau 5 et le lecteur trouvera des précisions sur chacun d'entre eux à l'annexe B [3] . La majorité (14 ou 66 p. 100) sont situés aux États-Unis, mais il en a trois au Royaume-Uni, trois en Australie et un en Nouvelle Zélande. Douze des centres (57 p. 100) se rattachent à des facultés d'éducation et de développement humain (p. ex. Université Harvard, Université d'East Anglia, Université de Melbourne), tandis que trois sont situés dans des facultés de médecine ou des écoles de santé publique (Université d'Aberdeen, Université de l'Iowa, Université du Nouveau-Mexique) et que les département d'études du comportement ou de la psychologie organisationnels (Claremont Graduate University), d'études de commerce (Université Massey) et de politique publique (Université Vanderbilt) en comportent chacun un. Un second centre, situé à l'Université Vanderbilt, est axé sur l'éducation et le développement humain. Un autre (Royal Melbourne Institute of Technology) ne se rattache pas à une faculté ou à un département mais relève plutôt directement de la haute administration de l'Institut. Trois centres sont interdisciplinaires : l'University of Illinois à Urbana-Champaign (psychologie et éducation), l'University of Technology Sydney (commerce et sciences infirmières) et Université d'York (économie et sciences de la santé). Il est intéressant de noter que 17 des 21 centres (81 p. 100) comportaient le terme « évaluation » indiqué expressément dans le nom du centre (et « recherche appliquée » dans un cas).

4.1.2 Activités des centres et appuis
À partir des énoncés de mission et des listes d'activités, nous avons codé les principales activités des centres réparties entre les catégories recherche (généralement spécifique à la discipline mais parfois recherche en évaluation), pratique (le plus souvent des missions d'évaluation et des formations connexes), enseignement (liens officiels avec des programmes menant à un grade offerts par l'université) et formation (perfectionnement professionnel) sous la forme d'ateliers ne donnant pas lieu à des crédits, de colloques ou de stages. Neuf centres (p. ex. Claremont Graduate University, Université de l'Iowa) se livrent aux quatre catégories d'activités alors que la plupart des autres se limitent à trois des quatre catégories d'activités. Un petit nombre d'universités ne s'adonnent qu'à deux de ces catégories d'activités, généralement la recherche et la pratique, sans perfectionnement professionnel ou services d'éducation.

Comme c'est le cas des programmes de formation en évaluation, il a été parfois difficile de connaître précisément le nombre de professeurs et de membres du personnel connexe se rattachant aux différents centres. L'effectif directement responsable des activités du centre variait considérablement entre deux et bien plus de dix personnes. De façon générale, les centres avaient des listes (parfois longues) de membres affiliés ou associés se rattachant à différents départements et facultés du campus. Même si la plupart disposaient d'un personnel de soutien distinct chargé de la coordination de la recherche, de la direction de projets, de l'assistance à la recherche et de l'aide financière et administrative, de nombreux centres faisaient également participer directement les étudiants à certaines de ces fonctions. Dans l'une des colonnes du tableau 5, nous avons indiqué les activités de pratique et de services conseil, dans le but de saisir la nature de l'activité du centre se rapportant à l'évaluation. Ces activités peuvent en général être regroupées en catégories appartenant à l'un des trois principaux types d'activités suivants : activités de services conseil; services de recherche appliquée et d'évaluation (conduite de la recherche); et diffusion et suivi. Dans certains cas, compte tenu du mandat ou de la mission du centre, l'évaluation était intégrée à d'autres activités et responsabilités. Par exemple, à l'Université de l'Illinois à Urbana-Champaign, l'évaluation était intégrée à des activités d'élaboration de programmes. À d'autres endroits, comme à l'Université d'East Anglia et à l'Université du Minnesota, l'évaluation représentait un choix sur un menu d'activités de la recherche qui comprenait de la recherche en matière de politique, l'évaluation des besoins, voire de la recherche en intervention. Des services conseil sont fournis par de nombreux centres sur des questions comme l'élaboration de propositions de financement, la planification et la conception d'évaluations, ainsi que la conception et la validation d'instruments. On pourrait également ajouter des services techniques particuliers comme le dépouillement de données informatisées ou l'analyse statistique d'un ensemble de données.

En ce qui a trait aux activités de diffusion, nous observons que, dans certains cas, le centre a agi en tant que centre de courtage des connaissances dans le but exprès de faire connaître la recherche et les pratiques exemplaires qui ne sont pas réellement produites par le personnel du centre. Dans de nombreux cas toutefois, cette diffusion et ce suivi ne se rapportaient pas réellement au projet entrepris par le personnel du centre.

Dans la dernière colonne du tableau 5, nous avons essayé de déterminer quel était le mode de financement du centre et, dans la mesure du possible, de cerner les liens avec le gouvernement. On ne peut guère se tromper en supposant que pratiquement tous les centres reçoivent un certain type d'appui interne de l'université, mais qu'il y aurait lieu de s'attendre à ce que les centres deviennent en grande partie autonomes avec le temps. Nous avons découvert qu'il était pratiquement impossible, à partir des sites Web, de déterminer dans quelle mesure les centres bénéficiaient d'un soutien interne. À notre connaissance, un soutien interne important est fourni dans deux cas : l'Université de Melbourne (J. Owen, communication personnelle, le 7 avril 2006) et la Western Michigan University (A. Gullickson, communication personnelle, le 11 avril 2006). Dans l'un et l'autre cas, on s'attendait fortement à ce que l'appui à l'université soit augmenté grâce aux retombées de contrats externes et d'autres sources de revenu.

Tableau 5 : Centres d'excellence en évaluation et domaines connexes

Dans de nombreux cas, nous avons été en mesure de nous assurer qu'un appui important provenait d'organismes de financement externes, de la fourniture de services (travail à contrat) ou d'honoraires en contrepartie de services, notamment l'organisation de séminaires, de conférences, de cours de courte durée et la prestation de services conseil. Le financement se présentait sous deux formes. Tout d'abord, des organismes externes (administrations publiques, fondations privées, sociétés privées) étaient parfois indiqués en tant que commanditaires officiels du centre, ce qui nous a amenés à en déduire que les centres étaient épaulés par des subventions et contributions. En fait, certains centres ont démarré de cette façon. Par exemple, à l'UCLA, le Center for the Study of Evaluation (qui porte maintenant le nom de Center for Research on Evaluation, Standards, and Student Testing) a été financé à l'origine en tant que centre national de recherche par le département de l'éducation. On trouve d'autres centres de ce genre à l'Université du Wisconsin et à l'Université de Pittsburgh et ils reçoivent tous une dotation renouvelable permanente (M. Alkin, communication personnelle, le 11 avril 2006). Dans d'autres cas, le financement prend la forme de subventions obtenues par voie de concours, généralement de sources gouvernementales ou de fondations. L'administration fédérale, les États et les administrations municipales participaient en tant qu'organismes de financement mais les administrations municipales sont mentionnées assez peu souvent. À l'Université de Melbourne, les contrats du gouvernement de l'État (et certains contrats conclus avec l'administration fédérale et des administrations municipales) représentent 80 p. 100 des recettes du centre (J. Owen, communication personnelle, le 7 avril 2006). Dans d'autres cas, les organismes communautaires (souvent paragouvernementaux) faisaient office de clients pour la prestation de services. En ce qui a trait à la Western Michigan University, le financement de sources gouvernementales représente une proportion de fonds similaire (A. Gullickson, communication personnelle, le 11 avril 2006).

4.1.3 Sommaire
Globalement, nous avons recensé un large éventail de centres dans cinq pays anglophones des différentes régions du monde. Nombre de ces centres se trouvent dans des facultés d'éducation ou de développement humain, mais on a également observé l'existence de centres de services de santé et interdisciplinaires. La taille de ces centres et l'envergure de leur travail varient considérablement. La plupart participent à la fois à des travaux de recherche, à des activités se rapportant à l'évaluation, notamment des services conseil, la prestation de services et la diffusion ainsi qu'à des activités de formation ou d'éducation. La plupart d'entre eux dépendent d'une manière ou d'une autre du gouvernement, en général le fédéral ou l'État, pour ce qui est du financement, et de sources de subventions par voie de concours pour la réalisation de projets à contrat. Nous avons observé que des fondations privées leur fournissaient souvent un appui également. L'activité des centres inclut souvent de la recherche dans une discipline (p. ex. protection de l'enfance, santé publique) en plus de services liés à l'évaluation. Dans certains cas, nous avons constaté des liens officiels avec des programmes menant à un grade, mais parfois les activités du centre ne comprenaient aucun volet éducation ou formation. Nous allons maintenant passer en revue les centres canadiens d'excellence en examinant les similitudes et les différences avec ceux situés dans le contexte international.

4.2 Centres canadiens d'excellence universitaires s'intéressant aux activités d'évaluation

4.2.1 Caractéristiques de l'échantillon
Alors que 80 p.100 des centres constituant l'échantillon international incluent le terme « évaluation » dans leur nom, ce n'est le cas que pour cinq (62 p. 100) centres de notre échantillon final de huit centres canadiens. C'est la raison pour laquelle, du moins en partie, les centres s'intéressant de près à l'évaluation sont comparativement plus difficiles à trouver. En fin de compte, nous avons découvert un centre dans les Provinces maritimes (Université du Nouveau Brunswick), cinq en Ontario (Université Carleton, Université Queen's, Université d'Ottawa, Université de Toronto, Université de Waterloo) et deux dans l'Ouest (Université de Calgary, Université de Saskatchewan/Université de Regina). Le centre de Saskatchewan est en fait une organisation gérée conjointement, qui regroupe deux universités et une fondation de la santé. Trois des centres n'étaient pas affiliés avec une faculté ou un département quelconque ou encore n'ont pas indiqué clairement cette information dans leur site Web (Université du Nouveau Brunswick, Université de Calgary, Université de Saskatchewan/Université de Regina). Les autres sont rattachés à une discipline, c'est à dire la gestion publique (Université Carleton), l'éducation (Ontario Institute for Studies in Education/Université de Torornto), les sciences sociales (Université d'Ottawa) et les sciences de la santé (Université de Waterloo). De même que les centres non affiliés, le centre de l'Université Queen's est interdisciplinaire (facultés de l'Éducation et des Sciences de la santé).

Nous avons recensé quatre autres centres, mais nous avons déterminé que leur intérêt pour l'évaluation (qui est le thème du présent document) était marginal, même s'ils participaient de très près à d'importants travaux ayant de bonnes possibilités d'influencer la politique gouvernementale. Il s'agit des établissements suivants :

• Université du Manitoba, Faculté de médecine, Manitoba Centre for Health Policy,
  http://www.umanitoba.ca/centres/mchp/ : Ce centre effectue des travaux de recherche dans le domaine de la santé qui éclairent la politique provinciale en matière de santé et il reçoit actuellement les deux tiers de son financement du gouvernement provincial du Manitoba.
  
• Université McMaster, Centre for the Evaluation of Medicines , 
  http://www.thecem.net/index.html : Ce centre offre une expertise en pharmacologie clinique et toxicologie, économie, politique en matière de santé, sciences du comportement, technologie de l'information, conception de recherche et biostatistique. Citons au nombre de ses spécialisations : études de pharmacologie clinique; évaluation de la santé; évaluation technologique; recherche sur les services de santé se rattachant aux thérapeutiques traditionnelles et complémentaires; effets indésirables des médicaments et données toxicologiques; intervention en politique de la santé concernant les coûts des soins de santé et les résultats pour le patient.
  
• Université de l'Alberta, Département de médecine, Centre for Health Evidence, 
  http://www.cche.net/default.asp : Ce centre pluridisciplinaire réunit des universités, des organisations de la santé et des associations professionnelles à l'appui de l'apprentissage, de l'enseignement et de la pratique des soins de santé fondés sur la recherche clinique.
  
• Université York, Institute for Social Research,  
  http://www.isr.yorku.ca/home.html : L'Institute for Social Research fournit cinq types de services : recherche-sondage, groupes de discussion, services conseil, statistiques, archives de données informatiques et saisie/gestion de données.

Au contraire de notre échantillon international, aucun des centres canadiens n'englobe dans son éventail d'activités tous les domaines recensés - recherche, pratique, enseignement, formation - bien que la plupart semblent mettre l'accent sur trois des quatre secteurs d'activité. Dans tous les cas, la recherche était l'activité principale du centre, ce qui implique la recherche dans la discipline (politique, santé publique) par rapport à la recherche dans le domaine de l'évaluation. Les activités pratiques des centres canadiens se rapportant à l'évaluation sont similaires à celles de l'échantillon international. Plus précisément, plusieurs centres offraient des services d'évaluation de programmes et de conseil ou de diffusion ainsi que des services de suivi visant à privilégier une pratique reposant sur la recherche. Dans certains cas, comme pour l'Université de Calgary ou l'Université Carleton, les services d'évaluation étaient quelque peu accessoires par rapport à des activités de recherche en matière de politique plus centrales.

Des liens officiels avec des programmes universitaires menant à l'obtention d'un grade n'ont été observés que pour un des centres (Université de Saskatchewan/Université de Regina), tandis que plusieurs centres (Université d'Ottawa, Université de Waterloo) ont indiqué que la formation en évaluation et le renforcement des capacités constituent leurs activités principales. Il est intéressant de noter que seulement deux des centres (Université du Nouveau Brunswick, Université d'Ottawa) font explicitement mention de la participation d'étudiants à leurs activités. Bien que dans certains cas le nombre de membres du corps professoral affectés au centre soit difficile à déterminer, la plupart ont fait état de quatre à cinq membres en plus des boursiers à la recherche, des attachés de recherche et autres collaborateurs. Il n'a pas été possible de déterminer les paramètres de dotation pour l'Université Carleton ou l'Institut d'études pédagogiques de l'Ontario/Université de Toronto à partir de leurs sites Web respectifs. Compte tenu de la population canadienne, il ne faut peut être pas s'étonner de l'absence de centres aussi importants qu'aux États-Unis et au Royaume-Uni.

Tableau 6 : Centres d'excellence en évaluation et domaines connexes au Canada

Enfin, le mode de financement et les parrainages ont généralement été difficiles à déterminer, mais on ne risque guère de se tromper en disant qu'au moins une partie des budgets de ces centres provient de l'université tandis que leurs autres sources de revenu sont le parrainage, l'obtention de subventions par voie de concours et le travail à contrat. On dispose de bien des données indiquant que le financement des centres dépend en partie du financement du gouvernement ou des services qu'ils assurent au gouvernement dans le cadre de contrats. Dans le cas de l'Université de Waterloo et de l'Université de Saskatchewan ou de l'Université de Regina, des partenariats en bonne et due forme ont été établis avec des organismes non gouvernementaux et des fondations qui les appuient.

4.2.2 Sommaire
De façon générale, comparativement à l'échantillon international, les centres d'excellence canadiens ayant un intérêt marqué pour les activités liées à l'évaluation semblent être légèrement plus homogènes pour ce qui est de la taille, et moins nombreux dans les facultés d'éducation. Nous avons observé qu'il existe des centres interdisciplinaires et des centres qui ne semblent pas être affiliés à un département ou une faculté en particulier. Les centres qui participent à des activités se rapportant à l'évaluation étaient difficiles à recenser du fait que l'évaluation n'est pas indiquée dans leur nom. Néanmoins, les centres universitaires participent amplement aux activités d'évaluation au Canada, soit dans le cadre de services conseil, de prestation de services ou de formation. On constate également un vif intérêt pour une pratique fondée de préférence sur la recherche dans leurs disciplines respectives, dans certains cas par la diffusion de la recherche stratégique ou le courtage de la recherche effectuée ailleurs. Enfin, il semble manifeste que les centres dépendent jusqu'à un certain point des fonds obtenus grâce à leurs relations avec le gouvernement, soit en tant que bénéficiaires d'un parrainage, titulaires de subventions ou en tant qu'experts-conseils travaillant pour le gouvernement au niveau provincial ou fédéral.

5. Conclusions et conséquences

Le présent examen de la documentation et l'étude sur les options de formation universitaire en évaluation, ainsi que sur l'existence, le fonctionnement et le mode de financement des centres d'excellence universitaires ayant un intérêt marqué pour l'évaluation, nous offrent une plateforme détaillée à partir de laquelle nous pouvons envisager le rôle éventuel du gouvernement dans la promotion de l'assurance de la qualité de l'évaluation. Compte tenu du débat et des données que nous avons réunies concernant l'intérêt des universités pour l'évaluation au Canada, nous sommes convaincus qu'il serait prématuré, à l'heure actuelle, d'adopter un modèle de reconnaissance professionnelle unique. Même si au Canada et ailleurs, d'importants progrès ont été réalisés récemment dans la définition des compétences de base pour les évaluateurs, il existe une diversité considérable dans le champ de la pratique ce qui représente un facteur qui milite sérieusement contre l'adoption d'une approche de type permis d'exercer qui limiterait l'entrée dans le domaine l'établissement de critères minimums de connaissances et de compétences. En outre, nous avons vu qu'il n'existe pas à proprement parler de programmes menant à un diplôme d'études supérieures en évaluation au Canada, à la différence de ce qui se passe dans d'autres pays. Les universités canadiennes proposent toutefois des cours assez nombreux au niveau des études supérieures concernant la fonction d'évaluation vous avons trouvé certains éléments indiquant que les programmes sanctionnés par un certificat d'études supérieures deviennent une option réaliste au niveau des études avancées et qu'ils sont susceptibles de faire pendant aux activités de perfectionnement professionnel qui s'offrent à l'heure actuelle et qui sont sanctionnées par un certificat de participation, plutôt que par un titre de compétence.

La principale conclusion qui ressort de notre analyse est qu'un système de délivrance de titres et de certificats qui reconnaîtrait une série de cours qu'une personne doit avoir suivis ou tout autre type d'expérience pertinente serait la voie la plus prudente et réaliste pour satisfaire exigences les actuelles dans le contexte canadien d'assurance de la qualité en évaluation. Un tel système pourrait former la base d'un système de reconnaissance professionnelle plus élaboré et plus rigoureux avec le temps, si le milieu s'accorde sur la définition et les différentes compétences que les évaluateurs devraient posséder. C'est à partir de cet élément central que nous allons maintenant envisager le rôle du gouvernement dans l'appui à l'assurance de la qualité de l'évaluation au Canada. Nous traiterons de ces questions sous les rubriques formation, centres d'excellence, et autres conséquences pour les universités et liens avec le milieu professionnel, la SCE.

5.1 Formation et éducation

5.1.1 Programmes sanctionnés par un certificat d'études supérieures en évaluation
L'élaboration de programmes pilotes d'études de cycle supérieur sanctionnées par un certificat en évaluation représente une étape raisonnable qui pourrait être fort utile pour le gouvernement, s'il veut déployer son programme d'assurance de la qualité. Il s'agirait de programmes du niveau de la maîtrise comprenant cinq ou six cours de trois crédits à prendre à temps partiel ou à temps plein. Le Conseil des études supérieures de l'Ontario est devenu assez ouvert au concept ces dernières années, car les universités ontariennes ont bénéficié de l'élaboration et de la mise en place de certificats sanctionnés par un diplôme d'études supérieures dans divers domaines de recherche appliquée et d'enquête. Notons par ailleurs que le concept du programme de certificat d'études supérieures devient courant dans d'autres régions du Canada, comme il l'est déjà dans le reste du monde. Le but serait de préparer des personnes qualifiées et compétentes à assumer des fonctions d'évaluation. Les programmes devraient comprendre de bonnes bases en méthode et pratique de l'évaluation, en théorie de l'évaluation et modèles ainsi que des possibilités d'apprentissage et d'expérience dans le cadre de stages ou de formations pratiques.

Un petit nombre de ces programmes existent à l'heure actuelle au Canada. Il pourrait être possible de faire équipe avec ces programmes pour offrir des versions spécialisées du programme sanctionné par un certificat qui seraient adaptées aux besoins de l'évaluation au sein du gouvernement fédéral. De même, il peut être avantageux d'aider les universités à élaborer des méthodes d'enseignement à distance pour assurer la prestation de ces programmes de façon à ce qu'ils puissent être accessibles aux employés de la fonction publique fédérale dans toutes les régions du pays.

Les autres possibilités consisteraient à négocier des formules à titre expérimental avec d'autres entités prometteuses au Canada, comme les facultés ou départements des universités qui offrent à l'heure actuelle plusieurs cours d'évaluation sur une base régulière. Un appui sous la forme d'une garantie de plusieurs offres de travail au gouvernement fédéral (c. à d. le recyclage de personnel du gouvernement pour l'évaluation) au cours des années à venir serait utile pour aider à établir et à développer les programmes au sein de la structure universitaire.

L'avantage retiré d'un appui fédéral au développement de programmes sanctionnés par un certificat d'études supérieures en évaluation pourrait prendre la forme de la délivrance de titres et de certificats d'évaluateurs au niveau fédéral. C'est à dire que le gouvernement fédéral pourrait aller de l'avant et exiger que ses évaluateurs de programmes ou experts-conseils en la matière aient suivi un programme d'études en évaluation sanctionné par un certificat d'études supérieures (qui pourrait peut-être prendre pour modèle ceux de l'initiative pilote ou qui en feraient partie). Le titre ou certificat serait alors le certificat que reçoivent les diplômés du programme. Cette voie suppose une similarité raisonnable entre les différents programmes à l'échelle du pays, ce qui devrait être le cas si la coordination passait par un projet pilote. (Une autre possibilité consisterait à travailler avec la SCE à élaborer un répertoire des évaluateurs titulaires d'un titre ou certificat de compétences - voir l'analyse ci après).

5.1.2 Élaboration d'un programme sanctionné par un diplôme d'études supérieures en évaluation de programmes, en partenariat avec une université
Une option légèrement plus ambitieuse consisterait à collaborer avec une université ou plusieurs à l'élaboration d'un diplôme d'études supérieures expressément conçu pour répondre aux besoins de formation en évaluation et de reconnaissance professionnelle des évaluateurs du gouvernement. Un tel programme comporterait d'importantes difficultés d'élaboration et de mise en place et nécessiterait l'engagement soutenu du gouvernement. Un curriculum de base pourrait être élaboré pour ce programme à partir de ce que l'on sait à l'heure actuelle concernant les compétences des évaluateurs en rapport avec les besoins du gouvernement, qui peuvent être assez particuliers en ce qui a trait à la fonction d'évaluation (p. ex. obligation d'insertion dans le cadre de gestion des dépenses et de reddition de comptes). Le programme pourrait être offert à temps partiel à des fonctionnaires choisis avant leur entrée en fonction ou servir à leur perfectionnement à court terme. Le diplôme serait reconnu sur un relevé de notes universitaires et par conséquent susceptible d'être valable n'importe où, ce qui pourrait être attrayant pour bon nombre de fonctionnaires. Un autre avantage de ce genre de programme a trait au fait que le curriculum pourrait être adapté aux besoins du gouvernements et par conséquent extrêmement pertinent, tandis que parallèlement la qualité serait assurée par la conformité obligatoire à la réglementation provinciale régissant les programmes d'études menant à un diplôme d'études supérieures. Pour y parvenir, il y aurait lieu, le cas échéant, que des professeurs de l'université soient impliqués dans les cours qui sont donnés par des membres de la fonction publique. (On se rappellera, par exemple, que des dispositions régissant l'élaboration des travaux à rendre et la notation qui relèvent de l'Institute of Education s'appliquent au programme de l'Université de Londres - voir le paragraphe 3.3 ci dessus). Une autre considération serait d'ordre géographique. Le programme serait il accessible aux fonctionnaires de tout le pays et, le cas échéant, selon quels critères? Enfin, le programme serait nécessairement donné dans les deux langues officielles, ce qui a des conséquences au niveau des ressources.

5.1.3 Séminaires, cours de courte durée, stages d'été et autres expériences d'apprentissage
Ces formules offrent plusieurs possibilités afin de continuer à offrir une formation de niveau plus élémentaire et une initiation aux principes de l'évaluation et à la pratique. D'abord, le CEE devrait continuer à élaborer et à offrir des séminaires et des ateliers d'apprentissage associés à sa stratégie d'apprentissage en évaluation. Ces ateliers ou cours seraient extrêmement pertinents par rapport au travail d'évaluation au sein du gouvernement et pourraient servir à étoffer une formation plus avancée comme les programmes menant à l'obtention d'un diplôme ou ceux menant à un certificat d'études supérieures. De même, il serait avantageux d'encourager une participation à la formation de niveau de base dans le cadre de la Série sur les compétences essentielles des cours de courte durée de niveau intermédiaire. Il serait prudent d'évaluer le curriculum de ces cours par rapport aux exigences actuelles du gouvernement de façon à s'assurer qu'ils répondent, du moins en partie, aux besoins au chapitre de l'assurance de la qualité. Une autre option pourrait prévoir l'élaboration de partenariats avec des universités pour offrir des stages d'été qui pourraient être thématiques ou plus généraux pour le renforcement des capacités en évaluation. Les universités disposent de beaucoup plus de latitude pour offrir de tels cours étant donné qu'elles ne sont pas régies par des organismes centraux d'accréditation et, en fin de compte, que ceux ci ne figurent pas sur le relevé de notes de l'université. De tels stages sont assez recherchés dans d'autres pays et offrent la possibilité de faire venir des conférenciers invités du milieu de l'évaluation.

5.2 Centres d'excellence

5.2.1 Appui au développement de centres d'excellence universitaires en évaluation
Notre analyse montre les multiples aspects intéressants que les centres d'excellence universitaires peuvent ajouter au programme d'assurance de la qualité de l'évaluation. Pourtant, au Canada, l'existence de centres de grande portée en ce qui a trait à la fonction d'évaluation est parfois passée sous silence, comparativement à ce qui se passe dans d'autres pays. Une partie seulement des centres en place ont des liens formels avec les programmes sanctionnés par un diplôme ou un certificat d'études supérieures et, en raison de l'absence de programme sanctionné par un grade en évaluation, ils représentent une voie de formation de personnel hautement qualifié en évaluation qui est en grande partie sous exploitée. Certains centres d'excellence comprennent un volet formation et renforcement des capacités en évaluation dans le cadre de leurs activités. De telles fonctions pourraient être fort précieuses pour les fonctionnaires ayant besoin d'acquérir des connaissances particulières et des aptitudes définies sur une base professionnelle. Les centres d'excellence jouent également un rôle consultatif. Il serait avantageux pour les ministères fédéraux d'entretenir des relations avec les entités et de tirer parti de cette fonction pour des services conseil et d'examen par les pairs. Les centres d'excellence exécutent également des travaux à contrat et offrent des services d'évaluation fiables. L'investissement de fonds publics à l'appui du développement des centres serait judicieux dans la mesure où ces centres pourraient offrir une solution de rechange aux firmes qu'on retrouve habituellement sur les offres permanentes de prestation de services. Dans d'autres pays, en particulier aux États Unis, les centres d'évaluation disposent de l'infrastructure pour mener à bien des évaluations à très grande échelle portant sur des programmes nationaux. Rien n'empêche que ce soit également le cas au Canada. S'il est vrai que les professeurs, sur une base individuelle, sont incapables d'abandonner leurs multiples engagements et missions pour accepter des contrats exigeants dans des délais serrés, des centres dotés du personnel requis comprenant des attachés de recherche, des coordinateurs, des boursiers postdoctoraux et des étudiants, seraient tous en mesure d'apporter une expertise appréciée à l'évaluation des grandes initiatives de programme ou de politique.

Comment le gouvernement pourrait il s'y prendre pour passer à l'action? D'une part, grâce à une restructuration interne au sein de l'administration, on pourrait rendre le travail à contrat plus accessible aux universités et aux centres universitaires en particulier. Pour constituer une petite équipe de personnel hautement qualifié en évaluation, une autre possibilité consisterait à établir un financement d'activités postdoctorales en collaboration avec ces organisations. En stimulant la recherche en évaluation, laquelle constitue un pôle d'intérêt des centres d'excellence que l'on peut renforcer, on disposerait d'une autre option à prendre en compte. Malgré leurs objectifs différents, les intérêts de la recherche peuvent souvent être calqués sur les activités d'évaluation. Mis à part le fait que les universités exigeraient à tout le moins le partage de la propriété intellectuelle, la stimulation de la recherche en évaluation pourrait être extrêmement avantageuse à long terme. Une recherche de qualité suscite l'intérêt et peut jouer en soi un rôle de renforcement des capacités en donnant une idée du potentiel de l'évaluation et de son pouvoir en tant que fonction de gestion. Outre les possibilités au niveau des études postdoctorales, on pourrait envisager la mise en place d'un petit nombre de chaires de recherche vouées à l'évaluation de programmes et associées à des programmes sanctionnés par un certificat comme moyen de renforcer l'aptitude des universités à contribuer au développement d'une capacité d'évaluation de programmes dans tout le pays.

5.2.2 Maintien ou expansion de la liaison avec les universités
Les organismes voués à l'assurance de la qualité tels que les comités consultatifs pour la planification permanente de l'évaluation et son intégration aux plans stratégiques, l'examen par les pairs des cadres d'évaluation et des rapports d'évaluation ainsi que les méta évaluations de groupes de rapports d'évaluation, constituent tous des contributions fort valables qui peuvent être faites par les universitaires, qu'ils se rattachent ou non à des centres d'excellence. Il s'agit d'une pratique courante dans de nombreux ministères et organismes du gouvernement fédéral, mais elle est loin d'être généralisée. Il serait prudent d'encourager les évaluateurs des ministères et organismes fédéraux ainsi que les artisans de la politique et les décideurs à nouer des relations avec les universitaires en qualité d'experts-conseils. Nous observons que de nombreux cours d'évaluation sont offerts dans des universités de différentes régions du pays et qu'il est probable qu'elles ont un savoir-faire en évaluation assez étendu, malgré le petit nombre de programmes menant à un grade en évaluation ou à un certificat en bonne et due forme.

5.3 Autres activités avec les universités

5.3.1 Échanges entre les secteurs gouvernemental et universitaire
La documentation sur le changement organisationnel fait état d'un appui de longue date à l'enrichissement des connaissances et au renforcement des apprentissages organisationnels en ayant recours à des personnes de l'extérieur, notamment des universitaires, pour travailler dans le secteur public dans le cadre de missions de courte durée. Dans le cas présent, ces missions pourraient prendre la forme de détachements d'une année, d'affectations pendant une année sabbatique, ou de remplacements de courte durée de personnes en congé temporaire. Datta (2003) signale que parmi les figures les plus influentes dans le développement de l'évaluation en tant que domaine de recherche on compte des universitaires qui ont travaillé dans le secteur public où ils se sont acquittés de responsabilités importantes en matière d'évaluation et ont marqué le milieu.

5.3.2 Appui à la formation des étudiants
Les étudiants constituent la prochaine génération d'évaluateurs et les mesures prises pour stimuler l'acquisition de connaissances et de compétences en évaluation représenteraient une catégorie de stratégies qui seraient vraisemblablement rentables. Nombre de centres d'excellence en évaluation recrutent régulièrement des étudiants pour mener à bien leurs missions d'évaluation à contrat, ce qui est habituellement formidablement avantageux pour toutes les parties concernées. En plus d'aider les étudiants à parvenir à l'autonomie financière, ces travaux leur permettent d'acquérir des connaissances et des compétences susceptibles d'être d'un bon niveau dans le cadre d'une expérience dans ce milieu. De telles possibilités ne devraient pas se limiter au travail à contrat dans un centre d'excellence. Les programmes de travail d'été et d'autres formules d'intégration des étudiants dans un milieu de travail professionnel, notamment les stages au sein du gouvernement, pourraient être extrêmement avantageux. À l'heure actuelle, les programmes d'alternance travail-études n'existent au niveau des études supérieures que dans un petit nombre d'universités seulement, et nous pouvons affirmer sans crainte de nous tromper qu'aucun ne porte sur l'évaluation. Pourtant, ce mode d'apprentissage va de pair avec une longue tradition d'avantages, tant pour les étudiants que pour les organisations qui l'adoptent. Outre cet appui direct, le parrainage soutenu de concours valables comme les concours de dissertation de la SCE et les concours de cas serait également susceptible d'avoir des retombées positives pour le gouvernement.

5.4 Appui à l'association professionnelle

5.4.1 Appui à la SCE pour l'élaboration d'un système de délivrance de titres et de certificats
Au paragraphe 5.1.1 ci-dessus, nous avons fait valoir que la voie simple et logique d'un programme pilote en vue de la mise en place ultérieurement de programmes sanctionnés par un certificat d'études supérieures dans les universités des différentes régions du pays consisterait pour le gouvernement à instituer un système de reconnaissance professionnelle de fait. Les fonctionnaires et les personnes de l'extérieur titulaires d'un certificat d'études supérieures seraient considérés comme qualifiés dans le cadre de concours de recrutement pour occuper des postes vacants. Cependant, les systèmes de reconnaissance professionnelle peuvent et devraient être plus élaborés que cette norme minimale, de façon à réduire la production de faux négatifs (c. à d. de personnes n'ayant pas obtenu à tort la reconnaissance professionnelle) et de faux positifs (c. à d. de personnes ayant obtenu à tort la reconnaissance professionnelle). Outre le programme sanctionné par un certificat, il pourrait y avoir d'autres voies reconnues comme l'obtention d'un diplôme d'études supérieures dans une discipline avec spécialisation en évaluation, des expériences pratiques en évaluation ou des contributions à l'avancement de la théorie de l'évaluation et de la pratique qui, en fin de compte, pourraient contribuer à régler le problème. Cependant, de tels systèmes nécessiteraient l'établissement de procédures pour statuer sur les demandes et pour tenir un registre des personnes qualifiées. Les personnes préposées à ces fonctions pourraient travailler directement au sein du gouvernement ou faire partie des fournisseurs et travailler en qualité d'experts conseils.

L'élaboration d'un tel système de délivrance de titres et de certificats, comme nous l'avons proposé ci dessus, pourrait être considérée comme une stratégie progressive vers une éventuelle reconnaissance professionnelle et, compte tenu des intérêts professionnels en jeu, il serait logique que l'association professionnelle prenne le devants dans la mise en place d'un tel système. Naturellement, l'élaboration d'un système de délivrance de titres et de certificats entraînerait des coûts de démarrage importants et des coûts de maintenance qui pourraient nécessiter des subventions. Par exemple, le gouvernement pourrait envisager d'appuyer un congrès ou un processus quelconque pour que l'on s'entende sur un ensemble de normes communes pour la délivrance des titres et des certificats, l'accréditation des programmes, etc. Ou encore, un partenariat officialisé pour la mise en place d'un système de délivrance de titres et de certificats pourrait être une option à considérer. Une fois ce système mis en place, un personnel à temps plein serait requis pour tenir un registre des évaluateurs accrédités, ce qui pourrait représenter des augmentations importantes des cotisations des membres. Avec un système de délivrance de titres et de certificats en place, ainsi que des équivalences pour les autres types d'expérience par rapport aux exigences du certificat d'études supérieures, le Secrétariat du Conseil du Trésor pourrait envisager les conséquences au niveau des pratiques d'embauche au sein de la fonction publique fédérale et au niveau du recrutement des fournisseurs de services du secteur privé.

5.5 Conclusion

Nous venons de livrer nos idées sur le rôle possible du gouvernement dans l'assurance de la qualité de l'évaluation. Les possibilités de développement et d'enrichissement des relations entre le gouvernement et les universités sont nombreuses et variées. Les deux secteurs en viendraient semble t il à bénéficier d'une manière assez considérable d'un renforcement de l'assurance de la qualité de l'évaluation et, en fin de compte, de l'intégration complète de l'évaluation à la fonction de gestion. Il est à espérer que le présent document de travail jettera vraiment les bases d'un dialogue concret, de la poursuite du débat et, à terme, de mesures menant à ces fins.

Footnotes

1. Prière de retenir que les compétences en évaluation du SCT reposaient sur une étude du profil de compétences du millieu fédéral de l'évaluation.
   retour
2. Annexe A est disponible en ligne au www.tbs-sct.gc.ca/ http://www.tbs-sct.gc.ca/cee/tools-outils/qae-aqe/annexa-fra.asp
   retour
3. Annexe B est disponible en ligne au www.tbs-sct.gc.ca/cee/tools-outils/qae-aqe/annexb-fra.asp
   retour

Ouvrages de référence

American Evaluation Association. American Evaluation Association Response to U.S. Department of Education notice of proposed priority, Federal Register RIN 1890-ZA00 , November 2003 « Scientifically based evaluation methods », 2004, consulté le 19 avril 2004, à http://eval.org/doestatement.htm
 
Amara, N., Ouimet, M. et Landry, R. « New evidence on instrumental, conceptual and symbolic utilization of university research in government agencies », dans Science Communication, no 26, 2004, p. 75-106.

Alkin, M. C., Kosecoff, J., Fitz-Gibbon, C. et Seligman, R. Evaluation and decision making: The Title VII experience , Los Angeles, CA, Centre for the Study of Evaluation, 1974.

Altschuld, J. W. « Certification, credentialing, Licensure, competencies, and the like: Issues confronting the field of evaluation », dans Revue canadienne d'évaluation de programme , vol. 20, no 2, 2005, p. 157-168.

Altschuld, J. W. « Certification of evaluators: Highlights from a report submitted to the Board of Directors of the American Evaluation Association », dans American Journal of Evaluation , vol. 20, 1999, p. 481-493.

Altschuld, J. W. « A case for a voluntary system for credentialing evaluators », dans American Journal of Evaluation , vol. 20, no 3, 1999, p. 507-517.

Altschuld, J. W., Engle, M., Cullen, C., Kim, I. et Macce, B. R. « The 1994 directory of evaluation training programs », dans J. W. Altschuld et M. Engle (sous la dir. de), New Directions in Program Evaluation: The preparation of professional evaluators; issues perspectives, and programs , no 62 (p. 71-94), San Francisco: Jossey-Bass, 1994.

Aucoin, P. Le processus décisionnel au gouvernement : le rôle de l'évaluation des programmes , Ottawa, Centre d'excellence en évaluation, Secrétariat du Conseil du Trésor du Canada, avril 2005.

Bickman, L. « AEA, bold or timid? », dans American Journal of Evaluation , vol. 20, 1999, p. 519-520.

Breen, G. et Associates. Entrevues avec des sous-ministres concernant la fonction d'évaluation , Ottawa, Centre d'excellence en évaluation, Secrétariat du Conseil du Trésor du Canada, mai 2005.

Borys, S., Gauthier, B., Kishchuk, N. et Roy, S. Survey of evaluation practice and issues in Canada . Exposé présenté à la Conférence conjointe de la Société canadienne d'évaluation et de l'American Evaluation Association, Toronto, novembre 2005.

Bureau du contrôleur général. Guide sur la fonction de l'évaluation du programme . Ottawa, ministre des Approvisionnements et Services, 1981a.

Bureau du contrôleur général. Principes pour l'évaluation des programmes par les ministères et organismes fédéraux . Ottawa, ministre des Approvisionnements et Services, 1981b.

Centre d'excellence en évaluation. Examen de la qualité des évaluations dans les ministères et organismes . Ottawa, auteur, Secrétariat du Conseil du Trésor du Canada, 2004.

Cousins, J. B. Entrevue avec le rédacteur en chef fondateur de la Revue canadienne d'évaluation de programme, Revue canadienne d'évaluation de programme , vol. 20, no 3, 2005, p. 199-221.

Cousins, J. B., Goh, S., Clark, S. et Lee, L. « Integrating evaluative inquiry into the organizational culture: A review and synthesis of the knowledge base », dans Revue canadienne d'évaluation de programme , vol. 19, no 2, 2004, p. 99-141.

Cousins, J. B., Goh, S., Aubry, T., Elliott, C., Lahey, R. et Mongtague, S. What makes evaluation useful? A concept mapping study . Exposé présenté à une séance de Performance and Planning Exchange, Ottawa, janvier 2006.

Datta, L.-E. « The evaluation profession and the government », dans T. Kellaghan et D. L. Stufflebeam (sous la dir. de), International Handbook of Educational Evaluation (p. 345-360), Boston, Kluwer, 2003.

Engle, M. et Altschuld, J. W. « An update on university-based evaluation training », dans Evaluation Exchange , vol. 9, no 4, 2003, p. 13.

Engle, M., Altschuld, J. W. et Kim, Y. C. « 2002 survey of evaluation preparation programs in universities: An update of the 1992 American Evaluation Association-sponsored study », dans American Journal of Evaluation , sous presse.

Gouvernement du Canada. Des résultats pour les Canadiens et les Canadiennes . Ottawa, auteur, 2000. 

Gouvernement du Canada. Le nouveau gouvernement du Canada. Une nouvelle feuille de route - Loi fédérale sur l'imputabilité et plan d'action , Ottawa, auteur, 2006, http://www.faa-lfi.gc.ca/docs/ap-pa/ap-pa00_f.asp , consulté le 15 avril 2006.
 
Grasso, P. « What makes an evaluation useful? Reflections from experience in large organizations », dans American Journal of Evaluation , vol. 24, 2003, p. 507-514.

Gussman, T. K. Améliorer le professionnalisme de l'évaluation , Ottawa, Centre d'excellence en évaluation, Secrétariat du Conseil du Trésor du Canada, mai 2005.

Joint Committee on Standards for Educational Evaluation. The program evaluation standards . Thousand Oaks, Sage, 1994.

Jones, S. C. et Worthen, B. R. « AEA members' opinions concerning evaluator certification », dans American Journal of Evaluation , vol. 20, 1999, p. 495-506.

King, J. A., Stevahn, L., Ghere, G. et Minnema, J. « Toward a taxonomy of essential evaluation competencies », dans American Journal of Evaluation , vol. 22, 2001, p. 229-247.

Kingsbury, N. et Hedrick, T. E. « Evaluator training in a government setting », dans J. W. Altschuld et M. Engle (sous la dir. de). New Directions in Program Evaluation: The preparation of professional evaluators; issues perspectives, and programs , no 62 (p. 61-70), San Francisco, Jossey-Bass, 1994.

Landry, R., Amara, N. et Lamari, M. Utilization of social sciences research knowledge in Canada , Research Policy, vol. 30, 2001, p. 333-349.

Leviton, L. C. « Evaluation use: Advances, challenges and applications », dans American Journal of Evaluation , vol. 24, 2003, p. 525-535.

Long, B. et Kishchuk, N. Professional certification: A report for the National Council of the Canadian Evaluation Society on the experience of other organizations , Ottawa, Société canadienne d'évaluation, 1997.

Love, A. « Should evaluators be certified? », dans J. W. Altschuld et M. Engle (sous la dir.). New Directions in Program Evaluation: The preparation of professional evaluators; issues perspectives, and programs , no 62 (p. 29-40), San Francisco, Jossey Bass, 1994.

Mathison, S. (sous la dir. de). Encyclopedia of evaluation , Thousand Oaks, Sage, 2005.

May, R. M., Fleisher, M., Schreier, C. J. et Cox, G. B. « Directory of evaluation training programs », dans B. G. Davis (sous la dir. de), Teaching evaluation across the disciplines. New Directions in Evaluation , no 29 (p. 71-98), San Francisco, Jossey Bass, 1986.

McGuire, M. et Zorzi, R. « Evaluator competencies and professional development », dans Revue canadienne d'évaluation de programme , vol. 20, no 2, 2005, p. 73-99.

Morris, M. M. « The role of single evaluation courses in evaluation training », dans J. W. Altschuld et M. Engle (sous la dir.), New Directions in Program Evaluation: The preparation of professional evaluators; issues perspectives, and programs , no 62 (p. 51-59), San Francisco, Jossey Bass, 1994.

Morris, M. M. « Ethical considerations in evaluation », dans T. Kellaghan et D. L. Stufflebeam (sous la dir. de), International Handbook of Educational Evaluation (p. 303-328), Boston, Kluwer, 2003.

Muller-Clemm, W. J. et Barnes, M. P. « A historical perspective on federal program evaluation in Canada », dans Revue canadienne d'évaluation de programme , vol. 12, no 1, 1997, p. 47-70.

Nagao, M., Kuji-Shikatani, K. et Love, A. « Preparing school evaluators: Hiroshima pilot test of the Japan Evaluation Society's accreditation project », dans Revue canadienne d'évaluation de programme , vol. 20, no 2, 2005, p. 125-155.

Patton, M. Q., Grimes, P. S., Guthrie, K. M., Brennan, N. J., French, B. D. et Blyth, D. A. In search of impact: An analysis of the utilization of federal health evaluation research , dans C. H. Weiss (sous la dir. de), Using Social Research in Public Policy Making (p. 141-163), D. C. Heath and Company, 1977.

Perrin, B. « How can the information about the competencies required for evaluation be useful », dans Revue canadienne d'évaluation de programme , vol. 20, no 2, 2005, p. 169-188.

Russon, C. et Russon, G. (sous la dir. de). International perspectives on evaluation standards. New Directions in Evaluation , no 104, San Francisco: Jossey-Bass, 2005.

Scriven, M. Commentaires aux féd. concernant la preuve de causalité. Message affiché dans EVALTALK [Msg. 41], le 12 novembre 2003, http://bama.ua.edu/archives/evaltalk.html

Segsworth, R. V. « Program evaluation in the Government of Canada; Plus ça change... », dans Revue canadienne d'évaluation de programme , vol. 20, no 3, 2005, p. 173-195.

Shadish, W., Newman, D., Scheirer, M. A. et Wye, C. (sous la dir. de). Guiding principles for evaluators. New Directions in Evaluation , no 66, San Francisco, Jossey-Bass, 1995.

Smith, M. F. « The future of the evaluation profession », dans T. Kellaghan et D. L. Stufflebeam (sous la dir. de), International Handbook of Educational Evaluation (p. 373-386), Boston, Kluwer, 2003.

Smith, M. F. « Should AEA begin a process of restricting membership in the professional of evaluation? », dans American Journal of Evaluation , vol. 20, 1999, p. 521-531.

Société canadienne d'évaluation (n.d.-a). Série sur les compétences essentielles . http://evaluationcanada.ca/site.cgi?s=1&ss=1&_lang=fr , consulté le 20 janvier 2006.

Société canadienne d'évaluation (n.d.-b). Lignes directrices de la SCE en matière d'éthique . http://evaluationcanada.ca/site.cgi?s=1&ss=1&_lang=fr , consulté le 20 janvier 2006.

Stevahn, L., King, J. A., Ghere, G. et Minnema, J. « Establishing essential competencies for program evaluators », dans American Journal of Evaluation , vol. 26, 2005a, p. 43-59.

Stevahn, L., King, J. A., Ghere, G. et Minnema, J. « Evaluator competencies in university-based training programs », dans Revue canadienne d'évaluation de programme , vol. 20, no 2, 2005b, p. 101-123.

Stufflebeam, D. L. « Interdisciplinary Ph.D. programming in evaluation », dans American Journal of Evaluation , vol. 22, 2001, p. 445-455.

Secrétariat du Conseil du Trésor du Canada. Évaluation des programmes effectuée par les ministères et les organismes, (Circulaire 1977-47 du Conseil du Trésor) Ottawa, auteur, 1977.

Secrétariat du Conseil du Trésor du Canada. Politique d'évaluation . Ottawa, auteur, 2001, http://www.tbs-sct.gc.ca/pubs_pol/dcgpubs/tbm_161 , consulté le 20 janvier 2006.

Secrétariat du Conseil du Trésor du Canada. Politique sur la vérification interne , Ottawa, auteur, 2006a, http://www.tbs-sct.gc.ca/pol/doc-fra.aspx?id=12340 , consulté le 15 avril 2006.
 
Secrétariat du Conseil du Trésor du Canada. Lignes directrices sur les responsabilités des dirigeants de la vérification , Ottawa, auteur, 2006b, http://www.tbs-sct.gc.ca/pol/doc-fra.aspx?id=12352 , consulté le 15 avril 2006. 

Vérificateur général du Canada. Vers une gestion axée sur les résultats. Rapport au Parlement , chapitre 11, Ottawa, auteur, octobre 1997.

United States Department of Education. Scientifically based evaluation methods. (Federal Register RIN 1890-ZA00, 4 novembre 2003, vol. 68, no 213, p. 62445-62447), Washington, DC., U.S. Government Printing Office, 2003.

Worthen, B. R. « Critical challenges confronting certification of evaluators », dans American Journal of Evaluation , vol. 20, 1999, p. 533-555.

Worthen, B. R. « How can we call evaluation a profession if there are no qualifications for practice? », dans T. Kellaghan et D. L. Stufflebeam (sous la dir. de), International Handbook of Educational Evaluation (p. 329-344), Boston, Kluwer, 2003.

Weiss, C. H. et Bucuvalas, M. J. Social science research and decision making , New York, Columbia University Press, 1980.

Zorzi, R., Perrin, B., McGuire, M., Long, B. et Lee, L. « Defining the benefits, outputs, and knowledge elements of program evaluation », dans Revue canadienne d'évaluation de programme , vol. 17, no 3, 2002, p. 143-150.

Zorzi, R., McGuire, M. et Perrin, B. Canadian Evaluation Society project in support of advocacy and professional development: Evaluation benefits, outputs, and knowledge elements . Consulté le 20 janvier 2006, dans le site http://consultation.evaluationcanada.ca/pdf/ZorziCESReport.pdf .