Nous procédons actuellement au transfert de nos services et de nos renseignements sur le Web vers Canada.ca.

Le site Web du Secrétariat du Conseil du Trésor du Canada restera accessible jusqu’à  ce que le transfert soit terminé.

 

Annexe A – Types de petits organismes

Organisme de réglementation : organisme qui consent des approbations ou des permis et licences en appliquant des critères énoncés dans une loi ou un règlement.

Organisme judiciaire  : tribunal présidé par des juges nommés par le gouvernement fédéral. (Veuillez prendre note qu'en raison de la récente fusion de la Cour fédérale et la Cour de l'impôt afin de former les Services administratifs des tribunaux judiciaires, la Cour suprême demeure le seul organisme du genre.)

Tribunal quasi judiciaire : organisme chargé d'entendre la preuve sous serment et de prendre des décisions en se fondant sur cette preuve ainsi que sur les lois et précédents qui s'appliquent mais sans tenir compte de la politique gouvernementale.

Organisme d'enquête : organisme chargé d'enquêter sur une plainte ou une demande de renseignements et de présenter un rapport ou de formuler des recommandations sur ses constatations.

Organisme parlementaire (agent du Parlement) : organisme relevant directement du Parlement (c'est-à-dire le Commissariat à l'information, le Commissariat à la protection de la vie privée, le Commissariat aux langues officielles, le Bureau du vérificateur général et le Bureau du directeur général des élections).

Organisme d'élaboration de politiques et de consultation  : organisme chargé d'élaborer des politiques et de formuler des recommandations au gouvernement sur des questions dans le domaine de la santé, de l'économie ou de l'environnement, par exemple.

Autres : petits organismes qui ne satisfont pas aux critères des catégories susmentionnées.

 

Annexe B – Initiatives horizontales

Les initiatives horizontales désignent des efforts qui font intervenir des activités coordonnées de plusieurs ministères ou organismes fédéraux et qui ciblent des objectifs précis d'intérêt national. Elles doivent être dotées d'un CGRR et des plans et stratégies d'évaluation connexes à l'égard desquels tous les partenaires doivent communiquer de l'information et même parfois affecter des ressources.  

Les initiatives de ce genre peuvent fournir aux petits organismes la possibilité de partager de l'information ou de renforcer la capacité d'évaluation interne (par exemple, grâce aux études de cas ou aux étapes d'examen par les pairs prévues dans la conception de l'évaluation, grâce à l'information interne existante et en tirant profit de l'expertise en évaluation ou en consultation qui est fournie ou payée par d'autres partenaires). Les initiatives horizontales permettent également de grouper les organismes pertinents afin d'établir des indicateurs communs et de partager l'expérience acquise en matière de mesure et d'évaluation du rendement.  

Pour obtenir des conseils généraux sur la conception de cadres de gestion et de responsabilisation axés sur les résultats, veuillez consulter le site Web du SCT à l'adresse http://www.tbs-sct.gc.ca/cee/pubs/guide/sarmaf-ascgrr-eng.asp.

Parmi les types d'initiatives horizontales, il y a les suivants :


Vous trouverez ci-dessous quelques-uns des défis en matière d'évaluation des initiatives horizontales :
 

Annexe C – Obtention des conseils et du soutien externes

Il est important de disposer de conseils et de soutien satisfaisants lorsqu'il s'agit de renforcer la capacité d'évaluation. Vous pourriez envisager d'avoir recours aux sources de soutien qui suivent.

Soutien accordé aux petits organismes par le SCT et le CEE

Aux termes de la Politique d'évaluation du CT, le Secrétariat du Conseil du Trésor du Canada doit donner l'orientation générale de l'évaluation, utiliser les résultats de l'évaluation, le cas échéant, pour prendre des décisions au niveau central, établir des normes et surveiller les services d'évaluation au gouvernement.

Pour ce faire, SCT a mis sur pied le Centre d'excellence en évaluation (CEE) dont le mandat est le suivant :

Parmi les autres secteurs qui revêtent une importance particulière pour le SCT, il y a ceux chargés des fonctions de changement associées à la modernisation de la fonction de contrôleur, à la vérification interne, à la gestion axée sur les résultats, à la présentation de rapports horizontaux et à la présentation de rapports sur les dépenses. Pour de plus amples renseignements à ce sujet, veuillez consulter le site Web à l'adresse : http://www.tbs-sct.gc.ca/cee/about-apropos-fra.asp .

Société canadienne de l'évaluation (SCE)

Dans le domaine de l'évaluation, la SCE favorise le leadership, la connaissance, la promotion des intérêts et le perfectionnement professionnel. Elle donne accès sur son site Web à une collectivité d'évaluateurs, à des conférences annuelles, à la Série sur les compétences essentielles en évaluation et à des ressources réservées ( http://www.evaluationcanada.ca/ ). Par ailleurs, elle compte de nombreuses sections provinciales en plus de celle de la capitale nationale.

Le Réseau des administrateurs de petits organismes (RAPO)

La mission du RAPO consiste à fournir des occasions de partager de l'information et des pratiques, à discuter de sujets de préoccupation communs et à donner une seule tribune aux organismes centraux et aux organismes de services communs en ce qui concerne les questions touchant les petits organismes. Pour en savoir davantage à ce sujet, veuillez consulter le site Web à l'adresse : http://www.cso - cpo.gc.ca/RAPO-rapo/charter_f.html .


Annexe D – Les sept critères du Comité d'examen des dépenses

Les dépenses de programmes seront évaluées par rapport aux critères suivants :

1.  Critère de l'intérêt public Le secteur de programme ou l'activité continue-t-il de servir l'intérêt public?

  • Quels sont les objectifs d'intérêt public visés par l'initiative?
  • En quoi correspondent-ils aux priorités actuelles du gouvernement et au mandat de base de l'organisation?

2.  Critère du rôle du gouvernement Y a-t-il un rôle légitime et nécessaire pour le gouvernement dans le domaine du programme ou de l'activité ?

  • Gouvernance : qui sont les autres intervenants, y a-t-il chevauchement ou double emploi?

3.  Critère du fédéralisme Le rôle actuel du gouvernement est-il approprié ou faut-il songer à transférer le programme ou l'activité aux provinces ?

  • Quels effets l'initiative a-t-elle sur les autres ordres de gouvernement? Ces ordres de gouvernement pourraient-ils jouer un plus grand rôle?

4.  Critère du partenariat Quels programmes ou activités pourrait-on ou devrait-on transférer en tout ou en partie au secteur privé ou bénévole?

  • Quels sont les impacts des initiatives sur le secteur privé ou le secteur bénévole ou les autres intervenants? Pourrait-on élargir leur rôle?

5.  Critère du rapport qualité/prix Les Canadiennes et Canadiens obtiennent-ils toute la valeur de leurs impôts?

  • Résultats : Qu'est-ce qui indique que l'initiative atteint les objectifs stratégiques énoncés?
  • Le programme est-il axé sur les citoyens?

6.  Critère de l'efficacité – Si le programme ou l'activité continue, comment peut-on améliorer son efficacité?

  • Efficacité et efficience : Le programme exploite-t-il toutes les possibilités de réduire les coûts de prestation par un emploi judicieux de la technologie, des partenariats entre les secteurs public et privé, des mécanismes de prestation par l'entremise de tierces parties et des instruments sans coûts?

7.  Critère de la capacité financière – Peut-on se permettre financièrement l'ensemble des programmes et activités qui en résultera? Sinon, quels programmes ou activités devraient être abandonnés?

  • Relativité et rendement : Comment les coûts liés à l'exécution des programmes se comparent-ils à ceux d'activités semblables dans d'autres administrations et dans le secteur privé?
  • Viabilité et régie : Quelles mesures peut-on prendre pour gérer les pressions futures au chapitre des dépenses? Que peut-on faire de plus?
 

Annexe E – Renseignements sur la planification et l'exécution des évaluations

 


1.0  Élaboration du modèle logique

Le graphique qui suit présente un aperçu des trois étapes de l'élaboration du modèle logique.

Étape 1a :  Préparation de l'élaboration du modèle logique
Détermination de la capacité interne

 

Votre organisme est-il prêt à élaborer un modèle logique?

Posez-vous les questions suivantes :

  • Disposez-vous de suffisamment de temps et faites-vous preuve d'engagement pour élaborer le modèle logique à l'interne?
  • Sait-on comment élaborer un modèle logique?
  • Les habiletés en planification et en communication (qui sont essentielles à l'obtention d'un consensus et de l'engagement) sont-elles suffisantes?
  • Votre organisme est-il assez objectif et neutre?
  • Le programme fait-il intervenir uniquement mon organisme?

Si vous avez répondu « oui Â» à ces questions, vous êtes sans doute prêt à élaborer un modèle logique.

Si vous avez répondu « non Â» à l'une ou l'autre des quatre premières questions, il pourrait être souhaitable de donner à contrat l'élaboration du modèle logique.

Si vous avez répondu « non Â» à la dernière question, l'initiative est réputée « horizontale Â». Habituellement, l'élaboration d'un modèle logique visant une initiative horizontale présente plus de défis parce que vous devez faire participer de nombreux intervenants dont les points de vue et les opinions peuvent varier.  

Pour en savoir davantage sur les CGRR, veuillez consulter le document intitulé, Élaboration et utilisation des cadres de gestion et de responsabilisation axés sur les résultats (avril 2004).

 

Étape 1b :  Préparation de l'élaboration du modèle logique
Collecte des renseignements pertinents

 

Quelles sont les principales sources d'information pour élaborer un modèle logique?

Examen des documents suivants :

  • lois, règlements et politiques appropriés;
  • rapports sur le rendement, plans d'entreprise et autres documents stratégiques;
  • rapports de surveillance, de vérification et d'évaluation;
  • descriptions narratives ou documents de survol;
  • documents ou renseignements tirés de projets semblables.

Consultation des personnes suivantes :

  • la haute direction;
  • les membres du conseil d'administration;
  • le personnel chargé des programmes ou des politiques;
  • les intervenants.

Questions-clés :

  • Quelle est la justification du programme?
  • Quels sont les principaux résultats attendus du programme?
  • Comment le programme devrait-il être exécuté afin de produire ces résultats?
  • Qui sont les clients? Quels sont les autres intervenants?
  • Quelles activités doivent être instaurées afin de produire ces résultats? (Cette question s'applique lors de l'élaboration d'un modèle logique visant une initiative prévue.)

 

Il convient de signaler que l'importance des consultations avec les groupes susmentionnés est fonction de vos besoins en information et de vos contraintes en matière de ressources. Vous devriez cependant noter que les points de vue de nombreux intervenants vous permettent de mieux comprendre le programme.

Étape 2 :  Élaboration du modèle logique

Il existe différentes stratégies d'élaboration d'un modèle logique, dont les deux options suivantes :

La première option présente un avantage clé, à savoir qu'elle assure parfois un déroulement plus efficace de la séance parce que les éléments centraux du modèle logique sont élaborés au préalable. Si vous avez peu de temps pour mener une séance de travail, vous devriez songer à élaborer une ébauche du modèle logique avant celle-ci.

La seconde option présente également des avantages en ce sens que l'élaboration du modèle logique est faite par les intervenants. Elle permet de renforcer non seulement la capacité interne relative à l'élaboration du modèle logique et aux processus collectifs mais aussi de mieux faire comprendre l'initiative. Enfin, cette approche pourrait également renforcer l'engagement des intervenants à l'égard du processus.

Lorsque vous prenez une décision, vous devriez tenir compte des préférences des intervenants et des facilitateurs ainsi que de l'échéancier.

 

Par quoi devriez-vous commencer? Les résultats ou les activités?

Bien qu'il n'existe pas de manière idéale pour élaborer un modèle logique, certains experts recommandent de choisir d'abord les principales activités s'il s'agit d'un programme ou d'une politique qui existe déjà. Commencez par cerner les résultats clés s'il s'agit d'une initiative prévue. N'oubliez pas que vous pouvez commencer où bon vous semble.  

Dans le cas d'un programme existant, vous pourriez commencer par poser les questions suivantes : Que faisons-nous? puis demandez vous Pourquoi le faisons-nous? Par exemple, pourquoi tentons-nous d'améliorer les compétences? Le prochain énoncé des résultats devrait répondre à cette question (par exemple, pour que les employés puissent travailler d'une manière plus efficiente).

Lorsque vous planifiez un programme, vous pouvez commencer à élaborer le modèle logique à partir des résultats. Lorsque vous aurez cerné le résultat approprié, vous pouvez vous demander « Comment pouvons-nous atteindre ce résultat ultime? Â» L'énoncé des résultats qui précède (c'est-à-dire le résultat intermédiaire) devrait répondre à cette question.

 

 


Lignes directrices relatives à l'élaboration de modèles logiques

  • Le modèle logique parfait n'existe tout simplement pas. Il devrait présenter un aperçu raisonnablement exact du programme.
  • Faire en sorte que le modèle logique demeure ciblé.
  • Obtenir de la rétroaction de divers intervenants clés, y compris le personnel chargé des programmes et des politiques.
  • Les composantes et liens du modèle logique doivent avoir du sens. Pouvez-vous déceler les écarts de logique?
  • Établir un lien entre les résultats finaux et les résultats stratégiques de l'organisme qui sont précisés dans l'Architecture des activités de programmes.
  • Veiller à ce que le modèle logique fasse la preuve de la relation de cause à effet entre les activités et les extrants jusqu'aux résultats.
  • Commencer les énoncés d'activité par un verbe d'action.
  • Utiliser un nombre minimal d'activités. Certaines activités peuvent être groupées à d'autres.
  • Exclure les activités administratives qui n'ont pas directement trait à l'exécution de votre mandat (par exemple, RH, TI, Finances, Services ministériels).
  • « Si vous le contrôlez, il s'agit d'une activité ou d'un extrant; si vous ne pouvez que l'influencer, il s'agit d'un résultat. Â»
  • Remettre en question les activités qui n'ont pas d'extrants ou de résultats.
  • Les résultats sont modifiés (par exemple, ils augmentent, diminuent, s'améliorent, se maintiennent).
  • Certains programmes peuvent compter plus d'un circuit de résultats.
  • Le modèle s'inspire-t-il du plan d'entreprise ou des objectifs stratégiques du ministère ou de l'organisme ou se situe-t-il par rapport à ceux-ci?
  • Les résultats répondent aux questions Qui, Quoi, Quand (par exemple, Quel changement? Dans quel secteur? D'ici quand?).
  • Les résultats montrent que vous innovez.
  • Les résultats immédiats, intermédiaires et ultimes sont présentés à titre de séquence des résultats, mais ne sont pas nécessairement liés à des délais particuliers.
  • Vous pouvez ajouter les liens lorsque les cases des composantes seront remplies. (Uniquement dans le cas d'un modèle à organigramme.)
  • Vous pouvez recourir à des autocollants pour noter les activités, les extrants et les résultats, ce qui vous permet de déplacer les composantes.
  • Se rappeler que, lorsque vous passez des résultats immédiats aux résultats finaux, les niveaux de contrôle diminuent en fonction de la reddition de comptes partagée, tandis que la difficulté à évaluer la contribution augmente (par exemple, la mesure dans laquelle le programme produit les résultats escomptés).

 

Étape 3 :  Validation du modèle logique

Consultez les groupes de travail et les intervenants. Il est souvent utile d'obtenir les commentaires de personnes qui connaissent bien le programme, mais qui n'ont pas pris part à la séance de travail, afin de s'assurer que tous les éléments nécessaires sont représentés dans le modèle.

Faites connaître le modèle logique. Le groupe de travail ou l'employé peut faire connaître le modèle de manière informelle en s'y référant lors de ses conversations avec les employés et les intervenants. La direction et les équipes de programmes peuvent se servir du modèle à titre de référence uniforme pour tous les volets du cycle de gestion : la planification, la surveillance et les rapports. Une plus grande connaissance du modèle se traduira par des commentaires et des opinions sur la manière de l'améliorer.

Le modèle ne pourra jamais être parfait. Servez-vous des commentaires obtenus lors des consultations et ceux qui ont été faits lorsque la direction l'a utilisé pour le mettre à jour . N'oubliez pas que la logique sous-jacente est appelée à changer au fur et à mesure de l'évolution du contexte du programme.

Principaux ouvrages de référence

Outil d'apprentissage en ligne de la GAR du Secrétariat du Conseil du Trésor du Canada .

2.0  Formulation des questions de l'évaluation

 


 


Lignes directrices relatives à la formulation des questions de l'évaluation

Commencer par les grandes questions.

  • Prendre en compte les questions d'évaluation standard associées à chacun des points conformément à la Politique d'évaluation du CT :
    • Pertinence – Le programme continue-t-il d'être compatible avec les priorités de l'organisme et de l'ensemble du gouvernement et de répondre véritablement à un besoin réel?
    • Succès – Est-ce que le programme atteint ses objectifs sans dépassement de budget et sans effets indésirables?
    • Rentabilité – Utilise-t-on les moyens les mieux appropriés et les plus efficaces pour atteindre les objectifs ou y aurait-il lieu d'envisager d'autres modes de conception et d'exécution?
  • Prendre en compte les questions du Comité de l'examen des dépenses – Reportez-vous à l'annexe D.

Adapter les questions à votre programme

  • Utiliser le modèle logique à titre de guide. Examiner vos extrants pour vous aider à formuler les questions sur l'efficience et la prestation des services. Examiner les résultats pour vous aider à formuler les questions sur l'efficacité.
  • Consulter les intervenants – clés pour préciser les principaux champs d'intérêts de l'évaluation.
  • Tenir compte de l'auditoire du rapport et des mesures qui pourraient se fonder sur ce dernier.

Établir l'ordre de priorité

  • Tenir compte des besoins en matière de reddition de comptes et d'information.
  • Tenir compte des rapports antérieurs d'évaluation, de vérification et de surveillance.
  • Tenir compte des risques.
  • Tenir compte des coûts et des avantages liés au règlement de chacune des questions.
  • Établir la distinction entre « ce qu'il est bon de savoir Â» et « ce qu'il est essentiel de savoir Â».

 

3.0  Détermination des indicateurs de rendement appropriés

Première étape :  Examen du modèle logique

Examiner chaque rangée du modèle logique (à l'exception de la rangée des activités) et déterminer quel élément d'information spécifique ou quelle donnée particulière serait nécessaire pour évaluer si l'extrant a bien été produit ou si le résultat a bien été atteint. La séance de travail est l'endroit idéal où tenir le remue-méninges sur les indicateurs.

Deuxième étape : Établissement de l'ordre de priorité

Pour chacune des composantes, déterminer les éléments qu'il faut connaître et ceux qu'il serait bon de connaître.

Après avoir déterminé un ensemble complet d'indicateurs de rendement et les stratégies de mesure connexes, il faut cerner un sous-groupe des indicateurs les plus appropriés. Comparer les premiers indicateurs de la liste avec les critères de sélection décrits.

Hexagon: Trois indicateurs qui constituent de solides mesures des conséquences valent mieux que dix indicateurs qui ne mesurent rien de pertinent. — Bureau du vérificateur général du Canada

 

Troisième étape : Comparaison avec les critères

 

Quels sont les critères de sélection des indicateurs?

  • Pertinence : L'indicateur est-il valable? Est-il directement lié à l'extrant ou au résultat en question?
  • Fiabilité : S'agit-il d'une mesure cohérente au fil des ans?
  • Validité : Mesure-t-il le résultat?
  • Caractère pratique : Est-il facile à recueillir et à analyser? Son coût est-il abordable?
  • Comparabilité : Est-il semblable à ce que d'autres organisations ou secteurs de votre organisation mesurent déjà?
  • Utilité : Est-il utile? Sera-t-il utile pour la prise de décisions?

Conseils pratiques

  • Commencer par élaborer un nombre restreints d'indicateurs. (Au fil des ans, vous pourrez ajouter des indicateurs, au besoin.)
  • Limiter le plus possible le nombre d'indicateurs.
  • Il est bon d'avoir un petit nombre d'indicateurs, mais il faut se rappeler qu'ils sont limités.
  • Essayer de garder une série centrale d'indicateurs qui peuvent être conservés au fil des ans, ce qui vous permet de comparer le rendement passé et présent.
  • Songer à des indicateurs substitutifs qui servent parfois à fournir de l'information sur les résultats lorsque des renseignements directs ne sont pas disponibles. À titre d'exemple, le pourcentage d'affaires confirmées en appel pourrait servir d'indicateur substitutif pour la qualité des décisions.

4.0  Choix de la conception appropriée de l'évaluation

La conception de l'évaluation désigne le processus de réflexion sur ce que vous désirez faire et comment vous entendez le faire.


Lignes directrices relatives à la sélection des conceptions appropriées de l'évaluation

Posez-vous les questions suivantes :

  • Quels sont les besoins en matière d'information et de processus décisionnel de l'organisme à l'égard de l'évaluation?
  • Quel type d'évaluation conviendrait le mieux compte tenu du cycle de vie du programme?
  • Quels points devraient être pris en considération en ce qui a trait au caractère pratique et aux coûts?
  • Quel serait l'équilibre souhaitable à atteindre entre les besoins en information et les coûts?
  • Quelles préoccupations le programme à évaluer suscite-t-il (par exemple, en ce qui a trait à la qualité de la preuve à recueillir)?
  • Quels autres facteurs internes et externes peuvent avoir des impacts sur le programme? Dans quelle mesure la conception de l'évaluation peut-elle minimiser ces facteurs?
  • Comment la conception de l'évaluation peut-elle cibler les questions de l'évaluation sur les préoccupations les plus urgentes?
  • Quelles sont les sources d'information de l'évaluation? Tenir compte des données existantes, des données secondaires et de l'information sur la mesure du rendement à titre de sources éventuelles d'information pour l'évaluation.
  • Existe-t-il des sources de données multiples? (Le degré de fiabilité des constatations augmente s'il existe plus d'une source de données.)
  • Dans quelle mesure une conception rigoureuse s'impose-t-elle pour que les constatations et les conclusions soient acceptées et que les recommandations soient mises en œuvre?

 

Considération des menaces à la validité lors du choix de la conception de l'évaluation

Au moment d'élaborer la conception de l'évaluation, vous devez vous demander si d'autres facteurs influent sur les résultats du programme. Il est particulièrement important de tenir compte de ces facteurs ou des menaces à la validité lorsque vous tentez de déterminer les effets ou l'efficacité. Ces facteurs peuvent découler de changements réels de l'environnement ou de changement des participants au programme.

Aperçu des conceptions de l'évaluation

 

Premier type : Conception implicite ou non expérimentale

Dans ce type de conception, les « changements Â» des participants au programme sont mesurés. Il n'existe aucun groupe de comparaison de non-participants de la conception. Si ce type de conception est utilisé, il est difficile de savoir dans quelle mesure les résultats peuvent être attribués au programme. Toutefois, cette conception permet d'obtenir de l'information sur la prestation des services, la portée de l'intervention et les progrès réalisés en vue d'atteindre des objectifs.  

La conception post-essai et la conception pré-essai et post-essai sont deux types communs de conception non expérimentale.

Conception post-essai de groupe unique

Dans ce type de conception, les bénéficiaires ou clients d'une intervention sont mesurés après l'intervention. À titre d'exemple, on peut simplement demander aux participants quels ont été les effets de l'intervention.  

Conception pré-essai et post-essai de groupe unique

Cette conception recourt aux mesures avant et après l'intervention pour un groupe unique. À titre d'exemple, lorsque l'impact d'un programme de formation est mesuré, un test de connaissances peut être administré avant et après le programme afin d'évaluer l'incidence de la formation.

Cette conception peut être utilisée :

  • pour donner suite à certains genres de demandes de renseignements (par exemple, des questions concernant des dossiers de gestion qui se rapportent à la mise en œuvre du programme ou la question de savoir si le risque est géré ou quelles sont les stratégies à adopter en vue des améliorations);
  • lorsqu'aucune mesure préalable au programme n'existe;
  • lorsqu'aucun aucun groupe de contrôle ou de comparaison manifeste n'est disponible;
  • lorsque le caractère pratique et les coûts sont d'importants éléments à prendre en considération.

Ce type de conception peut être amélioré :

  • en recourant à des méthodes variées de collecte de données quantitatives et qualitatives et de sources d'information;
  • en veillant à la collecte de données de « grande qualité Â».

 

Deuxième type : Conception quasi expérimentale

L'attribution aléatoire de sujets aux groupes d'intervention (de traitement) et aux groupes de non-intervention (de contrôle) constitue la principale distinction entre les conceptions expérimentales et les conceptions non expérimentales ou quasi expérimentales. Les conceptions quasi expérimentales font intervenir des groupes de comparaison qui ne sont pas choisis au hasard ni attribués au hasard à l'intervention. Les efforts sont habituellement déployés pour apparier le plus étroitement possible les groupes de comparaison et les groupes de « traitement Â» en fonction d'une série de caractéristiques établies d'avance.

Les conceptions quasi expérimentales supposent des techniques d'analyse beaucoup plus compliquées que celles des conceptions expérimentales. Des statistiques de haut niveau (par exemple, des modèles économétriques) doivent être utilisées pour composer avec les différences entre les groupes et isoler l'effet du programme.

 

Troisième type : Conception expérimentale

L'attribution aléatoire de sujets aux groupes d'intervention (par exemple, groupe de traitement) et de contrôle vise à ce que les sujets du groupe soient égaux avant que l'intervention ne soit présentée. Bien que les conceptions expérimentales soient réputées idéales pour mesurer l'effet, elles sont rarement pratiques.  

 

Tant les conceptions quasi expérimentales que les conceptions expérimentales font intervenir un genre quelconque de pré-essai qui est suivi d'un post-essai. Les deux genres de conceptions conviennent à l'éxécution d'évaluations sommatives, mais il faut également tenir compte du caractère pratique et des coûts.

Principaux ouvrages de référence

Secrétariat du Conseil du Trésor du Canada, Méthodes d'évaluation des programmes : Mesure et attribution des résultats des programmes , 1998.
http://www.tbs-sct.gc.ca/cee/pubs/meth/pem-mep00-fra.asp

 

5.0  Choix des méthodes appropriées de collecte des données

Pour choisir une méthode appropriée de collecte des données, vous pourriez tenir compte des éléments suivants :

Pour plus de précisions à ce sujet, veuillez vous reporter aux deux tableaux suivants qui établissent une comparaison entre les méthodes quantitatives et qualitatives et décrivent également les méthodes précises de collecte des données qui peuvent être utilisées pour les évaluations.

Comparaison entre les méthodes quantitatives et qualitatives

 

Méthodes quantitatives

Méthodes qualitatives

Utilisation

Mesurer numériquement « qui, quoi, quand, où, combien, quantité, fréquence Â».

Lorsqu'il faut généraliser les constatations.

Analyser qualitativement « comment et pourquoi Â».

Clarifier les enjeux et trouver de nouveaux enjeux.

Lorsque vous devez mieux comprendre le contexte.

Méthode de collecte des données

Entrevues normalisées, enquêtes à l'aide de questions fermées, observation avec guides codés.

Données administratives.

Entrevues en profondeur et semi-dirigées, enquêtes à l'aide de questions ouvertes, observation, interprétation de documents, études de cas et groupes de discussion.

Points forts

Fournissent des données objectives précises qui prouvent que certains problèmes existent.

Peuvent tester les relations statistiques qui existent entre un problème et des causes apparentes.

Peuvent donner un aperçu général de l'ensemble d'une population.

Permettent d'établir des comparaisons.

Offrent des renseignements de base pouvant servir à évaluer les effets.

Aident lors de la planification d'une initiative portant sur le changement social.

Dans le cas des évaluations formatives, les enquêteurs peuvent devoir connaître plus particulièrement les attitudes des participants concernant un programme, leurs idées sur les points à améliorer ou leurs explications sur leur rendement particulier.

Fournissent une compréhension complète du contexte, ce qui aide à interpréter les données quantitatives.

Donnent des aperçus des attitudes et du comportement d'un petit échantillon de population.

Offrent les renseignements de base pouvant servir à évaluer les résultats qualitatifs.

Sont utiles pour obtenir des réactions des intervenants.

Points faibles

Peuvent être précises sans mesurer ce qui est voulu.

Ne peuvent expliquer les causes sous-jacentes des situations (par exemple, elles peuvent vous dire que le programme n'a aucun effet sans être en mesure de vous expliquer pourquoi).

L'information risque de ne pas être représentative.

Présentent des dangers plus élevés de partialité de la part des interviewers, des observateurs et des informateurs.

La collecte et l'analyse des données prennent beaucoup de temps.

Source : Adaptation du Coffre à outils de surveillance et d'évaluation du gestionnaire de programme, numéro 5, partie III : Planifier et gérer l'évaluation – le processus de collecte des données , mai 2001 ( www.unfpa.org , Fonds des Nations Unies pour la population, Bureau de surveillance et d'évaluation ).

Aperçu des méthodes de collecte des données

Méthode de collecte des données

Quand l'utiliser

Points forts

Inconvénients

Systèmes et dossiers administratifs externes  :

Utilisation des données recueillies par d'autres institutions ou organismes (p. ex., Statistique Canada).

Besoin d'information sur le contexte.

Besoin d'information chronologique.  

Pour comparer les données du programme et de l'initiative à des données comparables.

Elle est efficiente et évite les répétitions.

L'information est-elle précise, pratique et disponible?  

Comparons-nous des pommes et des pommes?  

Données administratives internes : Données sur le programme recueillies à l'interne à des fins de gestion.

Besoin d'information sur les pratiques de gestion, la prestation des services.

Elle est efficiente et peut fournir de l'information sur les activités et extrants de la direction.

Elle peut être conçue de manière à recueillir l'information sur le rendement du programme.

L'information est-elle précise et complète?

Revue de la littérature : Examen des recherches et des évaluations antérieures sur un sujet donné.

Pour trouver des méthodes et des points ou des enjeux d'évaluation additionnels.

Besoin d'information conceptuelle et empirique de base.

Besoin d'information sur un point spécifique.

Besoin d'information sur des programmes comparables, des pratiques exemplaires.

Utilise le mieux possible les travaux antérieurs dans le domaine.

Fournit des pratiques exemplaires.

Peut révéler des problèmes ou des méthodes d'évaluation à envisager pour l'étude en cours.

Peut être une source de données secondaires qui aide à éviter le double emploi.

Les données et l'information provenant de la recherche documentaire peuvent ne pas être pertinentes aux problèmes d'évaluation.  

Il peut être difficile de déterminer la précision des données secondaires aux premiers stades d'une étude.

Entrevues : Discussion couvrant un ensemble de sujets ou de questions spécifiques; elle sert à obtenir de l'information ou des opinions d'experts, d'intervenants ou de clients; elle peut être menée en personne ou au téléphone.

Sujet complexe.

Répondants importants et occupés.

Sujet délicat (entrevues directes).  

Approche souple, en profondeur.

Populations plus restreintes.

Méthode peu coûteuse pour recueillir de l'information contextuelle et systématique au sujet d'un programme ou d'un service.

Méthode souple (fonctionne sur place ou à distance, peut prévoir des réponses libres ou structurées).

Le danger d'un « préjugé d'interviewer Â».

Le taux de réponse aux demandes d'entrevues téléphoniques ou électroniques est souvent inférieur à celui des entrevues directes.

Le coût des déplacements pour les entrevues directes peut être élevé.

Groupes de discussion : Groupe de personnes réunies pour discuter d'une certaine question; les participants sont guidés par un animateur qui note les échanges et les résultats de la discussion.

Compréhension approfondie requise.

Avis pondéré.

Mise à l'essai d'idées, de produits ou de services.

S'il y a un volume limité de points à aborder.

Lorsque le dialogue des participants peut favoriser des réponses plus enrichissantes (les personnes envisagent leurs points de vue en tenant compte de ceux des autres).

Le cheminement en groupe peut être utile pour révéler les interactions et les relations au sein d'un organisme.

La discussion peut donner des aperçus des raisons des perceptions et des réactions fréquentes, puis indiquer comment résoudre les divergences de vues.

Les groupes de discussion sont des situations de courte durée et artificielles.

Les situations de groupe peuvent être une source de malaise pour des participants au moment de discuter des croyances et des attitudes personnelles, surtout si les personnes doivent avoir des rapports ensemble après la séance du groupe de discussion.

Les données provenant du groupe de discussion tendent à être une réaction rapide plutôt que des réponses réfléchies.

Études de cas : Façon de recueillir et d'organiser de l'information sur les personnes, les institutions, les activités et les croyances, sur une situation individuelle.

Besoin d'information détaillée sur un programme ou un projet.

Pour explorer les retombées d'un programme.

Pour ajouter un caractère délicat au contexte où les interventions du programme se font.

Pour déterminer les variables pertinentes qui entrent en jeu.

Permet une analyse plus globale, puis la prise en considération des interdépendances entre des éléments d'une situation particulière.

Permet une analyse approfondie d'une situation.

Fournit de l'information approfondie.

C'est une méthode complexe pour organiser des données.

Il est difficile de tirer des conclusions pouvant être généralisées parce que l'information est individuelle et particulière.

Questionnaires ou enquêtes : (sur support papier, ou par voie électronique ou téléphonique) liste de questions conçue pour recueillir de l'information auprès de répondants et au sujet de leurs connaissances comme de leurs perceptions sur un programme ou un service.

Utiles pour cibler de vastes publics.

De l'information qualitative et quantitative peut en être tirée.

Prend généralement moins de temps et d'argent que les entrevues d'un grand nombre de personnes.

Les questions peuvent couvrir une gamme de sujets (en direct ou envoi postal).

Les répondants ont le temps de penser à leur réponse et de chercher de l'information.

Procure beaucoup de renseignements.

Peut permettre de faire des inférences statistiques valables sur la population entière.

Faible taux de réponses.

Possibilité que ceux qui retournent leur questionnaire ne soient pas représentatifs de la population générale visée par l'enquête.

Une expertise considérable est requise pour leur conception, leur réalisation et leur interprétation.

Panels d'experts : Avis réfléchi d'un groupe de personnes averties de l'extérieur.

Pour que les experts partagent les leçons apprises et les pratiques exemplaires.

Besoin de validation extérieure.

Pour obtenir une variété d'opinions au sujet de questions complexes.

Pour bénéficier d'expertise et de connaissances spécialisées.

Un panel d'experts peut se servir de ses connaissances et de son expérience pour formuler des opinions et des recommandations sur un programme ou une approche.

Cette validation de l'extérieur est tout particulièrement efficiente si elle est menée par voie électronique ou par téléphone.

À moins que les experts n'aient beaucoup de connaissances sur le programme ou l'approche et son contexte, leurs avis risquent de ne pas être très utiles.

Les experts ont tendance à avoir une opinion ou un point de vue particulier du monde, ce qui joue sur leur perception d'un programme ou d'une approche.

Études comparatives : Gamme d'études comportant la collecte de données comparatives (p. ex., une étude de cohorte, une étude de cas témoin, une étude expérimentale).

Pour des évaluations sommatives.

Approche très efficace pour recueillir des données à des fins comparatives.

Trouver des groupes raisonnablement comparatifs.

Structurer des études valides.

Analyser les données requiert une somme considérable de temps et d'argent.

Source :   Adaptation de l' Outil d'apprentissage en ligne de la GAR du SCT

 

Principaux ouvrages de référence

Outil d'apprentissage en ligne de la GAR du Secrétariat du Conseil du Trésor du Canada.

6.0  Conception d'un questionnaire de sondage

 


Lorsque vous devez obtenir de l'information concernant un grand groupe ou une vaste population, vous menez habituellement un sondage. La stratégie d'échantillonnage devrait faire en sorte que l'information recueillie d'un échantillon soit représentative de la population entière. Plus l'échantillon est représentatif, plus vous pouvez vous fier aux constatations. La représentativité est en général liée à la taille de l'échantillon et à l'absence de biais.

Première étape :  Procédures d'échantillonnage

Définition nette de l'objet du sondage

Afin d'élaborer les procédures d'échantillonnage, vous devez préciser clairement l'objet du sondage. La stratégie d'échantillonnage doit être conçue pour fournir des réponses aux questions de l'évaluation.

Taille de l'échantillon

En déterminant la taille de l'échantillon, vous pourrez établir le type de sondage à utiliser.  

Nota : L'échantillon désigne une partie de la population entière qui possède les caractéristiques que vous voulez étudier.


Les points suivants peuvent être pris en considération au moment d'établir la taille de l'échantillon :

Si vous désirez tirer des conclusions sur la population entière, vous devrez établir un échantillon d'une certaine taille en vous fondant sur des paramètres statistiques. Par exemple, lorsque les sociétés de sondage affirment qu'un échantillon est exact avec une marge d'erreur de 5 %, 90 % du temps, cette affirmation est fondée sur un échantillon d'une certaine taille. La taille de l'échantillon requis se rapporte à la taille de votre population, au niveau de confiance requis et à la marge d'erreur permise. À titre d'exemple, si vous avez une population de 1 000 personnes à partir de laquelle vous avez besoin d'un échantillon représentatif et que vous avez besoin d'un niveau de confiance de 95 % avec une marge d'erreur de 5 %, vous aurez alors besoin d'un échantillon d'au plus 278 personnes. Dans le domaine de la recherche en sciences sociales, un niveau de confiance de 95 % et une marge d'erreur admissible de 5 % sont habituellement indiqués. Vous pourriez consulter un spécialiste de la statistique concernant le choix de la taille appropriée de l'échantillon.

Techniques d'échantillonnage

Vous pouvez utiliser de nombreuses méthodes différentes pour choisir un échantillon. Vous désirez idéalement que l'échantillon représente l'ensemble du groupe de sorte que vous puissiez généraliser les constatations relatives au programme. L'échantillonnage aléatoire simple, l'échantillonnage aléatoire stratifié, l'échantillonnage systématique et l'échantillonnage en grappes sont autant de genres d'échantillonnage.

Dans le cas de l'échantillonnage aléatoire simple, une liste de toutes les personnes (c'est-à-dire la population du sondage) est dressée, puis des particuliers sont choisis au hasard pour faire partie de l'échantillon. L'échantillonnage aléatoire donne à tous les membres du groupe cible la même chance de faire partie de l'étude. Un des défis associés à cette méthode est l'obtention d'une liste complète des membres du groupe. Vous trouverez ci dessous les étapes des procédures d'échantillonnage :

1.  obtention d'une base d'échantillonnage;

2.  vérification de l'existence de biais;

3.  évaluation préalable du potentiel de la source d'échantillonnage;

4.  application de la procédure d'échantillonnage.

Bases d'échantillonnage

Les bases d'échantillonnage désignent des listes de personnes qui représentent la population visée ou y correspondent plus ou moins. Ils devraient être complets et représentatifs, et la liste ne devrait pas contenir de biais.

Vérification de l'existence de biais

Voici quelques biais communs :

Évaluation préalable du potentiel de la source d'échantillonnage

Que faire en l'absence de coordonnées sur les personnes-ressources? Voici quelques options.

Que faire en cas d'information restreinte sur les répondants éventuels?

Exemples de technique d'échantillonnage aléatoire

Deuxième étape : Établissement du format du sondage

Troisième étape : Élaboration du questionnaire du sondage

Un des principaux éléments à prendre en compte au moment d'élaborer le questionnaire est la détermination des types de questions à utiliser. Si les questions ouvertes permettent d'obtenir des renseignements détaillés, il faut beaucoup de temps pour les consigner et les analyser. Si le groupe à sonder est grand, le questionnaire devrait essentiellement contenir des questions fermées.

Vous devriez en outre préparer un script et des instructions pour les interviewers (si le sondage est mené au téléphone ou en personne). Le script devrait indiquer comment accueillir le répondant, comment l'inviter à participer, comment répondre à ses questions, comment garder le répondant en ligne, comment remercier le répondant, quel code attribuer à chaque enquête (terminée, aucune réponse, etc.).

 

Genres de questions de sondage

Les questions ouvertes ne fournissent aucune réponse structurée . Il faut beaucoup de temps pour consigner et analyser la réponse à ces genres de questions. Il faudrait en limiter le plus possible le nombre dans les recherches des sondages visant un grand nombre de répondants. Les services d'interviewers compétents doivent être retenus afin de bien approfondir ces questions et de consigner les réponses. Ces questions vous permettent d'approfondir davantage les points d'intérêt soulevés. Les questions ouvertes sont utiles lorsqu'il s'agit d'examiner des points et de fournir des renseignements plus précis sur le pourquoi et le comment.

Questions fermées – réponse pondérée. Ces questions contiennent une liste de différentes réponses de plus ou moins grande intensité le long d'un continuum (p. ex., très insatisfait/ insatisfait/ni satisfait ni insatisfait/satisfait/très satisfait; vrai/tout à fait vrai). Une échelle de cinq points est habituellement utilisée et permet de présenter une position neutre (ni en accord ni en désaccord). Tentez d'inclure toutes les réponses possibles dans les catégories de réponses (p. ex., ne sait pas et ne s'applique pas).

Questions fermées – réponse fixe. Ces questions supposent un choix parmi une ou plusieurs options d'une liste. Il faudrait ajouter une catégorie « Autres Â» pour que le répondant ne soit pas obligé de choisir une réponse qui ne convient pas. Veillez à ce que les catégories s'excluent mutuellement (p. ex., 0-9, 10-19). Évitez les longues listes de catégories.


 

  Liste de contrôle pour l'élaboration
d'un questionnaire de sondage

Facteurs à prendre en considération

P

1.  Pertinence aux questions de la recherche.

 

2.  Tenir compte de la population (p. ex., âge, sexe).

 

3.  La taille de l'échantillon permet de déterminer le type de sondage à utiliser.

 

4.  Budget (les enquêtes postales et électroniques sont rentables).

 

5.  Sujet (p. ex., sujet délicat, exige de la réflexion).

 

6.  Longueur appropriée (la longueur influe sur le taux de réponse). En règle générale, les entrevues téléphoniques devraient durer entre 10 et 20 minutes, une entrevue de 10 minutes représentant la durée idéale.

 

7.  Tenir compte du genre de questions (ouvertes, fermées : pondérée, réponse fixe).

 

8.  Tenir compte du genre d'échelle. Choisir parmi les échelles de 3, 5, 7, 10 et 100 points. Niveau de satisfaction?

 

9.  Poser des questions courtes, simples et claires.

 

10.  Poser des questions les plus précises possibles.

 

11.  Éviter les doubles négatives.

 

12.  Éviter les questions à double sens, soit les questions uniques qui commandent des réponses sur deux choses différentes ou plus. Par exemple : Dans quelle mesure êtes-vous satisfait du service téléphonique et du service en personne?

 

13.  Fixer un délai pertinent pour les questions. Lorsque vous posez des questions sur des événements passés, il importe d'établir un délai approprié. Il arrive souvent que les répondants se souviennent uniquement des renseignements généraux. Exemple : Au cours des sept derniers jours, combien de fois avez-vous fait de l'exercice? Au cours des six derniers mois, combien de fois êtes-vous allé chez le médecin?

 

14.  Vous demander si les répondants ont les connaissances, les opinions ou l'expérience qu'il faut pour répondre à la question.

 

15.  Essayer le plus possible d'être cohérent (p. ex., une échelle, un choix de formulation).

 

16.  Utiliser la conversation sociale pour guider l'organisation du questionnaire (p. ex., introduction, passage graduel au sujet principal, sujet principal, fermeture).

 

17.  Élaborer le script et les instructions.

 

 

Quatrième étape :  Prétest du questionnaire

Les sondages peuvent faire l'objet d'un prétest, puis d'un rajustement. Les essais pilotes visent à cerner et à régler les problèmes et les lacunes des méthodes de collecte de l'information ou de la forme ainsi que l'utilité de l'information recueillie. En vous fondant sur les résultats du prétest, vous pourrez apporter les rajustements requis. En tenant un petit nombre d'entrevues
(environ 10), vous pouvez augmenter la qualité des résultats du sondage.

Vous devriez établir les questions sur lesquelles porteront votre prétest. Par exemple, il peut tenter de déterminer ce qui suit :

Cinquième étape :  Mise en œuvre du sondage

Lors de la mise en œuvre du sondage, vous devez faire ce qui suit :

Si vous vous attendez à ce que vos résultats soient comparables aux résultats existants provenant d'analyse comparative, il faut que la conception de la recherche, le questionnaire et l'administration soient très semblables voire identiques. Il est possible d'apporter des améliorations par rapport à l'itération précédente, mais plus les changements sont nombreux, moins les résultats sont comparables.

Vous devriez veiller à ce que des procédures existent pour assurer le suivi des non-réponses et la compensation des faibles taux de réponse. Il est habituellement inévitable que la composition initiale d'un échantillon change pendant une étude d'évaluation. Les particuliers peuvent décider d'abandonner et d'autres peuvent fournir des renseignements incomplets. Ces changements peuvent fausser l'étude s'ils ne sont pas abordés.

Principaux ouvrages de référence

Goss Gilroy Inc., Designing Effective Client Satisfaction Surveys , Strategic Management Conference, Montréal, 2003.

SPSS BI Survey Tips, A Handy Guide to Help You Save Time and Money as You Plan, Develop and Execute Your Surveys . http://www.spss.com/uk/SurveyTips booklet.pdf


7.0  Analyse des données

 


Première é tape : Examen préalable des objectifs de l'évaluation

Lorsque vous analysez les données, quel que soit leur genre, examiner le but de l'évaluation, ce qui vous aidera à organiser les données et à cibler votre analyse.

Deuxième étape : Examen de la pertinence, de l'intégralité et de la cohérence

Troisième étape : Résumé et organisation des données

Généralisation des constatations

Le seul moyen valide de généraliser les constatations pour une population entière ou cible (lorsqu'il est impossible de sonder ou d'étudier tous les membres) consiste à se servir des constatations qui ont été obtenues d'un échantillon aléatoire de la population à étudier. Il faut donc faire preuve de prudence au moment d'analyser les données d'un échantillon non aléatoire.

Analyses qualitatives et quantitatives

L'analyse des données qualitatives suppose des techniques efficaces de synthèse et d'interprétation. L'information qualitative peut être utilisée pour fournir de l'information contextuelle, expliquer le fonctionnement d'un programme ou cerner les obstacles de la mise en œuvre. Les données qualitatives peuvent être analysées afin de déceler les tendances et les thèmes qui pourraient s'appliquer aux questions de l'évaluation. Le matériel qualitatif peut être organisé en catégories ou en tableaux, ce qui facilite le repérage des tendances, des écarts et des thèmes.  

L'analyse des données quantitatives fournit des valeurs numériques de l'information, qui passent des statistiques descriptives simples (par exemple, fréquence, portée, rang centile, moyenne) à l'analyse statistique plus compliquée (par exemple, test t, analyse des écarts). Des progiciels comme Statistical Package for Social Sciences (SPSS), Minitab et Mystat peuvent être utilisés pour les analyses plus compliquées. L'analyse des données quantitatives suppose elle aussi des techniques d'interprétation. Les constatations quantitatives devraient être prises en compte dans le contexte du programme.  

Au sujet des données quantitatives

La fr̩quence, la port̩e, le centile et l'̩cart standard sont utilis̩s pour les statistiques descriptives. Les mesures des tendances centrales Рmoyenne, m̩diane ou mode Рsont ̩galement calcul̩es.

Exemples de statistiques déductives :

Principaux ouvrages de référence

Outil d'apprentissage en ligne de la GAR du Secrétariat du Conseil du Trésor du Canada.


Annexe F – Modèle de mandat

 

Principaux éléments du mandat

Contexte du projet

Contexte et justification du projet

Identification des principaux intervenants, clients et partenaires

Description du projet

Motifs de l'évaluation

Énoncé de l'objet de l'étude

Valeur ajoutée prévue

Usage prévu des résultats

Portée et accent

Grands enjeux à aborder; questions d'évaluation particulières

Type d'analyse à utiliser; niveau de précision

Préciser l'auditoire des rapports et des constatations

Énoncé des travaux

Comment les buts de l'étude seront atteints

Décrire les approches

Décrire les méthodes de collecte des données

Donner les grandes lignes des tâches à exécuter dans le cadre de l'étude

Indiquer les groupes qui seront consultés

Dresser la liste des attentes quant aux communications et aux rapports d'étape périodiques

Équipe d'évaluation

Titres professionnels, expertise, et expérience requis

Rôles et responsabilités de l'équipe d'évaluation; rôle de l'organisme (gestionnaires de programmes ou de l'évaluation)

Échéancier

Échéancier approximatif pour guider la préparation du plan de travail

Budget

Précision sur les ressources estimatives à engager pour l'étude et ses différents volets

Produits à livrer

Identification des principaux produits à livrer (p. ex., plan de travail ou rapport méthodologique, version préliminaire du rapport d'évaluation, version finale du rapport d'évaluation)

 

Coffre à outil : Modèles
Modèle du plan de vérification et d'évaluation de l'organisme [9]

Introduction et contexte

Méthodologie ou approche

Justification

Plan d'évaluation et de vérification détaillé

Annexes

 

Annexe G – Glossaire

Activité (Activity) Opération ou processus opérationnel exécuté à l'intérieur d'une organisation qui est destiné à produire des extrants précis (p. ex., des produits ou services). Les activités constituent le premier chaînon de la progression vers l'atteinte des résultats.

Attribution (Attribution) РAssertion voulant que des ̩v̩nements ou des conditions ont, dans une certaine mesure, ̩t̩ caus̩s ou influenc̩s par d'autres ̩v̩nements ou conditions. Cela signifie qu'il est possible d'̩tablir un lien raisonnable entre un r̩sultat particulier et les mesures et extrants d'une politique, d'un programme ou d'une initiative du gouvernement.

But (Goal) – Énoncé général des résultats à atteindre au cours d'une période donnée. Le terme « but Â» est approximativement équivalent à « résultat stratégique Â». Par souci de précision technique, le Secrétariat du Conseil du Trésor du Canada recommande d'utiliser plutôt résultat stratégique au lieu de but (voir aussi Objectif).

Cadre de gestion et de responsabilisation axé sur les résultats (CGRR) (Results-based Management and Accountability Framework (RMAF)) Document qui fait état des stratégies de suivi du rendement, de l'évaluation et de présentation de rapports visant une politique, un programme ou une initiative.

Cadre de responsabilisation de la gestion (CRG) (Management Accountability Framework (MAF)) – Série d'attentes à l'égard de la gestion de la fonction publique moderne. Il a pour objet de dresser une liste claire des attentes de la gestion dans un cadre global en vue d'un rendement organisationnel supérieur.

Des résultats pour les Canadiens et les Canadiennes : un cadre de gestion pour le gouvernement du Canada (Results for Canadians: A Management Framework for the Government of Canada) – Document clé publié au début de 2000 qui décrit le cadre de gestion du gouvernement du Canada. On y expose les quatre engagements du gouvernement fédéral en matière de gestion : l'accent sur les citoyens, les valeurs, les résultats et les dépenses judicieuses.

Efficacité (Effectiveness) – Mesure dans laquelle une organisation, une politique, un programme ou une initiative produit les résultats prévus. (Terme connexe : efficacité en fonction du coût – Mesure dans laquelle une organisation, une politique, un programme ou une initiative produit les résultats prévus par rapport à la dépense en ressources.)

Efficience (Efficiency) – Mesure dans laquelle une organisation, une politique, un programme ou une initiative produit les extrants prévus par rapport à la dépense en ressources.

Enchaînement des résultats (synonymes : modèle logique axé sur les résultats, séquence de résultats) (Results Chain) – Relation déterminante ou logique entre les activités, les extrants et les résultats d'une politique, d'un programme ou d'une initiative que ceux-ci sont censés produire. Habituellement présenté sous forme d'organigramme.

Engagement en matière de service (Service Commitment) – En règle générale, les engagements ou normes en matière de service qui établissent les objectifs de rendement à l'égard de la prestation des services ou de la remise des produits gouvernementaux au public. Ces engagements précisent la qualité ou le niveau de service auquel s'engage un ministère ou un organisme ou que les clients sont en droit d'attendre de ce ministère ou de cet organisme.

Énoncé de mission (Mission Statement) – Déclaration formelle et publique exposant la raison d'être d'une organisation. L'énoncé de mission est utilisé par la haute direction pour fixer les orientations et les valeurs de l'organisation.

Évaluation (Evaluation)   – Collecte et analyse systématiques de l'information sur le rendement d'une politique, d'un programme ou d'une initiative permettant de porter des jugements sur sa pertinence, ses progrès et succès, et son efficacité en fonction du coût ou d'éclairer des décisions sur la conception et la mise en œuvre de programmes futurs.

Extrant (Output) – Produit ou service direct provenant des activités d'une politique, d'un programme ou d'une initiative, et livré à un groupe ou à une population cible.

Fiabilité (Reliability) – Constance ou fidélité des données. La notion est simple : si un même critère, questionnaire ou procédé d'évaluation est utilisé une seconde fois ou par une autre équipe de recherche, donnerait-il les mêmes résultats? Dans l'affirmative, le test est fiable. Lors de la conception d'une évaluation ou d'une recherche, les données recueillies ne sont utiles que si les mesures utilisées sont fiables.

Gestion axée sur les résultats ( Results-based Management ) – Une approche à la gestion qui est à la fois globale et basée sur le cycle de vie. Elle intègre la stratégie d'ensemble, les gens, les processus et les mesures pour améliorer la prise de décisions ainsi que pour influencer le changement. Elle se concentre sur la conception d'un bon plan (tôt dans le processus), la mise en œuvre des mesures de rendement, l'apprentissage et l'adaptation ainsi que les rapports sur le rendement.

Groupe cible (Population cible) (Target Group (Target Population)) РEnsemble des personnes sur lesquelles une activit̩ est cens̩e exercer une influence.

Impact (synonymes : répercussion, incidence) (Impact) – Impact est un synonyme de résultat, bien que les impacts présupposent habituellement une relation plus directe. Les deux termes sont couramment utilisés, mais aucun d'eux n'a de caractère technique. Par souci de précision technique, le Secrétariat du Conseil du Trésor du Canada recommande d'utiliser résultat plutôt que impact.

Indicateur (Indicator) РParam̬tre ou statistique qui, lorsqu'il est suivi dans le temps, renseigne sur l'̩volution d'un ph̩nom̬ne et porte une signification qui d̩borde celle qui est associ̩e aux propri̩t̩s de la statistique m̻me.

Intrant (Input) – Ressources (p. ex., humaines, matérielles, financières, etc.) utilisées pour exécuter des activités, produire des extrants ou atteindre des résultats.

Mesures du rendement (Performance Measure) – Indicateur fournissant de l'information (quantitative ou qualitative) servant à déterminer jusqu'à quel point une politique, un programme ou une initiative atteint ses résultats.

Mod̬le logique (Logic Model) Р(̩galement appel̩ mod̬le logique ax̩ sur les r̩sultats) Illustration de l'enchąnement des r̩sultats ou de la mani̬re dont les activit̩s d'une politique, d'un programme ou d'une initiative aboutiront aux r̩sultats finaux. Habituellement pr̩sent̩ sous forme d'organigramme. Voir Enchąnement des r̩sultats.

Objectif (Objective) – Bénéfice durable et à long terme vers lequel les efforts sont déployés.

Port̩e (Reach) РConcept repr̩sentant les personnes et les organisations cibl̩es et directement touch̩es par une politique, un programme ou une initiative.

Rapport ministériel sur le rendement (RMR) (Departmental Performance Reports (DPR)) Rapport déposé chaque année à l'automne par le président du Conseil du Trésor au nom de tous les ministères et organismes du gouvernement fédéral désignés dans les annexes I, I,1 et II de la Loi sur la gestion des finances publiques et faisant partie du processus du Budget des dépenses et du processus d'attribution des crédits. Il explique ce que le gouvernement a réalisé grâce aux ressources et autorisations qui lui ont été fournies par le Parlement. L'information sur le rendement contenue dans ces rapports aide les députés à conseiller le gouvernement en matière d'affectation des ressources en préparation du processus annuel d'établissement du budget et d'attribution des crédits qui se déroule au printemps.

Rapport sur le rendement (Performance Reporting) – Présentation d'information sur le rendement fondée sur les faits. Le rapport sur le rendement sert à éclairer les décisions et à rencontrer les exigences de responsabilisation et constitue le point de départ pour l'engagement des citoyens et citoyennes et pour le dialogue des parlementaires sur le rendement.

Rapport sur les plans et les priorit̩s (RPP) (Reports on Plans and Priorities (RPP)) РRapport faisant partie du Budget principal des d̩penses qui renferme de l'information sur les plans et le rendement attendu des minist̬res sur une p̩riode de trois ans. Il est d̩pos̩ au Parlement chaque ann̩e au printemps, apr̬s les discussions sur l'attribution des ressources. On y trouve g̩n̩ralement de l'information sur la mission ou le mandat, les strat̩gies ainsi que sur les r̩sultats strat̩giques et les engagements pr̩cis en mati̬re de rendement.

Rendement (Performance) РMesure dans laquelle une organisation, une politique, un programme ou une initiative atteint les r̩sultats pr̩vus en regard des cibles, des normes ou des crit̬res. En gestion ax̩e sur les r̩sultats, le rendement est mesur̩ et analys̩, communiqu̩ et utilis̩ comme fondement des d̩cisions en mati̬re de gestion.

Responsabilisation (synonymes : reddition de comptes, imputabilité) (Accountability) – Obligation de démontrer et d'assumer ses responsabilités relatives au rendement en fonction des attentes convenues. Ce concept diffère de la responsabilité, qui est l'obligation d'agir, alors que la responsabilisation est l'obligation de répondre d'une action.

Résultat (Result) Conséquence attribuable aux activités d'une organisation, d'une politique, d'un programme ou d'une initiative. Ce terme général peut inclure à la fois les extrants produits et les résultats atteints par l'organisation, la politique, le programme ou l'initiative. Dans le plan fédéral de gestion axée sur les résultats et dans le document Des résultats pour les Canadiens et les Canadiennes , le terme résultat est plus spécifique et n'inclut pas les extrants.

R̩sultat (Outcome) РCons̩quences externes attribuables aux activit̩s d'une organisation, d'une politique, d'un programme ou d'une initiative En r̬gle g̩n̩rale, ce concept inclut souvent les extrants produits rapport aux engagements. Les r̩sultats peuvent alors ̻tre d̩crits comme imm̩diats, interm̩diaires ou finaux, directs ou indirects, voulus ou fortuits.

Résultat final (Final Outcome) – Il s'agit en règle générale des résultats dont l'atteinte nécessite plus de temps, qui sont soumis à des influences extérieures à la politique, au programme ou à l'initiative et qui peuvent se produire à un niveau plus stratégique.

R̩sultat horizontal (Horizontal Result) РR̩sultat r̩alis̩ par l'apport d'au moins deux minist̬res ou organismes, comp̩tences ou organisations non gouvernementales.

Résultat prévu (Cible) (Planned Results (Targets)) – Énoncé clair et concret des résultats (comprenant les extrants et les résultats) à atteindre au cours d'un cycle de planification et de rapport de rendement parlementaire et ministériel (d'un an à trois ans), permettant la comparaison avec les résultats réels.

Résultat stratégique (Strategic Outcomes) – Bénéfice durable et à long terme pour les Canadiens et les Canadiennes qui découle du mandat, de la vision et des efforts du ministère. Ces résultats représentent la contribution que le ministère veut apporter à la population canadienne et doivent être mesurables. L'atteinte des résultats ou le progrès à cet égard ne pourra se faire qu'avec le leadership soutenu d'un ministère ou d'un organisme fédéral, conformément aux attentes des Canadiens et des Canadiennes, surtout en ce qui a trait à la conclusion de partenariats et d'alliances avec d'autres intervenants et organisations.

Les Canadiens et les Canadiennes s'attendent également à ce que les ministères recherchent l'excellence en établissant des résultats stimulants qui relèvent de leur sphère de compétence ou d'influence. Ces résultats seront à la base des normes servant à évaluer le rendement du ministère grâce à des mesures ministérielles dérivées.

Stratégie de mesure du rendement (Performance Measurement Strategy) – Sélection, développement et utilisation continue des mesures du rendement pour guider les décisions ministérielles. L'étendue des informations provenant d'une stratégie de mesure du rendement peut inclure : la portée, les extrants et les résultats, les mesures de rendement, les sources de données, la méthodologie et les coûts.

Structure des ressources et des résultats de gestion (SRRG) – Remplace la Structure de planification, de rapport et de responsabilisation (SPRR) à titre de régime de présentation de rapports. Elle vise ce qui suit :

Suivi du rendement (Performance Monitoring) РProcessus continu de collecte d'information permettant d'̩valuer la progression vers l'atteinte des r̩sultats strat̩giques et, s'il y a lieu, d'̩mettre une mise en garde si le progr̬s n'est pas tel que pr̩vu.

Système d'information sur la gestion des dépenses (SIGD) (Expenditure Management Information System (EMIS)) – Cadre d'information commun à l'appui du Comité d'examen des dépenses et des évaluations ministérielles portant sur le cadre de responsabilisation de la gestion. L'Architecture des activités de programmes et le SIGD serviront de fondement aux documents suivants :

Validité (Validity) – Mesure dans laquelle les questions ou les procédures mesurent réellement ce qu'elles prétendent mesurer. Autrement dit, les données valides sont non seulement fiables mais aussi vraies et exactes. Les mesures servant à recueillir des données concernant une variable dans une étude d'évaluation doivent être à la fois fiables et valides pour que l'évaluation globale puisse produire des données utiles.

Source : SCT, Guide d'élaboration des cadres de gestion et de responsabilisation axés sur les résultats .
http://www.tbs-sct.gc.ca/cee/tools-outils/rmaf-cgrr/guide00-fra.asp


Annexe H РLiens concernant l'̩valuation

1.  http://www.tbs-sct.gc.ca/pol/doc-fra.aspx?id=15024

Lien vers la Politique d'évaluation du Conseil du Trésor.

2.  http://www.oecd.or g /dataoecd/29/21/2754804.pdf

Lien vers un glossaire complet des principaux termes relatifs à l'évaluation et la gestion axée sur les résultats.

3.  http://www.wkkf.org/Pubs/Tools/Evaluation/Pub770.pdf

Lien vers un guide pratique de l'évaluation de Kellogg.

4.  http://www.evaluatio n canada.ca

Lien vers la page d'accueil de la Société canadienne d'évaluation. Ce site contient de l'information sur les cours et les événements spéciaux, diverses ressources relatives à l'évaluation ainsi que des documents non publiés à l'intention des évaluateurs.

5.  http://www.phac-aspc.gc.ca/ncfv-cnivf/violencefamiliale/html/fvprojevaluation_f.html

Lien vers le document intitulé Guide d'évaluation de projet : Une démarche participative que la Direction de la santé de la population de Santé Canada a préparé en 1996. Le guide fournit un cadre complet facile à utiliser aux fins de l'évaluation des projets. Ce cadre peut être utilisé pour renforcer les compétences et les connaissances en évaluation, ce qui aidera à élaborer et à mettre en œuvre des évaluations de projets efficaces.

6.  http://www.mapnp.org/library/evaluatn/fnl_eval.htm#anchor1585345

Lien vers un guide fondamental de l'évaluation des programmes qui fournit des directives en vue de la planification et de la mise en œuvre d'un procédé d'évaluation pour les organismes à but non lucratif et à but lucratif.

7.  http://www11.hrdc-drhc.gc.ca/pls/edd/toolkit.list_fr?p_site=EDD

Lien vers la Série : Les outils de l'évaluation de DRHC qui a été mise au point par la Direction générale de l'évaluation et du développement des données. Cette série de publications fournit de l'information pertinente sur la conception, la planification et la tenue d'une évaluation. Voici quelques-unes des publications comprises :

Modèles logiques

8.  http://www.ed.gov/teachtech/logicmodels.doc

Lien vers le document Logic Models: A Tool for Telling Your Program's Performance Story , qui décrit en détail le procédé des modèles logiques et la manière de se servir de ces modèles pour élaborer et présenter le rendement d'un programme.

9.  http://national.unitedway.org/outcomes/resources/mpo/

Lien vers le manuel intitulé Measuring Program Outcomes: A Practical Approach , qui est une bonne source d'information sur l'élaboration de modèles logiques et d'indicateurs de rendement.

10. http://www.wkkf.org/Pubs/Tools/Evaluation/Pub3669.pdf

Lien vers le Logic Model Development Guide de la W.K. Kellogg Foundation qui donne un bon aperçu de l'élaboration de modèles logiques et fournit de l'information sur les différents genres de modèles logiques.

11. http://www.impactalliance.org/file_download.php/prevent+1.pdf?URL_ID=2744&filename=10196046740prevent_1.pdf&filetype=application%2Fpdf&filesize=646378&name=prevent+1.pdf&location=user-S/

Prevention Works! A Practitioner's Guide to Achieving Outcomes

12. http://www.insites.org/documents/logmod.htm

Tout ce que vous voulez vraiment savoir sur les modèles logiques mais n'osiez pas demander.

13. http://www.calib.com/home/work_samples/files/logicmdl.pdf

Lien vers un document qui décrit les modèles logiques et traite de leurs utilisations dans la planification et l'évaluation des services de traitement.

14. http://www.uwex.edu/ces/lmcourse/

Lien vers le site du cours autodidacte en ligne de l'Université du Wisconsin intitulé Enhancing Program Performance with Logic Models , une excellente ressource.

15. http://www.gse.harvard.edu/hfrp/content/pubs/onlinepubs/rrb/learning.pdf

Lien vers des modèles logiques et un exemple de partenariat entre une famille et une école.

Liens relatifs au CGRR

16. http://www.tbs-sct.gc.ca/cee/tools-outils/rmaf-cgrr/guide00-fra.asp

Lien vers le Guide d'élaboration des cadres de gestion et de responsabilisation axés sur les résultats d'août 2001 qui contient les lignes directrices de l'élaboration du profil, du modèle logique, de la stratégie de mesure du rendement, de la stratégie d'évaluation et de la stratégie de présentation de rapports.

17. http://www.tbs-sct.gc.ca/cee/tools-outils/comp-acc00-fra.asp

Lien vers le guide d'accompagnement aux fins de l'élaboration des CGRR des initiatives horizontales. Ces dernières doivent souvent intégrer les obligations verticales et horizontales de reddition de compte, divers groupements de ressources ainsi qu'une variété de mandats, de stratégies de mesure du rendement et de structures de présentation des rapports des ministères. Le guide se veut le complément du Guide d'élaboration des cadres de gestion et de responsabilisation axés sur les résultats et traite des défis uniques que doivent relever les différents organismes qui travaillent ensemble à atteindre des objectifs communs. Bien qu'il ne fournisse pas de réponse à toutes les questions, il procure des directives fondées sur les enseignements les plus importants tirés à ce jour.

18. http://www.tbs-sct.gc.ca/cee/pubs/guide/sarmaf-ascgrr-fra.asp

Lien vers le document Conseils pour une approche stratégique aux CGRR qui complète le Guide d'élaboration des cadres de gestion et de responsabilisation axés sur les résultats d'août 2001. Ce document a pour but d'aider les gestionnaires à adapter les CGRR à des circonstances particulières, en tenant compte de facteurs comme le risque global, la complexité des programmes et les exigences de compte rendu, et ce, afin que les CGRR continuent de répondre aux besoins changeants.

19. http://www.tbs-sct.gc.ca/res_can/rc_f.asp

Lien vers le document Des résultats pour les Canadiens et les Canadiennes – Un cadre de gestion pour le gouvernement du Canada qui décrit ce que les gestionnaires de la fonction publique doivent faire pour améliorer l'efficience et l'efficacité de leurs programmes. Le CGRR est un important outil de gestion qui permet d'atteindre les quatre objectifs du cadre Des résultats pour les Canadiens et les Canadiennes , à savoir l'accent sur les citoyens dans le cadre de toutes les activités gouvernementales, l'accent sur les valeurs, l'atteinte des résultats et l'utilisation judicieuse des fonds publics.

20. http://www.tbs-sct.gc.ca/pol/doc-fra.aspx?id=12257

Lien vers la Politique sur les paiements de transfert du Conseil du Trésor qui formalise l'exigence en matière de CGRR à titre d'élément d'une présentation au CT comportant des paiements de transfert.

 


[1] .  Voir le site Web du SCT à : l' http://www.tbs-sct.gc.ca/cee/tools-outils/model-fra.asp .

[2] .  Secrétariat du Conseil du Trésor du Canada, Modèles d'évaluation et de mesure du rendement des petits organismes , 2003.

Secrétariat du Conseil du Trésor du Canada, Évaluation provisoire de la Politique de l'évaluation , 2002.

[3] .  Secrétariat du Conseil du Trésor du Canada, Modèles d'évaluation et de mesure du rendement des petits organismes , 2003.

[4] .  Secrétariat du Conseil du Trésor du Canada, Élaboration et utilisation des cadres de gestion et de responsabilisation axés sur les résultats , avril 2004.

[5] .  Voir le site Web du SCT à : http://www.tbs-sct.gc.ca/cee/ .

[6] .  Secrétariat du Conseil du Trésor du Canada, Modèles d'évaluation et de mesure du rendement des petits organismes , 2003.

[7] .  Pour obtenir plus d'information sur les organisations susmentionnées, veuillez vous reporter à l'annexe C.

[8] .  Les petits organismes peuvent être dotés d'un seul niveau de gestion.

[9] .  Beaucoup de petits organismes soumettent un plan annuel de vérification et d'évaluation. Le modèle intègre tant la vérification que l'évaluation. Des plans de vérification interne doivent être présentés lorsque des priorités de vérification interne ont été identifiées.

 

Date de modification :