Nous procédons actuellement au transfert de nos services et de nos renseignements sur le Web vers Canada.ca.

Le site Web du Secrétariat du Conseil du Trésor du Canada restera accessible jusqu’à  ce que le transfert soit terminé.

Guide d’évaluation des petits organismes


Informations archivées

Les informations archivées sont fournies aux fins de référence, de recherche ou de tenue de documents. Elles ne sont pas assujetties aux normes Web du gouvernement du Canada et n’ont pas été modifiées ou mises à  jour depuis leur archivage. Pour obtenir ces informations dans un autre format, veuillez communiquez avec nous.

 

Quatrième section : Cycle d'évaluation

 

La présente section :

  • donne un aperçu du cycle de vie de l'évaluation;
  • décrit les facteurs à prendre en considération pour planifier une évaluation au niveau du programme;
  • décrit le Cadre de gestion et de responsabilisation axé sur les résultats (CGRR ) et ses composantes;
  • décrit les méthodes d'évaluation;
  • décrit les étapes d'exécution d'une évaluation, y compris l'analyse des données;
  • donne un aperçu de la rédaction de rapports d'évaluation.

Aperçu du cycle de vie de l'évaluation

 


La présente section présente un aperçu d'une évaluation depuis la préparation d'un CGRR jusqu'à la collecte de l'information et à la rédaction du rapport. Le graphique qui suit illustre le cycle d'évaluation.

La section porte sur les trois premières étapes, à savoir planifier, mettre en œuvre et communiquer l'information. Plus précisément, elle est présentée comme suit :

Rédaction du plan au niveau du programme (ou CGRR)

  • décrire le projet
  • préparer le modèle logique
  • préparer la stratégie de mesure du rendement
  • élaborer une stratégie d'évaluation.

 Exécution de l'évaluation

  • recueillir l'information
  • analyser l'information.

Rédaction du rapport

La quatrième étape du cycle de vie global de l'évaluation, c'est-à-dire l'utilisation des résultats de l'évaluation, sera abordée à la Sixième section.

4.1  Planification de l'évaluation

Afin que l'évaluation soit un produit utile, il faut préciser les détails au début du cycle de vie de l'évaluation. Il importe d'abord de faire comprendre les motifs de l'exécution de l'évaluation. Vous trouverez ci-après une liste de contrôle qui vous aidera à planifier votre évaluation au niveau du programme.

  Liste de contrôle de la planification d'une évaluation
(au niveau du programme)

Facteurs à prendre en considération

P

1.  Faire comprendre pourquoi l'évaluation est exécutée.

 

2.  Indiquer qui utilisera l'évaluation pour prendre des décisions (par exemple, des administrateurs particuliers, le personnel du programme, les clients, les législateurs, la haute direction, d'autres intervenants), où les constations de l'évaluation seront signalées (RMR, rapport annuel, site Web du ministère) et quels genres de décisions pourraient être prises.

 

3.  Déterminer si la direction devra fournir des réponses ou un plan d'action.

 

Élaborer une stratégie d'évaluation qui comprend les éléments suivants :

  • une description du programme
  • la portée et les objectifs de l'évaluation
  • les enjeux et les questions liés à l'évaluation
  • les méthodes de collecte des données et les sources d'information.

 

 

4.2  Cadre de gestion et de responsabilisation axé sur les résultats (CGRR) : Outil de planification

Comme le Cadre de gestion et de responsabilisation axé sur les résultats (CGRR) est un outil commun de planification des évaluations au gouvernement fédéral, la présente sous-section décrit ce cadre et ses composantes. Elle met l'accent sur le profil, le modèle logique et la stratégie d'évaluation, mais ne fournit qu'une description de haut niveau de la stratégie de mesure continue du rendement.

La section précédente traitait du plan global d'évaluation d'un organisme, mais la présente sous-section met l'accent sur la planification de l'évaluation d'un programme précis . La composante du cadre d'évaluation du CGRR devrait toutefois être liée au plan d'évaluation de l'organisme.

Dans les petits organismes comptant seulement un ou deux secteurs d'activité, l'évaluation peut porter sur l'ensemble de l'organisation (par exemple, l'évaluation d'une activité centrale de l'organisme). Dans bien des cas, les CGRR sont élaborés pour les petits organismes dans leur ensemble et non pour des secteurs d'activité particuliers.

 

 

Les CGRR constituent un outil de gestion qui ressemble essentiellement à un panneau d'affichage ou à une rose des vents pour une organisation, un programme, une politique ou une initiative.

 

4.2.1  Foire aux questions sur les CGRR

 

Qu'est-ce qu'un CGRR?

Un CGRR est un plan qui décrit comment un programme sera mesuré, évalué et présenté dans un rapport.

 

Pourquoi utiliser un CGRR?

Le CGRR sert de guide pour aider les gestionnaires à mesurer et à évaluer leurs programmes et à présenter des rapports connexes. Il est bien d'élaborer un CGRR (ou un cadre) lorsqu'un programme est conçu afin d'établir des liens raisonnables entre les activités proposées et les résultats et de faire connaître les exigences de la collecte des données. Le CGRR sert également de lien avec la Structure des résultats et des ressources de gestion de l'organisme.

 

Quelle est la différence entre un CGRR et un cadre d'évaluation?

Les CGRR ont en général remplacé les cadres d'évaluation au gouvernement fédéral. Ils regroupent, dans un même document, des plans pour la mesure du rendement et pour les activités d'évaluation, qui s'appuieront sur la théorie du programme ou le modèle logique, les pierres angulaires du CGRR. Les cadres d'évaluation autonomes ne comprennent pas forcément une stratégie de mesure du rendement et de communication de l'information.

 

Quand un CGRR est-il requis?

Le CGRR est obligatoire pour certaines catégories de programmes de paiements de transfert. Il s'agit notamment des programmes de subvention (subventions versées à une catégorie de bénéficiaires), de contributions particulières et de programmes de contribution.

Les CGRR sont censés relever des bonnes pratiques de gestion et leur utilisation est habituellement encouragée dans la Politique d'évaluation et le document d'orientation sur les CGRR du SCT.

 

Qui participe à l'élaboration d'un CGRR?

Deux types d'intervenants clés participent à l'élaboration et à la mise en œuvre d'un CGRR : les gestionnaires de programmes et les gestionnaires de l'évaluation. Les analystes du Secrétariat du Conseil du Trésor du Canada peuvent également participer aux CGRR qui comprennent une présentation au Conseil du Trésor.

Le CGRR est dirigé par les gestionnaires, tandis que les évaluateurs servent de facilitateurs. Les gestionnaires assument la responsabilité principale de l'élaboration et de la mise en œuvre du CGRR. Il leur incombe de prendre les mesures suivantes :

  • veiller à l'exactitude du contenu du cadre;
  • mettre en œuvre le CGRR.

La fonction de l'évaluation est chargée de la section du « Plan d'évaluation Â».

Il faudrait consulter également les principaux intervenants lors de la préparation de certains éléments du CGRR. Obtenir rapidement leur adhésion assure le soutien du processus de mise en œuvre.

 

Quelles sont les composantes d'un CGRR?

Profil Рcontient une description du programme, ce qui comprend le contexte et les besoins, les intervenants et les b̩n̩ficiaires, les structures organisationnelles et de gouvernance et les ressources affect̩es.

Résultats prévus et théorie du programme – comprend une description (résultats prévus et stratégie d'exécution) et une illustration graphique (modèle logique) montrant comment les activités d'un programme devraient se traduire par l'atteinte des résultats prévus.  

Plan de surveillance et d'̩valuation Рun plan pour les activit̩s continues de mesure du rendement et d'̩valuation. Cette composante comprend en outre une matrice des engagements en mati̬re de surveillance et de communication de l'information sur l'̩valuation.

 

Hexagon: Le CGRR devrait être concis et ciblé, ce qui contribue au soutien de sa mise en œuvre.


  Liste de contrôle de l'élaboration d'un CGRR

Éléments requis

P

1.  Former un groupe de travail chargé du CGRR.

 

2.  Évaluer la capacité interne.

 

Préparation de la description

3.  Établir un profil.

 

Résultats prévus et théorie du programme (résultats prévus, stratégie de prestation et modèle logique).

 

Préparation du plan de surveillance (ou du plan de mesure continue du rendement)

5.  Choisir les indicateurs (en se servant du modèle logique comme guide)

 

6.  Déterminer les sources de données, les méthodes de collecte des données et l'échéancier.

 

7.  Indiquer qui est responsable de la collecte de données.

 

8.  Estimer le coût des activités de surveillance.

 

Préparation du plan d'évaluation

9.  Faire comprendre pourquoi l'évaluation est exécutée.

 

10.  Déterminer les enjeux et les questions de l'évaluation.

 

11.  Traiter des volets de la pertinence, du succès et de la rentabilité.

 

12.  Tenir compte des questions du Comité d'examen des dépenses.

 

13.  Déterminer la conception d'évaluation, les méthodes de collecte des données, les sources de données et la fréquence appropriés.

 

1Indiquer qui est responsable de la collecte des données.

 

15.  Estimer le coût des activités de surveillance.

 

Préparation d'une stratégie de communication de l'information

16.  Déterminer tous les rapports de surveillance et d'évaluation (y compris, le RMR, le RPP, le rapport annuel sur le rendement, la vérification de la conformité et l'évaluation sommative).

 

17.  Fixer un échéancier pour la communication de l'information sur le rendement.

 

18.  Indiquer qui est responsable de la communication de l'information sur le rendement et des résultats de l'évaluation.

 

19.  Indiquer l'utilisateur du rapport produit.

 


4.2.2  Établissement du profil du programme

Il importe de bien comprendre l'organisation et le programme pour être en mesure de guider les activités de surveillance et d'évaluation. Le profil type comprend un résumé du contexte, des objectifs, des intervenants et bénéficiaires principaux, des structures organisationnelles ainsi que la structure de gouvernance et des ressources. Il devrait indiquer clairement les objectifs que le programme tente d'atteindre et comment il prévoit le faire.

Composantes types du profil*

Contexte

Décrire clairement la nécessité et la justification du programme.

Objectifs

Indiquer clairement les objectifs du programme. Décrire comment les objectifs sont liés aux résultats stratégiques du ministère qui sont définis dans son Architecture des activités de programmes.

Intervenants et bénéficiaires principaux

Fournir au lecteur une indication précise des personnes qui participent au programme. Les programmes peuvent faire appel à de nombreux intervenants dont les rôles, points de vue et besoins en information de gestion peuvent varier. Si les données sont accessibles, définir les cibles selon la capacité de sensibiliser les bénéficiaires du projet.

Structures organisationnelles et de gouvernance

Décrire les structures organisationnelles et la structure de gouvernance. Indiquer qui détient le pouvoir décisionnel et décrire les principaux rôles et responsabilités de tous les intervenants du projet (y compris les partenaires de prestation).

Ressources

Indiquer les ressources annuelles affectées à l'organisme et à chaque partenaire de prestation, le cas échéant. Préciser le coût des activités de surveillance et d'évaluation.

*  Par le passé, les profils de programme ont habituellement compris les résultats prévus et la stratégie de prestation. Ces composantes font maintenant partie de la section, Résultats prévus et théorie du programme (modèle logique).

 

Exemple :
Le Comité des griefs des Forces canadiennes
(CGFC)

Le texte qui suit est tiré du profil du CGFC concernant la structure de gouvernance :

Le Comité est composé d'un président, d'un vice-président à temps plein, d'un vice-président à temps partiel et de trois membres à temps partiel. Tous ont été nommés par le gouverneur en conseil pour un premier mandat d'au plus quatre ans.

Il incombe aux agents de griefs, de concert avec l'Unité d'analyse des griefs et des opérations, d'analyser les griefs, de mener des recherches, y compris la recherche de précédents applicables, et la rédaction des constatations et des recommandations initiales se rapportant aux griefs, pour aider les membres du Comité à s'acquitter de leurs fonctions. Il incombe aux avocats de l'Unité des services juridiques d'effectuer un examen juridique des constatations et des recommandations avant qu'elles ne soient soumises aux membres du Comité. Ceux-ci sont responsables des constatations et des recommandations soumises au chef d'état-major de la défense. Le président du Comité est en définitive tenu responsable du travail du Comité.

Il incombe au directeur exécutif, chargé de surveiller la prestation des services de soutien ministériels, d'assurer la saine gestion globale du Comité y compris la gestion financière. Toutefois, c'est en bout de ligne le président qui est responsable de tous les volets de la gestion du Comité.


 

  Liste de contrôle pour l'établissement du profil d'un CGRR

Facteurs à prendre en considération

P

1.  Avez-vous consulté les documents stratégiques et descriptifs appropriés?

 

2.  Avez-vous consulté les intervenants visés pour obtenir l'information qui manque ou d'autres renseignements?

 

Est-ce que le profil traite des questions suivantes?

3.  Comprend-il les principales composantes (contexte, objectifs, intervenants et bénéficiaires principaux, structures organisationnelles et structure de gouvernance et ressources)?

 

Indique-t-il clairement ce que le programme compte réaliser et comment il prévoit le faire?

 

5.  Décrit-il clairement le contexte du programme?

 

6.  Explique-t-il la nécessité et la pertinence du programme?

 

7.  Décrit-il complètement, mais avec concision, le programme? (en général, de 5 à 7 pages)

 

8.  Utilise-t-il des termes neutres? (éviter les éloges)

 

9.  Indique-t-il la portée et l'ampleur du programme?

 

10.  Décrit-il comment les objectifs se rattachent aux résultats stratégiques de l'organisme qui ont été définis dans son Architecture des activités de programmes?

 

11.  Décrit-il clairement les rôles et responsabilités des principaux intervenants (y compris les partenaires de prestation)?

 

12.  Décrit-il la structure de gouvernance du point de vue de la responsabilisation?

 

 

4.2.3 Élaboration du modèle logique

 

Qu'est-ce qu'un modèle logique?

Un modèle logique est un diagramme qui illustre les liens de causalité entre les activités et les résultats. Il montre la relation de cause à effet entre les activités et les extrants jusqu'aux résultats finaux. Il s'agit d'exprimer d'une manière visuelle la justification, le processus de réflexion ou la théorie qui sous-tend une organisation, un programme ou une initiative. Ce modèle représente comment l'organisation ou l'initiative devrait mener aux résultats.

Le modèle logique peut être appliqué à une organisation, une politique, un programme ou une initiative. Il peut être utilisé à des fins de planification, de gestion de projet, d'évaluation et de communication.

Hexagon: Les modèles, logiques peuvent contribuer à préciser les objectifs et à cibler l'évaluation sur les résultats.

 

Composantes d'un modèle logique

Si l'apparence des modèles logiques peut varier considérablement, ils comptent habituellement trois composantes principales, à savoir les activités, les extrants et les résultats.

Composantes

Principal attribut

Description

Activités

Ce que nous faisons

Les principales actions du projet.

La description peut commencer par un verbe d'action (par exemple, mettre en marché, fournir, faciliter, livrer).

Extrants

Ce que nous produisons

Les extrants sont des produits ou services concrets qui proviennent des activités. Ils sont habituellement exprimés sous forme de substantifs et ne sont presque jamais qualifiés. Ils sont concrets et peuvent être comptés.

Résultats

Pourquoi nous le faisons

Les résultats désignent les changements ou les différences qui résultent des extrants du projet. Il convient de signaler qu'il peut exister jusqu'à trois niveaux de résultats (immédiats, intermédiaires et ultimes ou finaux). Les résultats sont habituellement qualifiés (par exemple, augmentés, diminués, améliorés, maintenus).

Résultats immédiats

Les changements qui résultent des extrants. Ces résultats sont le plus étroitement associés ou attribués au projet.

Résultats intermédiaires

Les changements qui découlent des résultats immédiats et qui entraîneront des résultats ultimes.

Résultats ultimes

Les changements qui découlent des résultats intermédiaires. En général, ces résultats sont réputés être un changement d'un « tableau général Â» de la situation. Ils peuvent ressembler aux objectifs stratégiques. Il faut lier les résultats finaux aux résultats stratégiques de l'organisme qui sont mentionnés dans la SRRG.

 

Certains modèles logiques comportent d'autres caractéristiques, dont celles qui suivent :

  • Portée – À quels groupes ou clients cibles les activités s'adressent-elles?
  • Intrants – Quelles ressources ont été utilisées?
  • Facteurs internes et externes – Quels sont les facteurs sur lesquels l'influence ou le contrôle peut ou non être exercé?

 

Un exemple : Projet relatif à des subventions à la recherche

 


 

Exemple : Modèle logique de la Commission nationale des libérations conditionnelles (CNLC) au chapitre du volet des services correctionnels pour les Autochtones, dans le cadre de l'initiative de l'approche correctionnelle judicieuse

Exemples de résultats à court terme

  • Les collectivités sont mieux informées au sujet de la CNLC et des libérations conditionnelles.
  • Les audiences des contrevenants sur le Territoire du Nunavut sont adaptées à la culture.

Exemples de résultats à long terme

  • Le processus décisionnel en matière de libération conditionnelle est conforme à la diversité de la population des contrevenants autochtones.
  • Lors des audiences, la CNLC dispose de meilleurs renseignements pour la prise de décisions, y compris de l'information sur les effets de leur historique.

 

Existe-t-il différents genres de modèle logique?

L'apparence des modèles logiques varie considérablement. Le cheminement peut se faire à l'horizontale ou à la verticale. Le genre de modèle logique retenu devrait convenir à l'organisme et à ses intervenants. Quel que soit le modèle choisi, il doit fournir suffisamment d'orientation et de précision pour la planification et l'évaluation. Des organigrammes ou des tableaux sont le plus souvent utilisés pour illustrer les modèles logiques.

Il convient de signaler que le modèle logique, quel que soit les genres décrits ci-dessous, aidera à cibler l'évaluation sur les résultats du programme.

 

TYPE 1 : Organigramme ou modèle logique classique

L'organigramme ou le modèle logique classique illustre la séquence des résultats qui découlent (ou proviennent) des activités et des extrants. Il s'agit d'un modèle logique très souple tant que les trois composantes centrales sont présentées, à savoir les activités, les extrants et les résultats. Vous pouvez avoir n'importe quel nombre de niveaux de résultats pour vous assurer que votre modèle logique représente la séquence des résultats, et ce, de manière satisfaisante.

Les liens de cause à effet peuvent être expliqués par des énoncés comme « si… alors Â». Par exemple, si l'activité est instaurée, alors les extrants seront produits. Si le résultat immédiat est atteint, alors il mènera vers le résultat intermédiaire, et ainsi de suite.


 




TYPE 2 : Modèle à enchaînement de résultats

Ce type de modèle est également désigné par l'expression « enchaînement du rendement Â». Semblable au modèle à organigramme, il n'isole toutefois pas les activités, les extrants ou les résultats précis. L'enchaînement de résultats ne donne donc pas les mêmes précisions concernant la séquence causale des extrants et des résultats.

Cependant, les deux types de modèles logiques servent de structure pour décrire les attentes d'un programme et de fondement aux rapports sur le rendement. À l'instar du modèle à organigramme, il s'appuie sur la justification ou la théorie du programme.

 


Source :   Six étapes faciles, Gestion axée sur les résultats, Guide à l'intention des gestionnaires , avril 2003, Division de l'évaluation, ministère des Affaires étrangères et du Commerce international.

Autres facteurs à considérer

  • L'élaboration de l'enchaînement des résultats prend moins de temps.
  • Le modèle logique à organigramme fait mieux comprendre comment des activités précises peuvent aboutir à des résultats.
  • Vous pouvez élaborer un, deux ou trois niveaux de résultats selon ce qui convient à votre programme ou organisation.

 

Comment élaborer un modèle logique?

Le graphique qui suit présente un aperçu des trois étapes de l'élaboration d'un modèle logique.

Voir l'annexe E pour obtenir plus de précision sur l'élaboration des modèles logiques.

 

Votre organisme est-il prêt à élaborer un modèle logique?

  • Disposez-vous de suffisamment de temps et d'engagement pour élaborer le modèle logique à l'interne?
  • Sait-on comment élaborer un modèle logique?
  • Les habiletés en planification et en communication (qui sont essentielles à l'obtention d'un consensus et d'un engagement) sont-elles suffisantes?
  • L'organisme est-il assez objectif ou neutre?
  • Le programme fait-il intervenir uniquement votre organisme dans le gouvernement fédéral?

Si vous avez répondu «  oui  Â» à ces questions, vous êtes sans doute prêt à élaborer un modèle logique. Pour de plus amples précisions sur la manière de procéder, veuillez consulter l'annexe E.

Si vous avez répondu «  non  Â» à l'une des quatre premières questions, il pourrait être souhaitable de sous-traiter l'élaboration du modèle logique.

Si vous avez répondu «  non  Â» à la dernière question, l'initiative est réputée « horizontale Â». L'élaboration d'un modèle logique pour une initiative horizontale présente habituellement plus de défis parce que vous devez y faire participer de nombreux intervenants dont les points de vue et les opinions peuvent varier.  

Pour en savoir davantage sur les CGRR, veuillez consulter le document intitulé Élaboration et utilisation des cadres de gestion et de responsabilisation axés sur les résultats , avril 2004.

 

4.2.Élaboration du plan de surveillance de la gestion du rendement d'un CGRR

Bien que le guide porte sur l'évaluation, les CGRR qui y sont mentionnés exigent en outre un plan de surveillance. La présente stratégie pourrait créer en permanence un flux d'information en temps opportun, et ce, à l'appui du processus décisionnel. Il importe de signaler que certaines données exigées à des fins d'évaluation peuvent être recueillies continuellement dans le cadre du système de mesure du rendement.

Les indicateurs de la stratégie de mesure du rendement sont établis à partir des extrants et des résultats du modèle logique. Il faut indiquer la source de données, la méthode de collecte, l'échéancier et la fréquence de la collecte des données ainsi que la responsabilité en matière de mesure du rendement se rapportant à chacun des indicateurs.

4.2.5  Élaboration de la stratégie d'évaluation

 

La présente sous-section présente :

  • un aperçu et une description d'une stratégie d'évaluation au niveau du programme;
  • l'élaboration des enjeux et des questions de l'évaluation;
  • l'établissement des indicateurs;
  • un aperçu des conceptions d'évaluation;
  • un aperçu des méthodes de collecte des données.

 

Aperçu d'une stratégie d'évaluation

La stratégie d'évaluation comporte les éléments suivants :

  • enjeux et questions de l'évaluation;
  • indicateurs correspondants;
  • sources de données (y compris rapports sur la mesure du rendement);
  • méthode de collecte des données;
  • échéancier;
  • coûts estimatifs des activités d'évaluation.

La stratégie d'évaluation peut être présentée sous forme de tableau comme dans l'exemple qui suit.

Enjeu de l'évaluation

Question de l'évaluation

Indicateur

Source de données

Méthode de collecte des données

Échéancier

Succès

Dans quelle mesure l'initiative a-t-elle amélioré la capacité d'évaluation des employés?

Qualité des rapports d'évaluation

Experts en évaluation

Examen par les experts

Deuxième année

 
Énonciation efficiente et efficace de la stratégie pour combler les besoins de l'organisme

La stratégie d'évaluation devrait faire l'équilibre entre la nécessité d'obtenir des données en temps opportun et crédibles, d'une part, et le côté pratique, d'autre part. Établir de bons liens entre l'évaluation et la mesure du rendement permettra que l'information sur le rendement soit utilisée à titre de source d'information pour les évaluations. Pour leur part, les liens entre la planification et l'évaluation assureront le ciblage adéquat de la stratégie et son orientation vers les besoins en information.

Voici quelques points à prendre en considération lors de l'élaboration d'une stratégie d'évaluation.

  • Songer à adopter une approche de méthodes mixtes équilibrée pour concevoir l'évaluation, ce qui devrait renforcer la conception et accroître la crédibilité des constatations.
  • Accorder suffisamment d'importance aux besoins en information (par exemple, les enjeux du processus) et au caractère pratique, ce qui permettra d'orienter l'élaboration de votre stratégie d'évaluation.
  • Faire porter les questions de l'évaluation sur les préoccupations d'évaluation les plus urgentes.
  • Ne recueillir que l'information se rapportant aux questions.
  • Songer, dans la mesure du possible, à des stratégies qui intègrent l'information provenant des activités de mesure du rendement et d'évaluation aux autres renseignements de gestion.
  • Songer à utiliser, le cas échéant, les données existantes à titre de source d'information éventuelle pour l'évaluation.

 

Exemple de tableau d'évaluation :
Comité des griefs des Forces canadiennes (CGFC)

Enjeux et questions de l'évaluation

Indicateurs

Source de données et méthodologie

ENJEU 2.5 – Rentabilité

1. La qualité des conclusions et des recommandations du CGFC peut-elle être maintenue à un prix moindre et en moins de temps?

Réductions du coût moyen par grief depuis la création du CGFC

Niveau de satisfaction des principaux intervenants quant à la qualité des conclusions et des recommandations

Entrevues avec les gestionnaires opérationnels supérieurs du CGFC

Entrevues avec les principaux intervenants (SPC, DG de l'AGFC, SMA des RH militaires)

Système de gestion et de suivi des dossiers

 

 

Élaboration des enjeux et des questions de l'évaluation

Les enjeux de l'évaluation désignent les grands secteurs à examiner dans le cadre d'une évaluation, tandis que les questions de l'évaluation renvoient à des questions plus précises de recherche auxquelles il faut répondre pour être en mesure de traiter de chaque enjeu de l'évaluation.

La détermination des enjeux et des questions de l'évaluation sert à guider l'élaboration de la stratégie qui veillera à ce que tous les enjeux essentiels soient abordés lors de l'évaluation ultérieure. Les enjeux servent à établir une série d'indicateurs et de stratégies de collecte des données qui, une fois mis en œuvre, veilleront à ce que l'information nécessaire pour l'évaluation soit disponible au besoin. Ainsi, la stratégie d'évaluation doit être liée à la stratégie de mesure continue du rendement puisque certaines données d'évaluation seront recueillies par l'entremise des activités continues de mesure du rendement.

Pour savoir comment dresser une liste précise d'enjeux et de questions, veuillez consulter l'annexe E du présent guide. En ce qui a trait aux principaux secteurs visés par les enjeux de l'évaluation, reportez-vous au diagramme qui suit.

 

Questions relatives à l'examen des dépenses

Toutes les évaluations devraient comprendre les sept questions utilisées par le Comité d'examen des dépenses. Outre les trois enjeux traditionnels, les questions dans les secteurs suivants serviront à évaluer les dépenses de programmes :

  • intérêt public
  • rôle du gouvernement
  • fédéralisme
  • partenariat
  • rapport qualité/prix
  • efficacité
  • capacité financière.

Vous trouverez les critères précis à l'annexe D.

 

Établissement des indicateurs appropriés

 

Que sont les indicateurs de rendement?

Ce sont des mesures directes ou indirectes d'une activité ou d'une condition. Un indicateur est un outil de mesure qui montre le changement qui s'opère au fil du temps. Les indicateurs sont souvent quantitatifs (c'est-à-dire fondés sur des chiffres ou de l'information objective), mais peuvent aussi être qualitatifs (c'est-à-dire fondés sur de l'information descriptive ou subjective). Ils servent à comparer les résultats prévus aux résultats réels. Les indicateurs peuvent être envisagés sous différentes formes.

  • Indicateurs substitutifs. Des indicateurs substitutifs sont parfois utilisés pour fournir de l'information sur les résultats dans les cas où aucune information directe n'est disponible. Par exemple, le pourcentage d'affaires confirmées en appel pourrait être un indicateur substitutif de la qualité des décisions.
  • Indicateurs quantitatifs. Les indicateurs quantitatifs sont des mesures statistiques comme le nombre, la fréquence, le centile, les ratios et l'écart. Par exemple, le pourcentage d'utilisateurs de sites Web qui trouvent ce qu'ils cherchent.
  • Indicateurs qualitatifs. Les indicateurs qualitatifs sont des jugements et des mesures de perception de la conformité aux normes établies, de la présence ou de l'absence de conditions particulières, de l'étendue et de la qualité de la participation ou du niveau de satisfaction des bénéficiaires, etc. Par exemple, les opinions quant à la rapidité des services.
  • Indicateurs des extrants et des résultats. Les indicateurs des extrants mesurent les extrants (produits et services), tandis que les indicateurs des résultats mesurent les résultats ou les changements d'un programme.  

 

Le tableau qui suit donne un exemple de divers indicateurs. Veuillez vous reporter à l'annexe E pour savoir comment établir des indicateurs pour votre organisme.

Mesure

Types

Exemples d'indicateurs

Extrants

Quantité produite, offerte, servie

Nombre de clients servis par mois

(Si votre organisme produit des documents d'orientation ou des études de recherche, l'indicateur des extrants pourrait être le nombre de ces éléments ou leur qualité.)

Qualité du service

Respect des normes de prestation des services

Satisfaction des clients

Pourcentage des clients satisfaits du produit et de la prestation des services

Efficience

Coût moyen par unité livrée

Résultats

Immédiats

Nombre de personnes-semaines pour des projets de formation et de placement professionnel achevés

(Si votre extrant est la qualité des documents d'orientation, le résultat immédiat pourrait être « sensibilisation accrue à la politique Â» ou « meilleure intégration des principes stratégiques aux autres programmes et politiques pertinents Â».)

Intermédiaires

Nombre de placements professionnels réussis découlant de projets de formation et de placement professionnel

Ultimes

État de santé coté par les particuliers eux-mêmes en ce qui a trait au bien-être et aux habiletés fonctionnelles

Source : Adaptation de Auto-̩valuation par les Premi̬res Nations de leurs programmes communautaires РGuide d'̩valuation du rendement .

 

Aperçu des conceptions de l'évaluation

 La conception de l'évaluation est un processus de réflexion sur ce que vous voulez faire et comment vous voulez procéder pour le faire.

 

Hexagon: Une bonne conception de recherche : 1) améliore la fiabilité et l'uniformité de vos résultats; 2) élimine ou réduit les distorsions; 3) fournit les réponses dont vous avez besoin.


La manière la plus pratique pour établir la conception de l'évaluation est de prendre en compte vos besoins en information (c'est-à-dire les questions de l'évaluation) et de vous en servir comme guide. Les principaux éléments à prendre en considération sont la faisabilité et le caractère pratique .

Les conceptions de l'évaluation sont habituellement classées dans les trois catégories suivantes :

  • les conceptions expérimentales qui supposent la comparaison de clients et un groupe de contrôle (les personnes sont assignées au hasard. Ce type de conception est rarement utilisé dans le cadre des évaluations au gouvernement fédéral);
  • les conceptions quasi expérimentales qui supposent la comparaison de clients et un groupe de contrôle, mais sans recourir à l'assignation aléatoire des personnes;
  • les conceptions implicites qui supposent la mesure des effets d'un programme après sa mise en œuvre. Les groupes de contrôle et de comparaison ne sont pas utilisés.  

La conception implicite est la forme la plus utilisée de conception des évaluations. À la fonction publique, elle représente souvent la seule forme pouvant être utilisée lorsqu'aucune mesure antérieure au programme n'existe et qu'aucun groupe de contrôle évident n'est disponible, ou qu'il n'est pas raisonnable d'attribuer les interventions de manière aléatoire. Ce genre de conception est souple et sa mise en œuvre est pratique.  

Il convient cependant de signaler qu'il est passablement plus difficile d'attribuer les impacts à des interventions spécifiques lorsque nous passons des conceptions expérimentales (les meilleures au titre de l'attribution des impacts) aux conceptions implicites.

 

  Liste de contrôle pour la sélection d'une conception
de l'évaluation

Facteurs à prendre en considérations

Avez-vous songé aux éléments suivants…?


P

1.  Besoins en information et besoins décisionnels

 

2.  Type d'évaluation

 

3.  Caractère pratique et coûts

 

Bon équilibre entre les besoins en information et les coûts

 

5.  Tenir compte des préoccupations relatives à la recherche (c'est-à-dire liées à la qualité de la preuve à recueillir).

 

6.  Tenir compte du fait que d'autres facteurs internes et externes peuvent influer sur le programme. Comment la conception de l'évaluation peut-elle minimiser ces facteurs?

 

7.  Cibler les questions d'évaluation (c'est-à-dire celles qui tiennent compte des préoccupations d'évaluation les plus urgentes).

 

8.  Considérer les données existantes, les données secondaires et l'information sur la mesure du rendement à titre de sources d'information éventuelles pour l'évaluation.

 

9.  Avoir recours à des sources de données multiples pour assurer la fiabilité des constatations et des conclusions.

 

 
Aperçu des méthodes de collecte des données

 

Le tableau qui suit donne un aperçu des diverses méthodes de collecte des données que peuvent utiliser les évaluateurs. Il convient de signaler que ces méthodes visent des données soit primaires soit secondaires. L'enquêteur recueille directement les données primaires, tandis que les données secondaires sont recueillies et inscrites par une autre personne ou une autre organisation, parfois à des fins différentes.

Au moment de choisir les méthodes appropriées de collecte des données, vous pouvez tenir compte des éléments suivants :

  • les besoins en information et les besoins décisionnels;
  • les utilisations satisfaisantes, le pour et contre des méthodes de collecte des données;
  • les coûts et le caractère pratique de chaque méthode;
  • une approche équilibrée, un habile dosage de méthodes quantitatives et qualitatives.

Veuillez vous reporter à l'annexe E pour en savoir davantage sur le choix des méthodes appropriées de collecte des données.

 

Méthode de collecte de données

Quand l'utiliser

Systèmes et dossiers administratifs externes : utilisation des données recueillies par d'autres institutions ou organismes

Besoin d'information sur le contexte

Besoin d'information chronologique

Comparaison des données de programmes avec des données comparables

Données administratives internes : données recueillies à des fins de gestion

Besoin d'information sur les pratiques de gestion, la prestation des services, les caractéristiques des clients

Revue de littérature : examen des recherches et des évaluations antérieures sur un sujet donné

Pour trouver d'autres questions ou enjeux d'évaluation et des méthodologies

Besoin d'information sur le contexte conceptuel et empirique

Besoin d'information sur un enjeu spécifique

Besoin d'information sur des programmes comparables, des pratiques exemplaires

Entrevues : discussion couvrant un ensemble de sujets ou de questions spécifiques qui est menée pour recueillir de l'information ou des opinions d'un expert, d'un intervenant ou d'un client; elle peut être menée en personne ou au téléphone

Sujet complexe

Répondants importants et occupés

Sujet délicat (entrevues directes)

Approche souple et approfondie

Populations plus restreintes

Groupes de discussion : groupe de personnes réunies pour discuter d'une certaine question; les participants sont guidés par un animateur qui note les échanges et les résultats de la discussion.

Compréhension approfondie requise

Avis pondéré

Mise à l'essai d'idées, de produits ou de services

S'il y a un volume limité de points à aborder

Lorsque le dialogue des participants peut favoriser des réponses plus enrichissantes (les personnes envisagent leurs points de vue en tenant compte de ceux des autres).

Études de cas : façon de recueillir et d'organiser de l'information sur les personnes, les institutions, les activités et les croyances, au sujet d'une situation individuelle.

Besoin d'information détaillée sur un programme ou un projet

Pour étudier à fond les retombées d'un programme

Pour ajouter un caractère délicat au contexte où les interventions du programme se font

Pour déterminer les variables pertinentes qui entrent en jeu

Questionnaire ou sondage : liste de questions sur support papier ou électronique qui est conçue pour recueillir de l'information auprès de répondants et au sujet de leurs connaissances comme de leurs perceptions au sujet d'un programme (reportez-vous à l'annexe E.)

Utiles pour cibler de vastes publics

De l'information qualitative et quantitative peut en être tirée

Panels d'experts : avis réfléchi d'un groupe de personnes averties de l'extérieur

Pour que les experts partagent les leçons apprises et les pratiques exemplaires

Besoin de validation extérieure

Pour obtenir une variété d'opinions au sujet de questions complexes

Besoin de bénéficier d'expertise et de connaissances spécialisées

Études comparatives : gamme d'études comportant la collecte de données comparatives (p. ex., une étude de cohorte, une étude de cas témoin, une étude expérimentale)

Pour des évaluations sommatives

 

Profondeur par rapport à étendue

Certaines méthodes de collecte de données fournissent de l'information d'une plus grande profondeur , tandis que d'autres fournissent de l'information d'une plus grande étendue .

  • Profondeur – compréhension de l'impact du programme sur une personne ou une affaire particulière.
  • Étendue – compréhension de l'impact du programme sur un grand groupe de personnes, mais compréhension moins détaillée.

À titre d'exemple, les études de cas fournissent de l'information en profondeur tandis que les enquêtes fournissent de l'information plus étendue. Chaque type d'information est importante pour une évaluation selon les questions précises posées et l'intégration des diverses méthodes. De nombreux évaluateurs tentent de combiner des méthodes qui fournissent des constatations approfondies et étendues.

 

4.3 Collecte de l'information

4.3.1  Collecte des données

La collecte des données devrait suivre les plans qui ont été élaborés à l'étape précédente. Les employés à qui ont été confiées les diverses tâches de collecte de données doivent avoir reçu une formation approfondie sur les exigences et la procédure connexes.

Des procédures satisfaisantes de contrôle de la qualité doivent être instaurées et maintenues au cours de l'étude d'évaluation. Si vous gérez une évaluation, vous devez être au courant des progrès de la collecte des données et de toute autre préoccupation s'y rapportant.  

Pour faciliter l'analyse, l'information recueillie dans le cadre d'une évaluation doit :

  • recourir aux méthodes adaptées pour organiser et consigner l'information recueillie (par exemple, répartitions de la fréquence, catégories, tableaux);
  • mettre en œuvre des procédures efficaces de contrôle de la qualité pour assurer l'exactitude de l'information consignée, ainsi que l'étiquetage et la protection de l'information originale.

4.3.2  Analyse des données

Les données recueillies doivent être analysées et interprétées. L'analyse peut prendre de nombreuses formes, depuis la description de base jusqu'à l'analyse statistique complexe selon le genre de données et la complexité des enjeux. Veuillez vous reporter à l'annexe E pour en savoir davantage sur la manière d'analyser les données.

Déductions de la cause et de l'effet

Les questions de l'évaluation et la conception de l'évaluation (c'est-à-dire expérimentale ou implicite) influent sur le choix des techniques d'analyse. À titre d'exemple, les conclusions tirées quant à la causalité dépendent de la conception de l'évaluation plutôt que de la technique d'analyse.  

Généralisation des constatations

Le seul moyen valide de généraliser les constatations pour une population entière ou une population cible (lorsqu'il est impossible de sonder ou d'étudier tous les membres) consiste à se servir des constatations provenant d'un échantillon aléatoire et statistiquement représentatif de la population à étudier. Il faut donc faire montre de prudence au moment d'analyser les données d'un échantillon qui n'est pas aléatoire.

Analyse qualitative et quantitative

L'analyse qualitative des données suppose des techniques efficaces de synthèse et d'interprétation. L'information qualitative peut notamment être utilisée pour fournir de l'information contextuelle, expliquer le fonctionnement d'un programme ou cerner les obstacles de la mise en œuvre. Les données qualitatives peuvent être analysées afin de déceler les tendances et les thèmes qui pourraient s'appliquer aux questions de l'évaluation. Le matériel qualitatif peut être présenté en catégories ou en tableaux, ce qui facilite le repérage des tendances, des écarts et des thèmes.  

L'analyse des données quantitatives attribue des valeurs numériques à l'information, qui passent des statistiques descriptives simples (par exemple, fréquence, portée, rang centile, moyenne) à l'analyse statistique plus compliquée (par exemple, test t, analyse des écarts). Des progiciels comme Statistical Package for Social Sciences (SPSS), Minitab et Mystat peuvent être utilisés pour les analyses plus compliquées. L'analyse des données quantitatives suppose elle aussi la maîtrise de techniques d'interprétation. Les constatations quantitatives devraient être prises en compte dans le contexte du programme.  


  Liste de contrôle de l'analyse des données

Facteurs à prendre en considération

P

1.  Comprendre le problème avant d'analyser les données (c'est-à-dire savoir ce qui est mesuré et pourquoi).

 

2.  Comprendre le programme et la manière dont les facteurs contextuels sont interdépendants.

 

3.  Savoir comment les données ont été recueillies et dans quelle mesure elles sont fiables.

 

Faire appel à votre bon sens. Vous demander si l'analyse et l'interprétation semblent satisfaisantes.

 

5.  Essayer de déceler les tendances, les associations et les liens de cause à effet.

 

6.  Recourir aux analyses statistiques, le cas échéant.

 

7.  Constatez-vous des écarts dans ces tendances? Des facteurs peuvent-ils expliquer ces écarts?

 

8.  Comparer les constatations aux résultats prévus (par exemple, les normes de l'industrie).

 

9.  Songer à renforcer vos analyses en combinant des données de l'évaluation aux données sur les risques qui ont été recueillies dans des analyses conjoncturelles périodiques.

 

10. Expliquer la logique de chaque méthode d'analyse (par exemple, préciser ce qui constitue une preuve raisonnable, cerner les hypothèses sous-jacentes).

 

11. Recourir, dans la mesure du possible, à plusieurs méthodes d'analyse.

 

12. Exécuter des épreuves de signification lorsque les constatations sont appliquées à l'ensemble de la population dont l'échantillon a été tiré*.

 

13. Faire preuve de prudence lorsque vous appliquez les résultats de l'évaluation à d'autres situations.

 

*  Lorsqu'il utilise des techniques avancées de collecte des données, l'évaluateur doit calculer la probabilité que les constatations ne soient pas « accidentelles Â». Les épreuves de signification lui permettent de déterminer quelle doit être la solidité des résultats pour qu'il soit raisonnablement certain que les résultats ne sont pas aléatoires.

 

4.4 Rédaction du rapport d'évaluation

 

Un bon rapport d'évaluation répond efficacement aux questions de l'évaluation. Les recommandations et enseignements doivent être concluants, concis et pratiques. Le sommaire devrait résumer le rapport dans son ensemble. Il représente souvent la section la plus lue du rapport et devrait donc contenir assez de détails pour que le lecteur ait une bonne idée des faits saillants de l'évaluation.

4.4.1  Table des matières

Le rapport d'évaluation contient habituellement les sections suivantes :

  • Sommaire;
  • Introduction et contexte;
  • Portée et objectifs de l'évaluation;
  • Approche et méthodologie;
  • Constatations;
  • Conclusions;
  • Recommandations.

4.4.2  Établissement de liens entre les constatations, les conclusions et les recommandations

Il faut établir des liens clairs entre les constatations, l'analyse, les conclusions et les recommandations. Du point de vue pratique, les constatations peuvent ne pas répondre de manière concluante aux questions précises d'évaluation. Les conclusions regroupent les meilleurs éléments de preuve recueillis. La collecte de différents types d'éléments de preuve se rapportant à la même question d'évaluation peut accroître la crédibilité. Les recommandations devraient être liées à l'analyse et aux conclusions.


 

  Liste de contrôle pour la rédaction du rapport d'évaluation

Facteurs à prendre en considération

P

1.  Le public visé et les besoins en information ont-ils été cernés?

 

2.  Le rapport est-il clair et concis?

 

3.  Les motifs de l'exécution de l'évaluation sont-ils logiques et clairs?

 

Le rapport cerne-t-il les questions d'évaluation conformément à la politique d'évaluation (par exemple, pertinence, succès et rentabilité)?

 

5.  Le rapport présente-t-il d'abord les renseignements les plus importants? (Chaque chapitre, sous-section ou alinéa doit commencer par le point principal.)

 

6.  Le contexte est-il bien expliqué?

 

7.  L'approche générale utilisée, les principales sources de données et les méthodes de collecte des données sont-elles décrites?

 

8.  Le rapport explique-t-il clairement les limites de l'évaluation au niveau de sa portée, des méthodes et des conclusions?

 

9.  Les éléments de preuve étayent-ils les constatations, comme le décrit le rapport d'évaluation?

 

10.  Les constatations permettent-elles de bien comprendre les enseignements tirés de l'évaluation?

 

11.  Le rendement réel du programme ou du projet à l'étude est-il bien expliqué?

 

12.  La présentation des résultats facilite-t-elle la prise de décisions éclairées?

 

13.  Le rapport contient-il uniquement les informations nécessaires pour bien comprendre les résultats, les conclusions et les recommandations?

 

1Les conclusions répondent-elles aux questions de l'évaluation et sont-elles étayées par les constatations?

 

15.  Les recommandations sont-elles réalistes et faisables? Le nombre de recommandations est-il limité en fonction de leur importance et de leur valeur?

 

16.  Le rapport présente-t-il les conclusions et les recommandations de manière qu'elles découlent logiquement des résultats de l'évaluation?

 

17.  Le rapport est-il conforme aux exigences externes en matière de rapport?

 

18.  Le rapport évalue-t-il avec exactitude les résultats obtenus?

 

19.  Le rapport contient-il une analyse et une explication pertinentes des risques ayant trait à tout problème important qui a été cerné ainsi qu'aux recommandations clés?

 


Principaux ouvrages de référence

ACDI, Direction générale de l'examen du rendement, Guide de l'évaluation à l'ACDI , 2004.

Société canadienne de l'évaluation, Evaluation Methods Sourcebook , 1991.

National Science Foundation, A User-friendly Guide to Mixed Method Evaluations , 1997.

Projet de Forest Research Extension, Conducting Project and Project Evaluations:  A Primer for Natural Resource Project Managers in British Columbia , 2003.

Gray & Guppy, Successful Surveys: Research Methods and Practice , 2003.

McLaughlin et Jordan, Logic Models: A Tool for Telling Your Program's Performance Story , 1999.

Stufflebeam, D.L., A Checklist Organizer. Guidelines for Choosing and Applying Evaluation Checklists : http://www.wmich.edu/evalctr/checklists/checklistorganizer.htm .

Secrétariat du Conseil du Trésor du Canada, Politique d'évaluation et normes , 2001.

Secrétariat du Conseil du Trésor du Canada, Art et méthode de rédaction de rapports d'évaluation , 2004.

Secrétariat du Conseil du Trésor du Canada, Guide pour l'examen des rapports d'évaluation , janvier 2004. http://www.tbs-sct.gc.ca/cee/tools-outils/grer-gere-fra.asp .

Secrétariat du Conseil du Trésor du Canada, Principes pour l'évaluation des programmes par les ministères et organismes fédéraux , 1984.

Secrétariat du Conseil du Trésor du Canada, Élaboration et utilisation des cadres de gestion et de responsabilisation axés sur les résultats , avril 2004.

Secrétariat du Conseil du Trésor du Canada, Méthodes d'évaluation des programmes : Mesure et attribution des résultats des programmes.

Secrétariat du Conseil du Trésor du Canada, Outil d'apprentissage en ligne de la GAR .




Date de modification :