Guide d’évaluation des petits organismes

• Page précédente
• Table des matières
• Texte complet
• Page suivante

Cinquième section : Gestion des évaluations

5.1 Moment opportun pour utiliser les ressources externes

La présente sous-section décrit les lignes directrices permettant de déterminer le moment opportun pour utiliser les ressources externes. Les deux questions fondamentales qui suivent doivent être posées afin de déterminer quand doit-on recourir à des ressources externes dans le cadre d'un projet d'évaluation :

Le premier facteur se rapporte à la disponibilité des ressources internes en évaluation. L'organisme qui ne possède pas l'expérience ou les connaissances précises requises pourrait vouloir sous-traiter le volet de l'évaluation en question. Il pourrait alors être utile d'établir le contrat de sorte qu'un certain degré de connaissances soit transféré à l'organisme. Par ailleurs, les ressources de l'organisme pourraient être insuffisantes pour la tenue d'activités telles que des sondages téléphoniques. Enfin, l'organisme pourrait tout simplement ne pas disposer des ressources internes qui lui permettraient d'exécuter le projet d'évaluation et devrait recourir à des ressources externes.

En ce qui a trait au second facteur, l'organisme se doit d'examiner l'utilisation et l'auditoire prévus du rapport ainsi que le risque associé au recours à des ressources internes par opposition aux ressources externes. La participation des employés à certaines tâches d'évaluation pourrait fausser les résultats (par exemple, groupes de discussion, administration d'une enquête sur la satisfaction des clients). Dans le cas de ces tâches particulières, l'organisme pourrait vouloir mettre à profit des ressources externes. Pour les programmes controversés à l'égard desquels le rapport servira d'outil de reddition de comptes au public, le recours à des ressources externes pourrait atténuer les risques.

Source :  Adaptation de Who Should Conduct Your Evaluation? http://www.bja.evaluationwebsite.org/guide/documents/chapter_3_housing.htm

Si vous avez répondu « oui Â» à la question 1 et « non Â» à toutes les autres questions, vous aurez alors vraisemblablement besoin d'aide de l'extérieur pour mener votre évaluation. Si vous avez répondu « non Â» à la question 1 et « oui Â» à la plupart des autres questions, il pourrait alors être valable de mener l'évaluation à l'interne.  

5.2  Préparation de l'évaluation

La présente sous-section décrit deux étapes importantes pour la préparation d'une évaluation, c'est-à-dire :

• l'établissement des rôles et les responsabilités;
• la préparation du mandat.

5.2.1  Rôles et responsabilités

Coordonnateur du projet

Vous devez décider qui sera le coordonnateur du projet avant de commencer l'évaluation. Si ce dernier doit gérer le travail d'un expert-conseil de l'extérieur, il devra bien connaître le projet, comprendre les fondements de l'évaluation et posséder de bonnes techniques de gestion de projet.  

Comité consultatif

Vous pouvez également devoir former un comité consultatif, composé de représentants de l'organisme et d'autres intervenants, qui s'intéressent au projet ou à l'organisation soumise à l'examen. Il convient cependant de signaler que, dans le cas d'un petit organisme, la formation d'un comité consultatif chaque fois que le besoin se fait sentir peut mobiliser des ressources très importantes. Il faut donc peser avec beaucoup de soin la nécessité de former un tel comité. Le cas échéant, le petit organisme peut vouloir songer à confier une capacité de consultation aux équipes de travail existantes.

Comité directeur

Le comité directeur est habituellement composé de gestionnaires supérieurs et peut comprendre des représentants d'organismes centraux et, le cas échéant, des représentants régionaux. Si vous désirez attribuer des pouvoirs décisionnels au comité consultatif (c'est-à-dire le dernier mot sur les produits à livrer de l'évaluation), vous devriez alors songer à mettre en place un comité directeur.

5.2.2 Préparation du mandat de l'évaluation

Le mandat donne un aperçu de l'évaluation et rend explicites les exigences et les attentes initiales de la direction en ce qui a trait à l'évaluation. Il est un outil utile pour la haute direction parce qu'il guide le processus jusqu'à ce que le plan de travail de l'évaluation devienne le document principal.

Le mandat sert de nombreuses fins :

• obtenir l'engagement des gestionnaires supérieurs et veiller à ce que l'évaluation tienne compte de leurs exigences;
• aider à gérer l'évaluation;
• obtenir l'engagement des membres nécessaires parmi les intervenants;
• élaborer le plan de travail de l'évaluation.

Lorsque vous préparerez le mandat, vous pourriez tenir compte des éléments suivants :

• les motifs de l'évaluation;
• les enjeux à aborder;
• les ressources disponibles pour la tenue de l'évaluation;
• les coûts prévus;
• l'expertise requise pour exécuter l'évaluation;
• le calendrier d'achèvement.

Le mandat sert de fondement à la prochaine étape du processus, à savoir le choix de l'évaluateur ou de l'équipe d'évaluation. Les évaluateurs sont choisis au moyen d'un procédé contractuel établi.  

La passation d'un marché externe pour le choix d'une équipe d'évaluation suppose les quatre étapes suivantes :

Les soumissionnaires ont souvent des questions à poser à propos du mandat. Vous devriez nommer une personne-ressource chargée de coordonner la réponse à ces questions. Vous devez également vous assurer de fournir la même information à tous les candidats et que vous ne dévoilez pas l'origine de la question. Pour ce faire, vous pourriez envoyer les réponses par télécopieur ou courriel à tous les soumissionnaires éventuels.

Lignes directrices relatives à la budgétisation

La budgétisation de l'évaluation devrait faire partie intégrante de la planification initiale. Il importe d'indiquer dans le mandat un montant ou une fourchette se rapportant au budget. Vous aurez ainsi la possibilité de juger des propositions qui présentent la meilleure valeur.

La budgétisation suppose la répartition de l'évaluation en composantes ou tâches ainsi que l'établissement de prévisions pour chaque composante. Vous pourriez envisager les coûts en fonction du personnel d'évaluation, des experts-conseils, des déplacements, des communications, de l'impression et de la photocopie, des fournitures et du matériel ainsi que de la traduction et de la révision.

Optimisation des ressources pour l'évaluation

Les petits organismes peuvent augmenter leurs ressources restreintes en optimisant leurs besoins et leurs ressources. Toutes les stratégies ne s'appliquent pas forcément à votre organisme, mais les suggestions suivantes pourraient vous être utiles.

• Regrouper le plus possible les nombreux exercices de collecte et d'analyse de données externes et internes pour éviter la redondance et réaliser des économies d'échelle.
• Demander des fonds supplémentaires aux fonctions des organismes centraux qui veulent que les activités soient liées à des enjeux ou des groupes spéciaux (par exemple, enjeux touchant les femmes ou projets pilotes de l'amélioration des services et du Gouvernement en direct).
• Effectuer le travail d'évaluation de concert avec d'autres organismes touchés par les mêmes enjeux ou initiatives.
• Utiliser des équipes de projet composées de ressources en détachement, y compris celles provenant de groupes de clients ou de partenaires provinciaux.
• Collaborer avec les organismes partenaires afin de préqualifier des experts-conseils qui formeront un bassin de ressources chevronnées, ce qui réduira les fardeaux administratifs de la passation de marchés et assurera la qualité et l'utilité des produits.

Préparation de l'énoncé des travaux

 L'énoncé des travaux représente le principal document entre le gestionnaire et l'expert-conseil. Ce dernier donne suite à ce document en élaborant un plan de travail qui décrit l'objet et les objectifs de l'étude, l'approche, les méthodes de collecte des données et les tâches. Si un CGRR ou un cadre d'évaluation doit être préparé, il peut servir de guide pour la préparation de l'énoncé des travaux. Vous vous souviendrez que le CGRR décrit les sources d'information et les méthodes de collecte des données pour chacune des questions de l'évaluation.

Une des principales décisions à prendre porte sur le niveau de précision que vous voulez indiquer dans la présente section. Vous pouvez choisir un énoncé des travaux moins détaillé et laisser au candidat le soin de proposer des approches et des méthodologies particulières. Il est cependant utile de préparer un énoncé des travaux détaillé puisque vous donnez ainsi une meilleure idée de vos attentes aux candidats. Il importe également de se rappeler que les candidats peuvent proposer d'apporter des changements à l'approche et aux méthodes. Il est utile de demander aux candidats de fournir un exposé sur les défis et solutions éventuels en matière de méthodologie, ce qui peut vous aider à évaluer l'expertise des candidats et contribuera à renforcer le plan de travail proposé.

5.3  Options en matière de passation de marchés

Si vous décidez de recourir à des ressources externes, vous devrez alors envisager les options en matière de passation de marchés. Vous pouvez consulter à ce sujet la Politique sur les marchés sur le site Web du SCT à l'adresse :
http://www.tbs-sct.gc.ca/pubs_pol/dcgpubs/Contracting/contracti n gpol_2_f.asp

Voici quelques-unes des options possibles :

• Offre à commandes du SCT pour les services en évaluation aux petits organismes (en cours de préparation au moment de l'impression).
• Appels de propositions sur le MERX – le service d'appels d'offres électroniques officiel du Canada.
• Appels d'offres sélectifs – l'exigence de demander des soumissions peut être mise de côté lorsque le coût total du contrat (y compris la TPS) ne dépasse par 25 000 $. En pareils cas, lorsqu'un procédé concurrentiel complet ne serait pas vraiment rentable, il est possible de recourir à des appels d'offres sélectifs. Pour ce faire, au moins trois entreprises à partir d'une liste de sources sont invitées à présenter une soumission. Cette façon de procéder est utile lorsqu'il s'agit d'optimiser les ressources et de donner accès en concurrence aux marchés publics. Où pouvez-vous trouver des sources? Songez à la mémoire corporative de la direction et au répertoire des entrepreneurs ainsi qu'à la mémoire corporative de l'autorité contractante, au répertoire et aux listes abrégées obtenus d'autres ministères et organismes. Dans un tel cas, il n'est pas nécessaire de diffuser une demande de proposition (DP).
• Fournisseur unique – utilisé lorsqu'une seule personne ou une seule entreprise peut effectuer le travail.
• Offre à commandes – peut être utilisée pour les services de nature répétitive.

Il faudrait remarquer que le Règlement sur les contrats du gouvernement contient uniquement quatre exceptions qui permettent à l'autorité contractante de mettre de côté l'exigence de soumissionner.

Nota : Vous pourriez choisir de retenir les services de Conseils et Vérification Canada (CVC). Dans le cas des organismes du gouvernement fédéral, un protocole d'entente plutôt qu'un marché est conclu. Les règles sur la passation des marchés du gouvernement fédéral ne s'appliquent pas lorsque cette option est retenue.

5.4 Choix des experts-conseils

Le mandat sert de fondement pour le choix de l'expert-conseil. Il est important d'élaborer les critères de sélection au cours des étapes de la planification (avant d'émettre la demande de proposition).

Exigences obligatoires et cotées

Les critères qui ont été retenus pour sélectionner la proposition devraient tenir compte des exigences du projet particulier. Habituellement, la demande de propositions contient une série d'exigences obligatoires et cotées. Seules les propositions respectant les exigences obligatoires qui ont été énoncées dans la demande de proposition seront étudiées. Les exigences obligatoires établissent les exigences minimales à respecter pour qu'une soumission puisse être étudiée. L'évaluation des exigences est simple : elles sont respectées ou elles ne le sont pas. Le libellé des exigences contient des termes clairs et forts comme « doit Â» et « devra Â». Lorsque vous utilisez des exigences obligatoires, vous devez indiquer clairement dans la demande de proposition que les soumissions qui ne respectent pas un des critères obligatoires seront réputées non conformes et rejetées.

Les propositions respectant les exigences obligatoires peuvent être cotées en regard d'autres critères et être tenues d'atteindre une cote minimale au titre des exigences cotées pour que leur examen se poursuive (par exemple, au moins 70 points sur 100 pour passer à la prochaine étape du processus d'évaluation). Chaque critère doit être associé à des critères de cotation (qui servent de fondement à la cotation). Les entrepreneurs peuvent être priés de fournir des preuves de leur capacité de satisfaire à un critère donné (par exemple, curriculum vitæ).

Lorsque vous établissez les exigences cotées à inclure dans votre demande de proposition, vous pourriez tenir compte des facteurs les plus importants qui influeront sur la qualité du travail à exécuter (par exemple, expertise en la matière, expérience de la méthodologie, titres universitaires).

Les échelles de cotation quantitatives représentent un outil décisionnel utile. Toutefois, vous devez les établir avec beaucoup de soin et les pondérer afin de vous assurer de choisir le bon expert-conseil. La cote attribuée à chaque critère devrait tenir compte de son importance.

5.4.1  Méthodes de sélection

Les méthodes qui suivent sont le plus souvent utilisées pour évaluer les proposition. La méthode retenue doit être expliquée dans la demande de proposition.

5.4.2 Critères à prendre en considération lors de l'examen des propositions

Lorsque vous examinez la proposition, vous devez vous poser la question suivante : L'évaluateur a-t-il montré qu'il avait la capacité de fournir les résultats et de respecter les attentes? D'autres critères sont énumérés dans la liste de contrôle qui suit.

5.5  Pratiques exemplaires en matière de gestion des experts-conseils

Le succès d'un projet repose d'abord sur l'établissement d'attentes claires. La présente sous-section traite des pratiques exemplaires au chapitre de la portée du travail, de la gestion du projet et du suivi.  

La liste de contrôle qui suit donne un aperçu du processus de gestion depuis les étapes initiales jusqu'à la présentation du rapport sur les constatations.

5.5.1  Définition de la portée du travail

La première réunion de planification ou la réunion initiale de démarrage est essentielle pour clarifier les attentes et le plan de travail de l'évaluation. Le gestionnaire de projet devrait également s'assurer que l'expert-conseil possède toute l'information dont il a besoin pour s'acquitter du projet, à savoir les documents pertinents et les coordonnées de la personne-ressource.  

Lors de la réunion de démarrage, vous devriez prendre les mesures suivantes :

• vous assurer que le ou les évaluateurs ont entièrement accès aux dossiers, rapports, publications et autres renseignements pertinents;
• vous assurer de l'existence de soutien administratif et logistique suffisant tout au long de l'évaluation;
• établir les attentes en matière de gestion de projet et de communication de l'information (fréquence et format, c'est-à-dire par écrit ou oralement);
• indiquer les principaux enjeux et les priorités.

5.5.2  Préparation du plan de travail

Le plan de travail de l'évaluation ou le rapport sur la méthodologie sera vraisemblablement le premier produit à livrer que fournira l'expert-conseil. Le plan de travail devrait décrire clairement ce que l'équipe d'évaluation doit faire, ainsi que où, quand, comment et pourquoi elle doit le faire. Le plan de travail approfondit la proposition et l'énoncé des travaux. Certains changements au premier projet de plan de travail peuvent être proposés compte tenu de la nouvelle information disponible ou d'autres éléments à prendre en considération.

Voici quelques éléments principaux du plan de travail :

• contexte du projet;
• description détaillée de la méthodologie proposée;
• calendrier de travail précis;
• mécanismes de collecte des données (par exemple, guide des entrevues, questions de l'enquête).

5.5.3  Surveillance des opérations quotidiennes des experts-conseils

Les liens qui unissent l'expert-conseil et le gestionnaire de l'évaluation sont des liens de partenariat en ce sens que vous apportez l'expertise en la matière et qu'il apporte l'expertise en évaluation. Toutefois, le rôle principal du gestionnaire de l'évaluation est de veiller à ce que l'expert-conseil suive le plan de travail convenu et fournisse du travail de qualité satisfaisante. Le gestionnaire de l'évaluation doit traiter en outre des questions que l'expert-conseil peut soulever lorsqu'il prépare et met en œuvre le plan de travail. Bien qu'il n'existe pas de stratégie idéale pour gérer les experts-conseils, la liste de contrôle qui suit présente quelques facteurs utiles à prendre en considération.

5.5.Gestion des suivis

Dans les trois à six mois qui suivront l'achèvement du rapport d'évaluation, il se peut que vous vous soyez fait une meilleure idée de l'utilité de l'évaluation. Vous pourriez envisager la possibilité de donner une rétroaction à l'évaluateur quant à l'utilité de l'évaluation. Cette information permet de renforcer la capacité de l'évaluateur et profite à l'organisme, car elle améliore le bassin de ressources disponibles.

Principaux ouvrages de référence

Société canadienne de l'évaluation, Evaluation Methods Sourcebook , 1991.

Secrétariat du Conseil de gestion financière, T.N.-O., Working Well With Consultants , 
http://www.gov.nt.ca/FMBS/documents/dox/Consultant%20Guide.pdf .  

DRHC, Les outils de l'évaluation, Guide de passation de marchés pour les études d'évaluation de DRHC , 1999.

Secrétariat du Conseil du Trésor du Canada, Politiques sur l'adjudication des marchés du SCT , 2003.

FNUP, Bureau des services de contrôle interne et d'évaluation, Planification et gestion des évaluations , 
http://www.unfpa.org/monitoring/toolkit/tool5_4.doc.  

• Page précédente
• Table des matières
• Texte complet
• Page suivante