Politiques d'évaluation des programmes
Secrétariat du Conseil du Trésor du Canada, Politique d’évaluation du gouvernement - 1er avril 2001
Ministère de la Justice Politique d'évaluation des programmes 1er mai 2003
- INTRODUCTION
- OBJECTIF DE LA POLITIQUE
- ÉNONCÉ DE LA POLITIQUE
- ATTRIBUTIONS
- ACCÈS PAR LE PUBLIC
- AUTRES POINTS À CONSIDÉRER
- RÉFÉRENCES
- RENSEIGNEMENTS
- GLOSSAIRE
I. INTRODUCTION
La Politique d’évaluation des programmes du ministère de la Justice est fondée sur les principes de la Politique fédérale d’évaluation (Secrétariat du Conseil du Trésor, 1er avril 2001 ). Conformément au nouveau cadre de gestion du Gouvernement du Canada, Des résultats pour les Canadiens et Canadiennes , cette politique reflète le point de vue selon lequel les gestionnaires de la fonction publique sont appelés à définir les résultats escomptés, à continuellement mettre l’accent sur l’atteinte de ces résultats, à mesurer le rendement de façon régulière et objective ainsi qu’à apprendre et à s’adapter de manière à améliorer l’efficacité.
Qu’est-ce que l’évaluation des programmes et à quoi sert-elle?
L’évaluation des programmes [1] emploie une série d’outils de recherche appliquée qui permettent l’évaluation systématique et objective des éléments de rendement d’une politique ou d’un programme[2]. L'évaluation contribue à la prise de décision stratégique et collective, et aux méthodes d'innovation et de responsabilisation à tous les niveaux. Elle vise à fournir en temps opportun aux gestionnaires et à d'autres intéressés une information utile, crédible et objective sur la pertinence continue des politiques et des programmes fédéraux et ministériels, sur leurs incidences et sur les possibilités d'employer des outils d'intervention différents et plus rentables en matière de politiques et de programmes.
L'évaluation des programmes sert de moyen d’obtenir une rétroaction au sein du processus d'élaboration de politiques. Elle sert à vérifier la réussite ultime des politiques en déterminant si ces dernières ont eu l'effet voulu et, dans la négative, pourquoi? L'évaluation procure aussi un soutien aux décideurs et aux gestionnaires hiérarchiques sur des questions comme l'identification des résultats attendus de politiques et de programmes, l'élaboration de cadres d'évaluation du rendement, la surveillance de la mise en application des programmes et des politiques, les mécanismes de compte rendu et l'établissement de normes de service axées sur le client.
L’évaluation des programmes renseigne par ailleurs à la mi-mandat des programmes (moment où les activités de ceux-ci prennent forme ou bien se déroulent), grâce à l’étude de divers processus notamment la prestation du programme, la qualité de sa mise en œuvre, l’évaluation du contexte organisationnel et les intrants du programme.
L'évaluation des programmes aide à promouvoir un apprentissage organisationnel dans l’administration fédérale, par exemple en communiquant des points de référence applicables à l'utilisation et à la gestion d'instruments de politiques et de mécanismes d'exécution de programmes.
Enfin, l'évaluation en tant qu'un élément de la fonction de contrôleur du Ministère, est dirigée en coopération et coordination avec d'autres processus d'examen, plus spécifiquement la vérification et les examens menés par les gestionnaires.
Le Glossaire des termes à la fin du présent document donne des renseignements plus détaillés sur les composantes et les concepts associés aux processus d’évaluation.
II. OBJECTIF DE LA POLITIQUE
La politique d'évaluation du ministère de la Justice a pour objectif de garantir que le Ministère obtient en temps opportun de l’information crédible, stratégiquement ciblée, objective et fondée sur des résultats en ce qui concerne le rendement de ses politiques et de ses programmes.
III. ÉNONCÉ DE LA POLITIQUE
Le ministère de la Justice veut que ses politiques et programmes majeurs soient :
- conçus de telle sorte qu’ils définissent clairement les résultats escomptés et qu’ils incorporent dès le début des dispositions sur les méthodes saines de mesure du rendement, d’élaboration de rapports et de responsabilisation;
- évalués de façon rigoureuse et objective du point de vue stratégique et de celui de la rentabilité et que ses gestionnaires utilisent les résultats des évaluations afin d'améliorer les politiques et les programmes et de produire des rapports à leur sujet.
Les politiques et les programmes majeurs du Ministère sont ceux qui nécessitent des dépenses importantes ou présentent un degré de risque élevé, ceux pour lesquels le gouvernement ou le ministère ont besoin d'information stratégique ou ceux à l'égard desquels les organismes centraux, le Parlement ou le grand public ont exprimé un intérêt particulier.
IV. ATTRIBUTIONS
i) Le Sous-ministre
Le sous-ministre[3] est responsable de ce qui suit :
- veiller à ce que les politiques et les programmes du Ministère donnent les résultats souhaités;
- nommer et seconder un cadre supérieur chargé d'exécuter les évaluations stratégiques et rentables des programmes conformément aux normes de l’administration fédérale;
- approuver annuellement le plan triennal d'évaluation des programmes;
- approuver la politique ministérielle d’évaluation des programmes et tout changement à y apporter;
- veiller à ce que l'on tienne compte des constatations, des conclusions et des recommandations issues des évaluations des programmes pour prendre des décisions stratégiques concernant les politiques et les programmes et pour rendre des comptes;
- veiller à ce que les rapports d'évaluation soient mis à la disponibilité du grand public avec un minimum de formalités;
- participer aux évaluations menées par les organismes centraux à la demande du Conseil du Trésor et/ou du Cabinet
ii) Comité de la vérification et de l'évaluation
Les membres du Comité de vérification et d'évaluation se réunissent périodiquement pour aider le sous-ministre à assumer ses responsabilités en ce qui concerne la vérification et l'évaluation. Il est à noter que, périodiquement, le président du Comité, à titre de membre du Conseil exécutif, informe ce dernier des activités du Comité de vérification et d’évaluation.
Dans son rôle lié aux activités d’évaluation, le Comité de la vérification et de l’évaluation (CVÉ) est responsable de ce qui suit :
- fournir des conseils visant à aider le sous-ministre à s’acquitter de ses responsabilités en matière d’évaluation des programmes;
- aider à veiller à ce que les rôles et les fonctions d’évaluation des programmes et les responsabilités de tous les membres du personnel chargés de l’évaluation soient communiqués et compris dans l’ensemble du Ministère;
- conseiller le sous-ministre relativement à l’incidence des questions soulevées par les organismes centraux et d’autres organisations gouvernementales relativement à l’évaluation des programmes;
- examiner la politique ministérielle d’évaluation des programmes de façon périodique et recommander des propositions de modifications;
- examiner et recommander l’approbation chaque année du plan triennal d’évaluation des programmes;
- examiner et approuver les rapports d’évaluation comprenant les recommandations et la réponse de la direction à ces recommandations et, si opportun, porter certaines questions à l’attention du sous-ministre ;
- recevoir périodiquement des rapports préparés par la Division de l’évaluation concernant la situation des mesures prises par les gestionnaires en réponse aux rapports d’évaluation et aux problèmes relevés par les gestionnaires dans le cadre de la mise en œuvre des recommandations;
- assurer auprès des Chefs de Secteurs le suivi des plans d’action quand des questions graves l’exigent ;
- informer périodiquement le Conseil exécutif de ses activités et lui présenter le plan triennal d’évaluation des programmes pour examen et ratification.
iii) Responsables de secteur et gestionnaires de programme et de politique
Les responsables de secteur et les gestionnaires de programme et de politique ont les attributions suivantes :
- veiller à ce que les résultats attendus des nouvelles politiques et des nouveaux programmes soient définis en des termes qui se prêtent à une évaluation subséquente (en consultation avec la Division de l’évaluation)[4];
- surveiller le rendement de leurs programmes et de leurs opérations;
- démontrer le rendement des programmes et donner suite à l'information relative au rendement;
- veiller à ce que les évaluateurs (personnel à contrat compris) aient accès à toutes les données ministérielles qu’elles ou ils considèrent comme indispensables pour mener à bien l’évaluation et interroger les fonctionnaires du ministère en vue d’obtenir les données requises, dans la mesure autorisée par les lois et la politique fédérale ;
- préparer des cadres de gestion et de responsabilisation axés sur les résultats (CGRR) qui permettent de mesurer les résultats et d’en rendre compte, pour répondre à la nécessité de fournir des ressources par l’entremise de paiements de transfert et, sur demande, pour répondre aux besoins du Conseil du Trésor (gestionnaires des programmes et des politiques en consultation avec la Division de l’évaluation);
- approuver des cadres de gestion et de responsabilisation axés sur les résultats qui permettent de mesurer les résultats et d’en rendre compte de façon appropriée, pour répondre à la nécessité de fournir des ressources par l’entremise de paiements de transfert et, sur demande, pour répondre aux besoins du Conseil du Trésor (responsables de Secteur);
- présenter la réponse de la direction à la Division de l'évaluation dans les 45 jours ouvrables suivant la réception du rapport d'évaluation final et des recommandations. La réponse de la direction doit porter sur chacune des recommandations contenues dans le rapport d'évaluation;
- comparaître devant le Comité de vérification et d’évaluation pour présenter et discuter les réponses que les gestionnaires apportent aux recommandations ;
- préparer, au besoin, un plan de communication en vue de répondre à toute préoccupation pouvant découler du rapport d’évaluation;
- veiller à la mise en œuvre des recommandations approuvées par le Comité de la vérification et de l’évaluation.
iv) Directeur[5] et personnel de la Division de l'évaluation
La Division de l’évaluation est responsable de ce qui suit :
- mener des évaluation objectives et fournir au sous-ministre et à la haute direction des conseils et des recommandations sur la pertinence continue des principaux programmes et des principales politiques du ministère de la Justice (évaluations sommatives), sur la mesure dans laquelle ils atteignent leurs objectifs, sur leur rentabilité et sur l’efficacité des systèmes, des processus et des méthodes de gestion (évaluation de la mise en œuvre);
- recommander des mesures afin d'améliorer les politiques et les programmes du Ministère et d'accroître la responsabilisation des gestionnaires face au rendement des programmes;
- communiquer les constatations, conclusions et recommandations pertinentes et utiles de l'évaluation aux gestionnaires de programmes, à la haute direction, au Comité de la vérification et de l'évaluation et au sous-ministre en temps opportun et d'une façon claire et équilibrée;
- informer régulièrement le Comité de la vérification et de l’évaluation au sujet de l’élaboration et de l’approbation des cadres de gestion et de responsabilisation axés sur les résultats;
- travailler en collaboration avec les gestionnaires en vue de les aider à améliorer la conception, la mise en œuvre et la mesure du rendement des politiques et des programmes du Ministère, et ce, en fournissant des conseils et un appui (et en assurant la gestion du processus au besoin) relativement à l’élaboration de cadres de gestion et de responsabilisation axés sur les résultats;
- assurer la cohérence de l’élaboration de cadres de gestion et de responsabilisation axés sur les résultats dans l’ensemble des programmes;
- fournir un appui méthodologique et de la formation en ce qui concerne l’élaboration d’outils d’intervention et de méthodes de mesure du rendement;
- présenter chaque année au Comité de vérification et d’évaluation des ébauches de plans d’évaluation annuels et triennaux;
- faire parvenir des copies de tous les rapports d'évaluation au Secrétariat du Conseil du Trésor;
- présenter au Comité de vérification et d’évaluation des rapports périodiques concernant la situation des mesures prises par les gestionnaires en réponse aux rapports d’évaluation et aux problèmes relevés par les gestionnaires dans le cadre de la mise en œuvre des recommandations;
- informer les gestionnaires des programmes et des politiques du moment où les rapports approuvés seront affichés sur Internet, et leur accorder suffisamment de temps pour préparer un plan de communications;
- afficher les rapports approuvés sur les sites intranet et internet du ministère.
V. ACCÈS PAR LE PUBLIC
Une fois qu’ils sont terminés et approuvés, tous les rapports sont affichés sur les sites internet et intranet du ministère de la Justice dans les deux langues officielles, et ce, dans les 60 jours ouvrables suivant l’approbation du Comité de vérification et d’évaluation. Le public peut également avoir accès aux rapports conformément à la Politique d’examen du Conseil du Trésor, à la Loi sur l’accès à l’information et à la Loi sur la protection des renseignements personnels.
VI. AUTRES POINTS À CONSIDÉRER
Lorsque l’on détermine la méthode d’évaluation et, plus particulièrement lorsque l’on prépare les questions pour l’évaluation de tout programme ou toute politique du Ministère, une attention spéciale est accordée à la pertinence et à l’inclusion des questions visant à examiner les répercussions différentielles des programmes et des politiques sur les groupes d’équité en matière d’emploi, les groupes linguistiques, les groupes touchés par le sexisme et tout autre groupe visé par la diversité.
VII. RÉFÉRENCES
- Politique du Conseil du Trésor sur la vérification interne (avril 2001)
- Politique d’évaluation du Conseil du Trésor (avril 2001)
- Politique du Conseil du Trésor sur les paiements de transfert (juin 2000)
- Loi sur l’accès à l’information
- Loi sur la protection des renseignements personnels
- Résultats pour les Canadiens et les Canadiennes : un cadre de gestion pour le gouvernement du Canada (mars 2000)
- Loi sur les langues officielles
- Loi sur l’équité en matière d’emploi
- Les politiques se retrouvent sur le site Internet du Conseil du Trésor
VIII. RENSEIGNEMENTS
Toute demande de renseignements au sujet de la présente politique doit être acheminé à :
Directeur, Division de l’évaluation
Section de l’intégration et de la coordination de la politique
Secteur des politiques
GLOSSAIRE
- Activité
- Action ou démarche exécutée à l’interne par une organisation et destinée à produire des extrants précis (p. ex., des produits ou services). Les activités font partie du premier chaînon de la progression vers l'atteinte des résultats.
- But
- Vaste énoncé de haut niveau qui précisent en termes généraux les résultats désirés à atteindre au cours d’une période indéterminée. Un but devrait être le reflet de la «mission» d’une organisation.
- Modèle logique
- Illustration de la « théorie » du programme ou des « mesures » prises dans le cadre de celui-ci. Il s’agit d’un enchaînement logique de relations prémisse-conclusion; l’énoncé « si x se produit, alors y se produira » montre les liens entre les activités au moyen de l'enchaînement des résultats .
- Mission
- Énoncé des activités, de l’objet et de la raison d’être d’une organisation – éléments critiques dans le cadre desquels les buts, les objectifs et les normes devraient être établis.
- Objectif
- Énoncé des résultats précis à atteindre au cours d’une période donnée. Les objectifs sont généralement de niveau inférieur et à plus court terme que les buts.
- Résultat
- Incidence des extrants d’un programme sur un client ou des groupes visés. En d’autres termes, les résultats sont les changements qu’un programme ou une politique compte apporter. Les résultats mettent l’accent sur ce que le programme ou la politique permet de réaliser plutôt que ce sur ce qu’il(elle) fait (c’est-à -dire les résultats escomptés de l’initiative, et non pas le processus pour y arriver). Ils peuvent être définis comme immédiats, intermédiaires ou finaux, directs ou indirects, escomptés ou inattendus.
- Extrant
- Unité de services ou de produits offerts, de personnes desservies par un programme ou une politique ou nombre de produits et de services exécutés.
- Mesure du rendement
- assurer le suivi du rendement d’un programme par rapport aux buts fixés sur une période donnée, afin de produire une évaluation du rendement du programme, notamment des mesures de la productivité, de l’efficacité, de la qualité et du caractère opportun. La mesure du rendement peut contribuer à fournir des perspectives objectives en vue de défendre ou d’élargir un programme, plutôt que de permettre qu’il fasse l’objet de décisions relativement arbitraires ou habituelles. Des systèmes de suivi continu, qui mettent l’accent sur les indicateurs et l’analyse associés à l’amélioration, peuvent contribuer à assurer le suivi des résultats et à les améliorer avec le temps, et peuvent également s’avérer une précieuse source d’information dans le cadre du processus officiel d’évaluation.
- Évaluation des programmes
- Emploie une série d’outils de recherche appliquée qui permettent l’évaluation systématique et objective des éléments de rendement d’un programme. Elle vise à fournir en temps opportun aux gestionnaires et à d'autres intéressés une information utile, crédible et objective sur la pertinence continue des politiques et des programmes fédéraux et ministériels, sur leurs incidences et sur les possibilités d'employer des outils d'intervention différents et plus rentables en matière de politiques et de programmes. Selon le moment de l’évaluation, celle-ci peut prendre l’un des formes suivantes :
- une évaluation formative, évaluation de la mise en œuvre ou évaluation à mi-mandat, qui permet de recueillir de l’information à mi-parcours de l’application d’un programme au moyen de l’examen des méthodes d’exécution du programme, de la qualité de sa mise en œuvre et de l’évaluation du contexte organisationnel, des procédures relatives au personnel et des opinions de celui-ci;
- une évaluation sommative ou évaluation d’incidence qui détermine l’incidence globale d’un programme en examinant les répercussions ou les résultats des programmes.
- Les évaluations mettent l’accent sur trois préoccupations principales :
-
- la question de la pertinence, ou plus précisément, déterminer si les instruments des programmes ou des politiques, continuent ou non de répondre à des priorités stratégiques et à des besoins réels; c’est-à -dire la mesure dans laquelle les objectifs et le mandat du programme ou de la politique sont encore pertinents et dans laquelle les activités et les extrants d’un programme ou d’une politique sont conformes au mandat et sont liés de façon plausible à la réalisation des objectifs établis et à l’atteinte des résultats escomptés;
- la question de la réussite, notamment la mesure dans laquelle les instruments du programme ou de la politique répondent aux objectifs établis (p. ex., répercussions), et ce, sans répercussions injustifiées ou indésirables;
- la question de la rentabilité, c’est-à -dire déterminer si les moyens les plus efficaces sont utilisés pour atteindre les objectifs relatifs aux mesures de rechange, et déterminer également si un autre palier d’administration pourrait assumer la responsabilité de la politique ou du programme.
Processus d’évaluation des programmes
le Processus d’évaluation des programmes Comporte quatre étapes:
- planification et conception
- collecte et analyse des données
- établissement des rapports
- suivi
Étape 1 : Planification
L’étape de la planification consiste à élaborer des plans relatifs à l’approche à adopter vis-à -vis de l’évaluation de programmes ou de politiques, nouveaux ou sensiblement modifiés. L’étape de la planification comprend une série de consultations intensives auprès des gestionnaires de programmes, des clients et de d’autres intervenants intéressés. Il est important que les consultations soient tenues au début d’un nouveau projet ou le plus tôt possible dans le cadre de l’élaboration d’un projet afin de s’assurer que les objectifs sont énoncés d’une façon qui permet l’identification rapide des indicateurs de rendement et la collecte systématique de l’information sur le rendement nécessaire à l’apprentissage organisationnel et à la prise de décisions par la direction. Dans le cadre de l’étape de la planification, les responsables de l’évaluation entreprennent une analyse des données disponibles afin de déterminer la mesure dans laquelle une série de questions peuvent être abordées à partir des données existantes et la nécessité de recueillir de nouvelles données. L’étape de la planification se termine par l’établissement d’un document sur le cadre de gestion et de responsabilisation axé sur les résultats (CGRR) (ou encore d’un cadre d’évaluation ou d’un plan d’évaluation).
Étape 2 : Collecte et analyse des données
L’étape de la collecte et de l’analyse des données vise le véritable travail sur le terrain relatif à l’achèvement du projet d’évaluation, ainsi que l’analyse des conclusions tirées des différentes sources, y compris le suivi des mesures continues du rendement. Pour les projets plus complexes, l’étape de la collecte et de l’analyse des données peut s’étirer sur plus d’un exercice financier.
Étape 3 : Établissement des rapports
L’étape de l’établissement des rapports consiste à rendre compte des résultats de l’évaluation au sous-ministre, aux gestionnaires ministériels, aux organismes centraux, au Parlement, et finalement, au grand public.
Étape 4 : Suivi
Les activités de suivi comprennent la formulation de recommandations de modifications où il est justifié dans les quatre domaines susmentionnés. Le gestionnaire du domaine de programme évalué doit préparer une réponse de la direction. La Division de l’évaluation est disponible pour aider les gestionnaires des programmes à préparer des plans d’action dans le cadre de leur réponse de la direction en vue d’améliorer toute question non réglée fondée sur les résultats de l’évaluation. Ce service de suivi de l’évaluation peut également inclure une aide pour assurer le suivi de la mise en œuvre du plan d’action.
Cadre de gestion et de responsabilisation axé sur les résultats (CGRR)
Plan détaillé visant à aider les gestionnaires à mesurer les résultats durant le cycle de vie d’une politique ou d’un programme et à en faire rapport. Les CGRR sont une exigence de la Politique du Conseil du Trésor sur les paiements de transfert (http://www.tbs-sct.gc.ca/Pubs_pol/dcgpubs/TBM_142/ptp_f.html) et sont généralement exigés par le Conseil du Trésor (CT) dans le cadre du processus d’approbation de programmes qui sont nouveaux ou renouvelés. La politique du CT sur l’évaluation requière également l’élaboration d’un CGRR lorsqu’il facilite la mesure du rendement et la reddition de comptes. Les CGRR comprennent habituellement :
- un énoncé précis des rôles et des responsabilités des principaux partenaires qui participent à la mise en œuvre de la politique ou du programme;
- une description claire des ressources à appliquer et des objectifs, des activités, des extrants et des principaux résultats à atteindre, ainsi que des liens existant entre eux (voir le Glossaire pour obtenir une description de chacun de ces termes);
- un énoncé de la stratégie de mesure du rendement, notamment les coûts et l’information sur le rendement (principaux indicateurs) dont on assurera le suivi;
- le calendrier des principaux travaux d’évaluation à effectuer;
- un énoncé des dispositions relatives à l’établissement des rapports à l’intention des bénéficiaires de financement, et des dispositions pour le Ministère.
Le CGRR est un outil utile pour gérer les politiques ou les programmes importants, qu’ils soient élaborés conformément à une exigence fédérale « officielle » ou non. Cependant, lorsqu’un CGRR n’est pas précisément exigé par le CT et que le gestionnaire souhaite néanmoins avoir un cadre pour l’aider dans l’évaluation d’un programme ou d’une politique, cet outil est parfois appelé un cadre d’évaluation ou un plan d’évaluation. Ces termes sont essentiellement équivalents à un CGRR, mais les composantes bénéficient d’un peu plus de souplesse (parce qu’elles ne sont pas exigées par le CT).
- [1] Les termes « évaluation de programme » et « évaluation » sont employés ici indifféremment.
- [2] Le terme « programme » renvoie et comprend ici le terme « initiative ».
- [3] Dans la politique d’évaluation du Conseil du Trésor, ces responsabilités sont confiées au sous-ministre. Cependant, celui-ci peut déléguer ces responsabilités au Comité de la vérification et de l’évaluation.
- [4] Le personnel de la Section de l'évaluation participe systématiquement au processus d’élaboration des politiques et programmes dès les premières étapes pour faire en sorte que les résultats attendus des politiques soient définis en des termes qui se prêtent à une évaluation subséquente.
- [5] Le directeur de l’éEvaluation des programmes relève par voie hiérarchique du directeur général de la Section de l’intégration et de la coordination des politiques, Secteur des politiques, mais rend également compte de ses activités au sous-ministre, en vertu d’un lien fonctionnel.
- Date de modification :