Politiques d'évaluation des programmes

Secrétariat du Conseil du Trésor du Canada, Politique d’évaluation du gouvernement - 1er avril 2001

Ministère de la Justice Politique d'évaluation des programmes 1er mai 2003

  1. INTRODUCTION
  2. OBJECTIF DE LA POLITIQUE
  3. ÉNONCÉ DE LA POLITIQUE
  4. ATTRIBUTIONS
  5. ACCÈS PAR LE PUBLIC
  6. AUTRES POINTS À CONSIDÉRER
  7. RÉFÉRENCES
  8. RENSEIGNEMENTS
  9. GLOSSAIRE

I. INTRODUCTION

La Politique d’évaluation des programmes du ministère de la Justice est fondée sur les principes de la Politique fédérale d’évaluation (Secrétariat du Conseil du Trésor, 1er avril 2001 ). Conformément au nouveau cadre de gestion du Gouvernement du Canada, Des résultats pour les Canadiens et Canadiennes , cette politique reflète le point de vue selon lequel les gestionnaires de la fonction publique sont appelés à définir les résultats escomptés, à continuellement mettre l’accent sur l’atteinte de ces résultats, à mesurer le rendement de façon régulière et objective ainsi qu’à apprendre et à s’adapter de manière à améliorer l’efficacité. 

Qu’est-ce que l’évaluation des programmes et à quoi sert-elle?

L’évaluation des programmes [1] emploie une série d’outils de recherche appliquée qui permettent l’évaluation systématique et objective des éléments de rendement d’une politique ou d’un programme[2]. L'évaluation contribue à la prise de décision stratégique et collective, et aux méthodes d'innovation et de responsabilisation à tous les niveaux. Elle vise à fournir en temps opportun aux gestionnaires et à d'autres intéressés une information utile, crédible et objective sur la pertinence continue des politiques et des programmes fédéraux et ministériels, sur leurs incidences et sur les possibilités d'employer des outils d'intervention différents et plus rentables en matière de politiques et de programmes.

L'évaluation des programmes sert de moyen d’obtenir une rétroaction au sein du processus d'élaboration de politiques. Elle sert à vérifier la réussite ultime des politiques en déterminant si ces dernières ont eu l'effet voulu et, dans la négative, pourquoi? L'évaluation procure aussi un soutien aux décideurs et aux gestionnaires hiérarchiques sur des questions comme l'identification des résultats attendus de politiques et de programmes, l'élaboration de cadres d'évaluation du rendement, la surveillance de la mise en application des programmes et des politiques, les mécanismes de compte rendu et l'établissement de normes de service axées sur le client.

L’évaluation des programmes renseigne par ailleurs à la mi-mandat des programmes (moment où les activités de ceux-ci prennent forme ou bien se déroulent), grâce à l’étude de divers processus notamment la prestation du programme, la qualité de sa mise en œuvre, l’évaluation du contexte organisationnel et les intrants du programme.

L'évaluation des programmes aide à promouvoir un apprentissage organisationnel dans l’administration fédérale, par exemple en communiquant des points de référence applicables à l'utilisation et à la gestion d'instruments de politiques et de mécanismes d'exécution de programmes.

Enfin, l'évaluation en tant qu'un élément de la fonction de contrôleur du Ministère, est dirigée en coopération et coordination avec d'autres processus d'examen, plus spécifiquement la vérification et les examens menés par les gestionnaires.

Le Glossaire des termes à la fin du présent document donne des renseignements plus détaillés sur les composantes et les concepts associés aux processus d’évaluation.

II. OBJECTIF DE LA POLITIQUE

La politique d'évaluation du ministère de la Justice a pour objectif de garantir que le Ministère obtient en temps opportun de l’information crédible, stratégiquement ciblée, objective et fondée sur des résultats en ce qui concerne le rendement de ses politiques et de ses programmes.

III. ÉNONCÉ DE LA POLITIQUE

Le ministère de la Justice veut que ses politiques et programmes majeurs soient :

Les politiques et les programmes majeurs du Ministère sont ceux qui nécessitent des dépenses importantes ou présentent un degré de risque élevé, ceux pour lesquels le gouvernement ou le ministère ont besoin d'information stratégique ou ceux à l'égard desquels les organismes centraux, le Parlement ou le grand public ont exprimé un intérêt particulier.

IV. ATTRIBUTIONS

i) Le Sous-ministre

Le sous-ministre[3] est responsable de ce qui suit :

ii) Comité de la vérification et de l'évaluation

Les membres du Comité de vérification et d'évaluation se réunissent périodiquement pour aider le sous-ministre à assumer ses responsabilités en ce qui concerne la vérification et l'évaluation. Il est à noter que, périodiquement, le président du Comité, à titre de membre du Conseil exécutif, informe ce dernier des activités du Comité de vérification et d’évaluation.

Dans son rôle lié aux activités d’évaluation, le Comité de la vérification et de l’évaluation (CVÉ) est responsable de ce qui suit :

iii) Responsables de secteur et gestionnaires de programme et de politique

Les responsables de secteur et les gestionnaires de programme et de politique ont les attributions suivantes :

iv) Directeur[5] et personnel de la Division de l'évaluation

La Division de l’évaluation est responsable de ce qui suit :

V. ACCÈS PAR LE PUBLIC

Une fois qu’ils sont terminés et approuvés, tous les rapports sont affichés sur les sites internet et intranet du ministère de la Justice dans les deux langues officielles, et ce, dans les 60 jours ouvrables suivant l’approbation du Comité de vérification et d’évaluation.  Le public peut également avoir accès aux rapports conformément à la Politique d’examen du Conseil du Trésor, à la Loi sur l’accès à l’information et à la Loi sur la protection des renseignements personnels.

VI. AUTRES POINTS À CONSIDÉRER

Lorsque l’on détermine la méthode d’évaluation et, plus particulièrement lorsque l’on prépare les questions pour l’évaluation de tout programme ou toute politique du Ministère, une attention spéciale est accordée à la pertinence et à l’inclusion des questions visant à examiner les répercussions différentielles des programmes et des politiques sur les groupes d’équité en matière d’emploi, les groupes linguistiques, les groupes touchés par le sexisme et tout autre groupe visé par la diversité.

VII. RÉFÉRENCES

VIII. RENSEIGNEMENTS

Toute demande de renseignements au sujet de la présente politique doit être acheminé à :

Directeur, Division de l’évaluation
Section de l’intégration et de la coordination de la politique
Secteur des politiques

GLOSSAIRE

Activité
Action ou démarche exécutée à l’interne par une organisation et destinée à produire des extrants précis (p. ex., des produits ou services). Les activités font partie du premier chaînon de la progression vers l'atteinte des résultats.
But
Vaste énoncé de haut niveau qui précisent en termes généraux les résultats désirés à atteindre au cours d’une période indéterminée. Un but devrait être le reflet de la «mission» d’une organisation.
Modèle logique
Illustration de la « théorie » du programme ou des « mesures » prises dans le cadre de celui-ci. Il s’agit d’un enchaînement logique de relations prémisse-conclusion; l’énoncé « si x se produit, alors y se produira » montre les liens entre les activités au moyen de l'enchaînement des résultats .
Mission
Énoncé des activités, de l’objet et de la raison d’être d’une organisation – éléments critiques dans le cadre desquels les buts, les objectifs et les normes devraient être établis.
Objectif
Énoncé des résultats précis à atteindre au cours d’une période donnée. Les objectifs sont généralement de niveau inférieur et à plus court terme que les buts.
Résultat
Incidence des extrants d’un programme sur un client ou des groupes visés. En d’autres termes, les résultats sont les changements qu’un programme ou une politique compte apporter. Les résultats mettent l’accent sur ce que le programme ou la politique permet de réaliser plutôt que ce sur ce qu’il(elle) fait (c’est-à -dire les résultats escomptés de l’initiative, et non pas le processus pour y arriver). Ils peuvent être définis comme immédiats, intermédiaires ou finaux, directs ou indirects, escomptés ou inattendus.
Extrant
Unité de services ou de produits offerts, de personnes desservies par un programme ou une politique ou nombre de produits et de services exécutés.
Mesure du rendement
assurer le suivi du rendement d’un programme par rapport aux buts fixés sur une période donnée, afin de produire une évaluation du rendement du programme, notamment des mesures de la productivité, de l’efficacité, de la qualité et du caractère opportun. La mesure du rendement peut contribuer à fournir des perspectives objectives en vue de défendre ou d’élargir un programme, plutôt que de permettre qu’il fasse l’objet de décisions relativement arbitraires ou habituelles. Des systèmes de suivi continu, qui mettent l’accent sur les indicateurs et l’analyse associés à l’amélioration, peuvent contribuer à assurer le suivi des résultats et à les améliorer avec le temps, et peuvent également s’avérer une précieuse source d’information dans le cadre du processus officiel d’évaluation.
Évaluation des programmes
Emploie une série d’outils de recherche appliquée qui permettent l’évaluation systématique et objective des éléments de rendement d’un programme. Elle vise à fournir en temps opportun aux gestionnaires et à d'autres intéressés une information utile, crédible et objective sur la pertinence continue des politiques et des programmes fédéraux et ministériels, sur leurs incidences et sur les possibilités d'employer des outils d'intervention différents et plus rentables en matière de politiques et de programmes. Selon le moment de l’évaluation, celle-ci peut prendre l’un des formes suivantes : 
  • une évaluation formative, évaluation de la mise en œuvre ou évaluation à mi-mandat, qui permet de recueillir de l’information à mi-parcours de l’application d’un programme au moyen de l’examen des méthodes d’exécution du programme, de la qualité de sa mise en œuvre et de l’évaluation du contexte organisationnel, des procédures relatives au personnel et des opinions de celui-ci;  
  • une évaluation sommative ou évaluation d’incidence qui détermine l’incidence globale d’un programme en examinant les répercussions ou les résultats des programmes.
Les évaluations mettent l’accent sur trois préoccupations principales : 
  • la question de la pertinence, ou plus précisément, déterminer si les instruments des programmes ou des politiques, continuent ou non de répondre à des priorités stratégiques et à des besoins réels; c’est-à -dire la mesure dans laquelle les objectifs et le mandat du programme ou de la politique sont encore pertinents et dans laquelle les activités et les extrants d’un programme ou d’une politique sont conformes au mandat et sont liés de façon plausible à la réalisation des objectifs établis et à l’atteinte des résultats escomptés;  
  • la question de la réussite, notamment la mesure dans laquelle les instruments du programme ou de la politique répondent aux objectifs établis (p. ex., répercussions), et ce, sans répercussions injustifiées ou indésirables;  
  • la question de la rentabilité, c’est-à -dire déterminer si les moyens les plus efficaces sont utilisés pour atteindre les objectifs relatifs aux mesures de rechange, et déterminer également si un autre palier d’administration pourrait assumer la responsabilité de la politique ou du programme.

Processus d’évaluation des programmes

le Processus d’évaluation des programmes Comporte quatre étapes:

Comporte quatre étapes - planification et conception, collecte et analyse des données, établissement des rapports et suivi

Étape 1 : Planification

L’étape de la planification consiste à élaborer des plans relatifs à l’approche à adopter vis-à -vis de l’évaluation de programmes ou de politiques, nouveaux ou sensiblement modifiés. L’étape de la planification comprend une série de consultations intensives auprès des gestionnaires de programmes, des clients et de d’autres intervenants intéressés. Il est important que les consultations soient tenues au début d’un nouveau projet ou le plus tôt possible dans le cadre de l’élaboration d’un projet afin de s’assurer que les objectifs sont énoncés d’une façon qui permet l’identification rapide des indicateurs de rendement et la collecte systématique de l’information sur le rendement nécessaire à l’apprentissage organisationnel et à la prise de décisions par la direction. Dans le cadre de l’étape de la planification, les responsables de l’évaluation entreprennent une analyse des données disponibles afin de déterminer la mesure dans laquelle une série de questions peuvent être abordées à partir des données existantes et la nécessité de recueillir de nouvelles données. L’étape de la planification se termine par l’établissement d’un document sur le cadre de gestion et de responsabilisation axé sur les résultats (CGRR) (ou encore d’un cadre d’évaluation ou d’un plan d’évaluation).  

Étape 2 :  Collecte et analyse des données

L’étape de la collecte et de l’analyse des données vise le véritable travail sur le terrain relatif à l’achèvement du projet d’évaluation, ainsi que l’analyse des conclusions tirées des différentes sources, y compris le suivi des mesures continues du rendement. Pour les projets plus complexes, l’étape de la collecte et de l’analyse des données peut s’étirer sur plus d’un exercice financier.

Étape 3 :  Établissement des rapports

L’étape de l’établissement des rapports consiste à rendre compte des résultats de l’évaluation au sous-ministre, aux gestionnaires ministériels, aux organismes centraux, au Parlement, et finalement, au grand public.

Étape 4 : Suivi

Les activités de suivi comprennent la formulation de recommandations de modifications où il est justifié dans les quatre domaines susmentionnés. Le gestionnaire du domaine de programme évalué doit préparer une réponse de la direction. La Division de l’évaluation est disponible pour aider les gestionnaires des programmes à préparer des plans d’action dans le cadre de leur réponse de la direction en vue d’améliorer toute question non réglée fondée sur les résultats de l’évaluation. Ce service de suivi de l’évaluation peut également inclure une aide pour assurer le suivi de la mise en œuvre du plan d’action. 

Cadre de gestion et de responsabilisation axé sur les résultats (CGRR)

Plan détaillé visant à aider les gestionnaires à mesurer les résultats durant le cycle de vie d’une politique ou d’un programme et à en faire rapport. Les CGRR sont une exigence de la Politique du Conseil du Trésor sur les paiements de transfert (http://www.tbs-sct.gc.ca/Pubs_pol/dcgpubs/TBM_142/ptp_f.html) et sont généralement exigés par le Conseil du Trésor (CT) dans le cadre du processus d’approbation de programmes qui sont nouveaux ou renouvelés. La politique du CT sur l’évaluation requière également l’élaboration d’un CGRR lorsqu’il facilite la mesure du rendement et la reddition de comptes. Les CGRR comprennent habituellement : 

Le CGRR est un outil utile pour gérer les politiques ou les programmes importants, qu’ils soient élaborés conformément à une exigence fédérale « officielle » ou non. Cependant, lorsqu’un CGRR n’est pas précisément exigé par le CT et que le gestionnaire souhaite néanmoins avoir un cadre pour l’aider dans l’évaluation d’un programme ou d’une politique, cet outil est parfois appelé un cadre d’évaluation ou un plan d’évaluation. Ces termes sont essentiellement équivalents à un CGRR, mais les composantes bénéficient d’un peu plus de souplesse (parce qu’elles ne sont pas exigées par le CT).