Évaluation des programmes de RD

Évaluation des programmes de RD

Présentation faite par Mark McDonald Services de prévention et de règlement des différends Ministère de la Justice

Le 22 septembre 2003

Qui doit-on évaluer?

• L’évaluation est « un effort interne visant à définir et à améliorer les activités sur une période donnée, tout en fournissant de l’information descriptive relative au domaine ». (Janis Roehl)
• L’évaluation est la meilleure façon de déterminer si un programme de règlement des différends (RD) atteint ses objectifs
• Elle permet aux administrateurs de programme de déterminer ce qui fonctionne, ce qui ne fonctionne pas et s’il faut cesser, modifier ou élargir un programme de RD
• Elle permet également de cerner les points forts et les points faibles du programme de RD
• Elle favorise une approche uniforme et continue vis-à-vis de l’amélioration du programme de RD
• Elle permet d’identifier les besoins administratifs (p. ex., exigences en matière de dotation, obstacles dans le processus, etc.)

Quand doit-on évaluer?

• Il est important que la planification de l’évaluation commence AVANT que le programme de RD soit mis en oeuvre (c’est-à-dire, élaborer un cadre d’évaluation)
• L’évaluation doit être effectuée pendant le cycle de vie d’un programme de RD
• Les facteurs dont il faut tenir compte sont les suivants:
  • Le programme doit être fonctionnel depuis assez de temps pour s’assurer qu’il y a un nombre suffisant de dossiers à examiner
  • Le programme doit avoir réussi à surmonter les barrières initiales à la réussite
  • S’il s’agit d’un projet pilote, l’évaluation doit être effectuée assez tôt pour qu’elle puisse être considérée comme un facteur important dans la décision de poursuivre ou d’élargir le programme
  • Y a-t-il d’autres délais liés au processus décisionnel futur qui auront une incidence sur l’utilité des résultats d’évaluation?
• Évaluations formative (étape du projet pilote) et sommative (lorsque le programme de RD atteint sa «maturité»)

Que doit-on évaluer?

Il existe 2 principaux types d’évaluation des programmes de RD :

1. Évaluation de l’efficacité du programme (incidence/résultats/bilan)
   • vise à déterminer si le programme de RD atteint ses objectifs et s’il a l’incidence souhaitée
2. Évaluation de la conception et de l’administration du programme (processus/formative)
   • vise à déterminer de quelle façon un programme de RD peut être amélioré
   • Une évaluation exhaustive devrait permettre de mesurer les avantages concrets et abstraits du programme à partir des données quantitatives et qualitatives.

Que doit-on évaluer? (suite)

Habituellement, les gestionnaires de programme de RD cherchent à évaluer certaines ou toutes les mesures de «réussite» suivantes :

• Économies pour l’organisation et les parties intéressées
• Économies de temps pour l’organisation et les parties intéressées
• Taux de participation des parties au processus de RD
• Satisfaction des participants vis-à-vis du caractère équitable du processus de RD
• Taux de règlements
• Qualité des règlements (durabilité, créativité, améliorations des relations continues)

Que doit-on évaluer? (suite)

• Pour évaluer le degré de réussite d’un programme donné, les évaluateurs doivent structurer leurs observations, leurs mesures et leurs rapports de manière à faire ressortir des caractéristiques ou des variables qui sont particulièrement importantes.
• P. ex., Le Fonds de RD cherchait à évaluer quatre résultats :
  1. Réduction des coûts et du temps liés à la gestion des conflits
  2. Augmentation de la satisfaction des parties vis-à-vis des résultats du processus de règlement
  3. Des organisations financées favoriseraient l’élaboration d’un plus grand nombre de programmes internes de RD
  4. Des projets financés serviraient de catalyseurs ou de modèles pour d’autres organisations

Comment doit-on évaluer?

Étapes fondamentales du processus d’évaluation :

• 1) Identifier les participants (qui utilise le système – p. ex., clients, avocats, fournisseurs de service impartiaux, personnel interne, etc.)
• 2) Déterminer les objectifs du programme : (p. ex., réduire les coûts, limiter les retards, maintenir et améliorer la satisfaction des parties, préserver l’équité des résultats, promouvoir un milieu moins litigieux, etc.); il faut comprendre clairement ce que le programme tente d’accomplir dans la mise en oeuvre d’un processus de RD particulier.
• 3) Déterminer les mesures/indicateurs de rendement afin de mesurer les résultats escomptés :
  • p. ex., si le résultat escompté est la réduction des coûts -> les coûts pour qui? (organisme, parties, les deux?), quels coûts? (frais juridiques, frais administratifs, etc.)
• 4) Recueillir le type de données approprié pour les mesures déterminées :
  • Données quantitatives (dossiers, sondages, etc.) et/ou méthodes de collecte de données qualitatives (entrevues, groupes de discussion, observations, sondages à l’intention des participants, etc.)
• 5) Choisir la méthode appropriée :
  la plus efficace est la méthode où l’on a recourt à un groupe témoin :
  1. s’assurer que la composition des participants au programme de RD ressemble à celle du groupe témoin (ou statu quo)
  2. maintenir tout le reste constant
  3. affectation aléatoire des dossiers aux responsables du RD / processus traditionnel
  4. les deux processus fonctionnent de façon contemporaine
• 6) Recueillir et analyser les données
• 7) Discuter des conclusions de l’évaluation (verbalement/par écrit/les deux)
• 8) Apporter les changements nécessaires au programme de RD

Qui devrait évaluer?

• Les facteurs clés pour une évaluation efficace sont les suivants :
  • Objectivité (c’est-à-dire, aucun intérêt dans le résultat), expérience de la conduite d’évaluations de programmes, expertise technique suffisante pour la collecte et l’analyse des données
• Évaluateurs internes ou externes?
  • Externes :
    • Avantages – crédibilité, objectivité, impartialité, compétences spécialisées en matière d’évaluation
    • Inconvénients - coûteux
  • Internes :
    • Avantages – connaissance spécialisée de l’organisation, rentabilité
    • Inconvénients – perceptions potentielles d’un manque d’impartialité

On peut demander à un «comité consultatif» composé d’intervenants clés de contribuer à l’élaboration et à la mise en oeuvre du projet d’évaluation, ainsi qu’à l’élaboration de rapports à cet égard

Liste de vérification en vue de l’évaluation

• Votre programme de RD est-il continu ou en période d’essai?
• Quels sont vos buts et vos objectifs pour l’évaluation de votre programme de RD?
• De quelle façon paierez-vous pour l’évaluation de votre programme de RD?
• Qui procédera à l’évaluation?
• Quel est votre auditoire?
• Quelle est votre stratégie d’élaboration du schéma d’évaluation?
• Quelles sont vos mesures de réussite?
• Que voulez-vous savoir sur l’efficacité de votre programme (incidence)?
• Que voulez-vous savoir sur la structure et l’administration de votre programme?
• Comment et quand diffuserez-vous les résultats de l’évaluation?

(Source : Federal ADR Program Manager’s Resource Manual)

Documents d’évaluation utiles et exemples d’évaluation

• A Checklist for Evaluating Federal ADR Programs: Long Form
• Performance Indicators for ADR Program Evaluation
• Evaluating Agency Alternative Dispute Resolution
  Programs: A User’s Guide to Data Collection and Use
• Federal ADR Program Manager’s Resource Manual, Chapter 8, Evaluating ADR Programs
• L'efficience, l'efficacité et la qualité: une évaluation du programme MARC de la Section d'appel de l'immigration de la Commission de l'immigration et du statut de réfugié
• An Evaluation of the Notice to Mediate Regulation under the Insurance (Motor Vehicle) Act
• Evaluation of the Family Justice Registry (Rule 5) Pilot Project: Final Report
• Evaluation of the Ontario Mandatory Mediation Program (Rule 24.1): Executive Summary and Recommendations
• Mandatory Parenting after Separation Pilot: Final Evaluation Report