L'efficacité des pratiques de la justice réparatrice : Méta-analyse

3. Méthode

Nous avons conçu une méta-analyse pour vérifier l'efficacité des pratiques de la justice réparatrice selon les méthodes de Rosenthal (1991). L'un des principaux problèmes à résoudre pour effectuer ce genre d'étude consiste à s'entendre sur une définition de la justice réparatrice. En général, il est beaucoup plus facile de définir une méthode non fondée sur la justice réparatrice que de donner une définition précise de la justice réparatrice. Aux fins de la présente méta-analyse, la définition opérationnelle suivante a été établie : la justice réparatrice est une réponse volontaire et communautaire à un comportement criminel qui vise à réunir la victime, le délinquant et la collectivité afin de réparer les préjudices causés par le comportement criminel.

Bien que cela soit discutable, il faut adopter une définition opérationnelle pour effectuer une étude. Par conséquent, pour la présente méta-analyse, les programmes qui contenaient des éléments relatifs à la «  justice réparatrice  » comme le dédommagement ou les services communautaires, mais qui ne visaient pas à réunir la victime, le délinquant et la collectivité n'ont pas été pris en considération. Cette définition nous a servi de guide pour la sélection des études à inclure dans laméta-analyse et nous a permis de nous assurer que nous examinions une réponse uniforme au comportement criminel.

Nous devions également définir des résultats appropriés mesurables et liés directement aux objectifs de la justice réparatrice. Même si plusieurs mesures des résultats ont été utilisées, nous avons choisi la satisfaction de la victime et du délinquant, la récidive et la conformité à l'accord de dédommagement, car il s'agissait des seuls facteurs suffisamment disponibles pour faire l'objet d'une méta-analyse. En outre, ces quatre résultats constituent des déterminants clairs et quantifiables de l'efficacité de la justice réparatrice.

3.1 Analyse bibliographique : critères de détermination des études

Pour déterminer les études admissibles à la méta-analyse, nous avons procédé à une recherche exhaustive des documents sur la justice réparatrice publiés au cours des 25 dernières années. Les études provenaient surtout d'Internet, de publications en sciences sociales ainsi que de rapports gouvernementaux et non gouvernementaux. Nous avons effectué une recherche secondaire en recourant aux bibliographies des études recensées et en contactant les chercheurs actifs dans le domaine pour déterminer les études nouvelles, non publiées et(ou) non découvertes. Nous avons établi un ensemble explicite de critères afin de choisir les études à inclure dans la méta-analyse.

3.2 Collecte des données : procédures de codage

Nous avons tiré les données normalisées qui figurent ci-dessous (tableau 1) de chaque étude au moyen d'un manuel de codage type. Au moment de la conception du manuel de codage, la définition de certaines variables peut poser un problème. Par exemple, dans plusieurs études, on a choisi d'opérationnaliser la récidive différemment. Conformément à la méthode de méta-analyse type, nous avons accepté les définitions multiples de la récidive (c.-à-d. une nouvelle condamnation au criminel, une nouvelle accusation au criminel, une infraction au pré-test et au post-test). Nous avons également accepté deux définitions de la conformité à l'accord de dédommagement (proportion de délinquants qui ont effectué le dédommagement et proportion de la somme versée en dédommagement par les délinquants).

Tableau 1. Variables primaires de la méta-analyse

Pour obtenir la valeur de l'effet moyenne globale dans les cas où des groupes de contrôle/référence multiples ont été utilisés dans une étude, nous avons combiné les résultats afin de produire une seule valeur de l'effet pour chaque programme. En outre, lorsque des périodes de suivi multiples ont été déclarées dans une étude, nous avons choisi la période à risque la plus longue. Afin d'examiner l'incidence de la période de suivi et l'utilisation de différents groupes de contrôle/référence, nous avons toutefois codé les valeurs de l'effet multiples pour chaque programme. Les résultats des deux méthodes de codage seront présentés séparément.

Comme une grande proportion des programmes acceptaient des candidats à de multiples points d'entrée, nous avons codé les points d'entrée les plus en amont et les plus en aval dans le système de justice pénale. Nous avons disposé ainsi de deux méthodes d'analyse du point d'entrée du programme et de son incidence ultérieure sur chaque résultat.

Même si nous avons indiqué les programmes qui ont réparti au hasard les participants dans les groupes étudiés et de contrôle, il convient de noter que cela peut induire en erreur. Les participants sont répartis au départ dans chaque groupe, mais la participation au programme de justice réparatrice est par définition volontaire de sorte que les participants peuvent choisir de se retirer d'un programme. Par conséquent, le problème du biais du libre choix, que la répartition au hasard vise à éliminer, demeure, car le taux d'attrition dans de nombreuses études était très élevé.

Pour comparer efficacement la satisfaction de la victime et du délinquant à l'égard de la justice réparatrice et des méthodes classiques, il a fallu créer une variable binaire de la satisfaction. À cette fin, nous avons codé les mesures positives de la satisfaction dans la catégorie « satisfait » et les réponses neutres et négatives dans la catégorie « non satisfait ». Par exemple, si une étude utilisait une échelle de cinq points pour mesurer la satisfaction (c.-à-d. très satisfait, assez satisfait, neutre, assez insatisfait et très insatisfait), nous avons considéré les deux catégories supérieures comme indiquant la satisfaction et les trois catégories inférieures, comme indiquant l'insatisfaction.

Dans certaines études, le nombre réel de victimes n'était pas indiqué, mais elles révélaient le pourcentage de victimes satisfaites par rapport au nombre de victimes insatisfaites. Dans ces cas, nous avons supposé que le nombre de victimes était égal au nombre de délinquants afin de calculer une valeur de l'effet. Dans une méta-analyse, il y a habituellement un arbitrage entre l'exhaustivité de la recherche et la précision des techniques de codage en raison des méthodes de rapport utilisées dans la plupart des études.

Pour vérifier la fiabilité des procédures de codage, une deuxième personne a codé six études choisies au hasard et contenant au total 15 valeurs de l'effet. Le taux de concordance entre les codeurs variait de 47 % à 100 %, le taux global de concordance étant de 91 %. En cas de mésentente entre les codeurs, les deux codeurs discutaient de l'écart jusqu'à ce qu'ils atteignent un consensus et cette décision était acceptée comme code final. Les variables inférieures à 80 % n'ont pas été incluses dans l'analyse.

3.3 Analyse des données : calculs de la valeur de l'effet

Nous avons établi les relations entre la participation à un programme de justice réparatrice et chacun des quatre résultats (récidive, satisfaction de la victime, satisfaction du délinquant et conformité à l'accord de dédommagement) à partir des statistiques brutes présentées dans chaque étude. Le coefficient phi (coefficient de corrélation de Pearson appliqué aux données dichotomiques) a servi d'estimation de la valeur de l'effet. Si les données nécessaires ne figuraient pas dans une étude, mais qu'il existait un rapport non significatif entre la participation à un programme de justice réparatrice et le résultat, la valeur de l'effet a été considérée comme nulle.

Après avoir calculé les valeurs de l'effet de chacune des études, nous avons procédé à une série d'analyses pour chacune des quatre mesures des résultats qui nous intéressaient. Tout d'abord, nous avons calculé la valeur de l'effet moyenne globale ainsi que les intervalles de confiance et l'écart type correspondants. Il convient de noter que nous avons calculé les valeurs de l'effet moyennes pondérées et non pondérées, mais que seules les estimations non pondérées ont servi à l'interprétation des résultats et dans les analyses modératrices énumérées ci-dessous. Nous avons procédé de cette façon parce que, comme nous l'avons indiqué plus haut, nous devions estimer le nombre réel de victimes, ce qui a réduit la fiabilité des estimations pondérées. En outre, les valeurs de l'effet moyennes pondérées n'étaient que légèrement inférieures ou supérieures aux valeurs de l'effet non pondérées et elles n'auraient pas entraîné une différence importante dans les résultats de l'analyse.

Nous avons également déterminé si la différence générale entre les groupes ayant participé à un programme de justice réparatrice et les groupes de contrôle/référence qui n'y avaient pas participé était statistiquement significative en procédant à un test t à un seul échantillon. Cela permet de déterminer si la valeur de l'effet moyenne est très différente de zéro (une valeur de l'effet nulle indiquerait que la participation à un programme de justice réparatrice n'avait aucun effet sur les résultats ultérieurs). Nous avons effectué d'autres analyses pour déterminer si certaines variables comme les caractéristiques démographiques ou de l'étude avaient une incidence modératrice sur l'importance de la valeur de l'effet. Par exemple, si des renseignements adéquats étaient disponibles, nous essayions de déterminer si l'âge des membres de l'échantillon à l'étude (adulte par rapport à jeune) avait un effet important sur le résultat du programme. Nous avons obtenu ainsi un mécanisme permettant d'isoler les incidences d'un programme en particulier en vue d'une étude ultérieure.