Évaluation de la stratégie fédérale d’aide aux victimes
3. MÉTHODES D’ÉVALUATION
La méthodologie que l’on a utilisé pour évaluer la Stratégie fédérale d’aide aux victimes comprenait un examen des documents, l’examen de six études secondaires, des entrevues avec les intervenants clés, un examen des dossiers et des études de cas de projets financées dans le cadre du Fonds d’aide aux victimes. Dans cette section, nous fournissons davantage de détails sur chaque méthode de recherche.
3.1 Méthodes de collecte des données
3.1.1 Bilan documentaire
On a déterminé une grande variété de documents pertinents que l’on a examinés. Ces documents peuvent être regroupés dans les catégories suivantes:
- De la documentation d’information sur la performance, notamment les Rapports ministériels sur le rendement, les Rapports sur les plans et priorités ministériels, le Cadre de gestion et de responsabilisation axé sur les résultats (CGRR) pour la Stratégie fédérale d’aide aux victimes et de précédents rapports de mi-mandat et d’évaluation sommative;
- de la documentation stratégique, notamment les discours du Trône et le Plan d’action économique du Canada, des notes d’information et des notes de service se rapportant aux initiatives et activités principales du CPV dans le cadre de la Stratégie;
- des renseignements/dossiers financiers, notamment les budgets fédéraux, les rapports du Système de gestion de l’information sur les subventions et contributions (SGISC), les rapports du SIFM;
- les procès-verbaux des réunions du Groupe de travail FPT sur les victimes d’actes criminels;
- la documentation de recherche sur des sujets tels que les services disponibles, ainsi que les lacunes des services fournis aux victimes d’actes criminels, différents modèles de travail avec les victimes d’actes criminels et la recherche et les statistiques afférentes aux victimes d’actes criminels. Ceci comportait un examen des publications de recherche du CPV et la documentation de VIJ du site Web. On a également entrepris un vaste examen de programmes pour les victimes semblables proposés par le gouvernement des États-Unis (c.-à-d. le Office for Victims of Crime).
3.1.2 Études secondaires
Un certain nombre d’activités d’évaluation et d’études secondaires ont été entreprises par la Division de l’évaluation du ministère de la Justice afin de contribuer à éclairer l’évaluation. Les résultats de ces études secondaires ont concouru considérablement à cette évaluation. Ces études sont décrites ci-après:
- Rapport sur les études de cas: Recours au Fonds d’aide aux victimes à l’appui des modifications législatives pour faciliter le témoignage des personnes vulnérables (2009): Cette étude comportait une analyse descriptive exploratoire des différents projets entrepris dans sept secteurs de compétence canadiens pour mettre en œuvre les modifications législatives visant à aider les témoins vulnérables. L’étude portait principalement sur les achats de matériel visant à améliorer la capacité des provinces et des territoires à respecter les dispositions des modifications en matière de soutien au témoignage. La méthodologie de l’étude était principalement qualitative, la plupart des données ayant été recueillies pendant des visites sur place.
- Enquête auprès des victimes qui ont reçu un financement pour assister aux audiences de la Commission nationale des libérations conditionnelles (CNLC) (2006-2009): On a expédié un questionnaire aux victimes inscrites de contrevenants sous responsabilité fédérale qui ont reçu une aide financière pour le voyage et l’hébergement afin d’assister aux audiences de la CNLC entre 2006-2007 et 2008-2009. L’objet de l’enquête consistait à déterminer la mesure dans laquelle le volet Aide financière du Fonds d’aide aux victimes a débouché sur une réduction des difficultés financières et amélioré l’expérience vécue par les victimes d’actes criminels dans le système de justice pénale. La participation à l’enquête était volontaire, et 463 victimes ont rempli le questionnaire.
- Enquête auprès des personnes-ressources des victimes qui ont reçu un financement pour assister aux audiences de la CNLC (2007-2010): Une enquête sur la satisfaction a été expédiée aux personnes-ressources qui ont accompagné une victime à une audience de la CNLC entre 2007 et 2010. Le questionnaire a été rempli par 58personnes.
- Enquêtes sur la Semaine nationale de sensibilisation aux victimes d’actes criminels (2007-2009): Des questionnaires à remplir volontairement ont été distribués aux participants et organisateurs des événements de la SNSVAC en 2007, 2008 et 2009. Les enquêtes servaient à évaluer l’efficacité de la semaine pour améliorer la sensibilisation aux problèmes des victimes. Au total, 87 organisateurs d’événements (58%) et 1900 participants ont répondu aux questionnaires.
- Enquête sur la Conférence du Nord (2009): On a demandé aux délégués de la Conférence de répondre à un bref sondage afin d’évaluer l’utilité globale de la Conférence et des ateliers, les occasions de réseautage, l’amélioration de la connaissance des problèmes des victimes dans le Nord et de la sensibilisation à ceux-ci. Au total, 162 participants (60%) ont rempli le questionnaire.
- Étude secondaire du Programme des coordonnateurs des témoins de la Couronne (2010): L’étude secondaire du Programme des CTC a été menée pour évaluer la pertinence, la capacité, la sensibilité, les défis, les répercussions et les résultats du Programme. La méthodologie comprenait des visites sur place et des entrevues avec des professionnels de la justice pénale du Nord. On a tenu au total 45 entrevues et groupes de discussion avec des CTC (10), des chefs et des chefs associés (5), des procureurs fédéraux (3), des membres de l’appareil judiciaire (3), des avocats de la défense (15), des procureurs de la Couronne (6), un représentant des programmes de services d’aide aux victimes gouvernementaux et territoriaux, un représentant du SPPC, la région du Nord, et un représentant du Centre de la politique concernant les victimes. L’évaluation couvrait la période s’étendant de janvier 2003 (la date de la première évaluation du programme des CTC) à mai2009.
3.1.3 Entrevues avec 46 informateurs clés
Les entrevues ont été menées avec le personnel du CPV, des membres fédéraux, provinciaux et territoriaux du Groupe de travail sur les victimes d’actes criminels, des membres du Comité consultatif et des intervenants fédéraux qui ne sont pas membres du Groupe de travail FPT sur les victimes d’actes criminels. La répartition des 46 informateurs clés par groupe figure au tableau 5. Les entrevues étaient conçues pour aborder les questions d’évaluation connexes à la pertinence et à la performance (c.-à-d. efficacité, efficience et économie) de la Stratégie. Deux entrevues ont été menées en personne et le reste par téléphone.
| Type de répondant | Nombre d’entrevues |
|---|---|
| Directeurs, gestionnaires et personnel du CPV | 11 |
| Membres fédéraux du Groupe de travail FPT sur les victimes d’actes criminels | 7 |
| Membres provinciaux du Groupe de travail FPT sur les victimes d’actes criminels | 13 |
| Membres territoriaux du Groupe de travail FPT sur les victimes d’actes criminels | 3 |
| Membres du Comité consultatif | 10 |
| Intervenants fédéraux (non membres du GTFPT sur les victimes d’actes criminels) | 2 |
| Total | 46 |
3.1.4 Examen des dossiers des 57 projets du Fonds d’aide aux victimes
L’examen des dossiers des 57 projets financés par le Fonds d’aide aux victimes portait sur 44 projets du volet Projets et activités et sur 13 projets du volet Provinces et territoires. L’échantillon représentait 62% des projets financés dans le cadre du volet Provinces et territoires et 40% des projets financés au titre du volet Projets et activités[9].
Des projets financés de tout le pays ont été sélectionnés pour cet examen. Ils ont été choisis en fonction de la disponibilité de l’information figurant au dossier sur les résultats et les répercussions du projet. L’échantillon comprenait un groupe représentatif des projets selon le type et la taille (c.-à-d. le montant du financement et/ou la durée). Les quatre types de projet financés dans le cadre du volet Provinces et territoires (c.-à-d. mise en œuvre, détermination de la peine, sous-desservis et Fonds d’urgence) ont été inclus dans l’examen. Pour le volet Projets et activités, l’échantillon a été puisé dans les projets de VIJ, d’amélioration des services aux victimes, de formation et de recherche et d’évaluation. Les projets menés en vertu du projet de loiC-2, Loi pour la protection des enfants et d’autres personnes vulnérables (2006)[10], ci-après appelés projets d’aide au témoignage, et les projets menés dans le cadre de la SNSVAC ont été exclus de l’examen, car ces types de projet ont été précédemment examinés lors d’études secondaires effectuées par le ministère de la Justice. Le financement de la présence aux conférences a également été exclu.
3.1.5 Études de cas de 11 projets du Fonds d’aide aux victimes
Onze projets ont été choisis pour les études de cas en fonction des résultats de l’examen des dossiers et en consultation avec le Comité consultatif de l’évaluation du ministère de la Justice. L’échantillon a été sélectionné parmi les projets examinés qui présentaient des données sur les résultats adéquats, des résultats de projet et des produits disponibles pour examen. L’emplacement, le budget, les objectifs et la population cible du projet ont également été pris en ligne de compte.
Dix études de cas ont été effectuées en anglais et une en français. Les études de cas comprenaient des entrevues avec des représentants du projet, des parents et des partenaires/intervenants, dans la mesure du possible. Au total, 18 entrevues d’étude de cas ont été menées, notamment 11 avec des parrains de projet, 5 avec le personnel de projet et 2 avec des partenaires de projet.
Outre les rapports sommaires de projet, que l’on demande aux bénéficiaires du financement de remplir et de remettre au CPV à la fin de leur projet, d’autres produits du projet, notamment les publications, les exposés et les sites Web ont été examinés dans le cadre des études de cas.
3.2 Points forts et limitations de l’évaluation
Plusieurs méthodes et mécanismes ont été utilisés pour enrichir le processus de collecte des données et accroître la confiance dans les résultats globaux. Les points forts de la méthodologie de l’évaluation comportaient notamment:
- le recours à des éléments de preuve multiples au moyen des différentes méthodes de collecte des données (c.-à-d. entrevues, études de cas, examen des dossiers) afin de valider les constatations et d’accroître la fiabilité des données;
- des intervenants multiples de six groupes distincts (c.-à-d. les bénéficiaires de fonds des ONG, les bénéficiaires de fonds provinciaux/territoriaux, le personnel du CPV, les membres du Groupe de travail FPT sur les victimes d’actes criminels, les membres du Comité consultatif des victimes et des intervenants fédéraux externes qui ne sont pas membres du groupe de travail) ainsi qu’une vaste représentation régionale;
- l’utilisation de données quantitatives et qualitatives afin d’aborder exactement les concepts pluridimensionnels.
La mise en œuvre de la méthodologie comportait également certaines limitations. Celles-ci étaient atténuées dans la mesure du possible grâce à l’utilisation d’éléments de preuve multiples et de la validation des constatations au moyen d’autres sources primaires et secondaires de données. Les limitations étaient entre autres les suivantes:
- comme elles sont interreliées et complémentaires, il n’a pas été possible d’attribuer un chiffre monétaire exacte aux activités de réforme du droit pénal et d’élaboration d’orientations, du Secrétariat FPT et du groupe de travail, de VIJ, du renforcement des capacités dans le Nord, ce qui rend difficile d’évaluer l’aspect économique de chacune de ces activités;
- le manque d’information sur certains dossiers de projet pour l’examen des dossiers (c.-à-d. les rapports sommaires finaux des projets n’étaient pas disponibles pour certains projets). Cela restreignait le nombre de projets compris dans l’examen des dossiers;
- les préjugés éventuels des répondants dans les constatations du Fonds d’aide aux victimes qui émanent principalement du point de vue des bénéficiaires de fonds (fondé sur leurs rapports) et qui, par conséquent, pourraient présenter un biais positif;
- les points de vue des victimes sont limités à un sondage des victimes qui ont reçu une aide financière pour assister aux audiences de la CNLC, ce qui limite la portée et la profondeur du rapport d’évaluation. Il aurait été difficile de sonder/interviewer les victimes pour cette évaluation tout en respectant leur droit à la protection des renseignements personnels.
- Date de modification :