Programme sur les crimes contre l'humanité et les crimes de guerre
Annexe E: Méthodes de recherche et leurs limites
Méthodes de recherche et leurs limites
Dans la présente annexe, nous examinons sommairement chacune des principales méthodes de recherche utilisées pour l'évaluation et déterminons le champ d'application et le taux de réponse de chaque méthode. Il est aussi question des limites des méthodes et de leur incidence sur la validité des constatations de l'évaluation dans son ensemble.
Entrevues
Comme le montre le tableau 1 ci-après, les membres du Comité consultatif de l'évaluation (CCE) ont désigné au total 108 interviewés éventuels à interviewer pendant l'évaluation. L'équipe d'évaluation a joint 75 personnes figurant sur la liste, a pris rendez-vous avec elles et les a interviewées. Le taux de participation aux entrevues était un peu plus de 70 %.
Les nombreuses personnes qui n'étaient pas disponibles ou qui ont refusé de participer ont fait savoir qu'une autre personne ayant l'expérience nécessaire était disponible et pourrait communiquer des renseignements pertinents. Essentiellement, toutes les unités organisationnelles désignées qui prenaient part au Programme ou collaboraient avec lui à certains égards ont été interviewées.
| Groupe | Interviewés désignés | Personnes interviewées |
|---|---|---|
| Ministères participants | 37 | 26 |
| Autres ministères | 12 | 10 |
| Intervenants externes canadiens | 25 | 20 |
| Intervenants internationaux | 34 | 19 |
| Total | 108 | 75 |
Sondage des ministères participants
Le taux de réponse du personnel sondé ou du Programme était de 82 %. Au total, 93 membres du personnel des quatre ministères ont répondu, y compris un échantillon représentatif de gestionnaires des Sections des crimes contre l'humanité et des crimes de guerre à l'AC ainsi que le personnel des bureaux régionaux ou des ambassades canadiennes et des hauts commissariats à l'étranger.
| Groupe | Personne invitée à répondre | Répondants |
|---|---|---|
| Agence des services frontaliers du Canada | 54 | 45 |
| Citoyenneté et Immigration Canada | 14 | 12 |
| Ministère de la Justice | 27 | 22 |
| Gendarmerie royale du Canada | 18 | 14 |
| Total | 113 | 93 |
Études de cas
L'équipe d'évaluation a entrepris l'analyse des cinq études de cas, chacune portant sur l'application d'un différent recours du Programme, au moyen de l'examen des dossiers et des documents ainsi que des entrevues du personnel principal des ministères. Les cinq cas suivants ont été étudiés :
- Cas 1: Poursuite pénale
Le cas porte seulement sur les processus suivis dans une poursuite criminelle générale en vertu de la Loi sur les crimes contre l'humanité et les crimes de guerre. - Cas 2: Révocation de la citoyenneté et expulsion.
- Cas 3: Enquête et renvoi en vertu de la Loi sur l'immigration et la protection des réfugiés (LIPR).
- Cas 4: Déni de visa.
- Cas 5: Refus de statut en application de l'alinéa 35(1)b) de la LIPR.
Les études de cas ont rempli le but prévu, c'està-dire illustrer le déroulement des mécanismes interministériels de coordination et d'échange d'information du Programme. Grâce aux organigrammes des processus élaborés pour comparer les coûts, l'équipe d'évaluation a pu comparer les résultats obtenus dans les entrevues pour les études de cas et les étapes des processus présentées dans les organigrammes.
Études de pays
Particulièrement, les études de cas sur les institutions et programmes nationaux chargés des crimes contre l'humanité et des crimes de guerre en Australie, aux Pays-Bas et aux États-Unis ont contribué à l'évaluation et à l'examen de l'importance accordée aux différents recours par chaque pays. Elles ont aussi favorisé la comparaison des résultats obtenus et du niveau d'intégration dans les ministères. Malheureusement, elles n'ont pas permis la comparaison des coûts, soit pour l'ensemble du Programme ou en fonction des unités d'extrant. La raison principale de cette lacune est que chaque pays choisi pour la comparaison ne traite pas les crimes de guerre dans un programme intégré doté de son propre budget. En général, les données sur les coûts pour les programmes dans les autres pays ne sont pas accessibles parce que les coûts sont compris dans les budgets de fonctionnement des ministères en question.
Comparaison des coûts des recours
Pour lancer la comparaison des coûts, une série de consultations ont été entreprises auprès des ministères participants afin d'élaborer les organigrammes des processus présentés à l'annexe 4. Ensuite, le tableau des coûts de chaque recours a été établi puis distribué au personnel compétent de chaque ministère participant. Enfin, l'équipe d'évaluation a regroupé les coûts estimatifs de chaque étape pour chaque recours offert par le Programme et a établi les coûts moyens estimatifs globaux de chaque recours (au cas par cas). Ces coûts pouvaient ensuite servir à évaluer le Programme et la rentabilité des coûts de chaque recours.
Analyse média
L'analyse média a porté sur l'examen de la couverture dans les médias canadiens des cas particuliers de crimes contre l'humanité et de crimes de guerre. L'objet de l'analyse n'était pas d'évaluer l'incidence de la couverture médiatique sur la sensibilisation au Programme et les opinions de la population canadienne au sujet des crimes de guerre. L'analyse montre cependant que les cas très médiatisés devant les tribunaux visés par une poursuite criminelle en vertu de la Loi ou le renvoi d'un suspect du Canada comptent pour la quasi-totalité de la couverture médiatique du Programme et des questions.
Limites
En général, l'évaluation a été conduite en conformité avec les méthodes initialement proposées dans la conception de l'étude, de façon à consulter la totalité ou la quasi-totalité des données recueillies. Chaque méthode comportait des limites, mais aucune n'a nuit à la validité générale des constatations de l'évaluation.
- Même si seulement un peu plus de 70 % des interviewés désignés ont de fait été interviewés, tous les organismes et les unités organisationnelles visés ont participé aux entrevues.
- Le taux de réponse (plus de 82 %) du sondage ministériel était très élevé. Néanmoins, il convient de souligner que parfois, pour une raison quelconque, le nombre de réponses peut être minime. Si les répondants avaient été choisis au moyen d'un processus d'échantillonnage aléatoire statistiquement valide, la validité des résultats aurait été sérieusement réduite. Un échantillon choisi, comme dans la présente évaluation, prête moins à inquiétude du fait que le personnel du Programme a recommandé les personnes qui, à son avis, connaissaient mieux les questions.
- Les entrevues, le sondage du personnel et les études de cas comportent un risque évident de biais de sélection, car les échantillons dans les trois cas ont été constitués en se fondant sur les conseils du personnel du Programme. Cela a été fait afin de maximiser le contenu accessible à l'équipe d'évaluation. Parce que les entrevues et les réponses du sondage représentent pratiquement le recensement des personnes informées, cela pose moins problème que pour les études de cas.
- Les études de cas ont permis d'examiner la nature changeante de la coordination et des communications interministérielles au cours de la période d'évaluation puisque la majorité des cas étaient pluriannuels. Parce que cinq études de cas seulement ont été effectuées, le nombre de constatations générales que l'on peut tirer de celles ci est très limité. Il n'était cependant pas prévu que les études soient représentatives de l'ensemble du Programme, mais elles illustrent certains phénomènes (notamment le rôle de la coordination) abordés dans les méthodes générales, par exemple, les entrevues et le sondage du personnel.
- Les études de pays ont fait état d'interventions organisationnelles et stratégiques nationales très divergentes face au problème posé par les crimes de guerre, même si elles ne renfermaient pas de données sur les coûts permettant de comparer la rentabilité entre les différents pays. De toute évidence, la petite taille de l'échantillon suscite le même problème que pour les études de cas.
- La comparaison des coûts estimatifs des différents recours a dégagé une tendance très claire de la variation des coûts estimatifs pour chaque cas. Les estimations de la rentabilité peuvent être établies à partir des données, mais elles doivent faire l'objet d'une pondération qualitative de la valeur d'un résultat donné. C'est pourquoi les coûts plus élevés ne correspondent pas forcément à une rentabilité moindre.
- Date de modification :