L'Initiative Sécurité publique et antiterrorisme (SPAT), Évaluation sommative
4. Méthodologie
- 4.1. Examen des documents et des données
- 4.2. Entrevues
- 4.3. Limites inhérentes aux méthodes d'évaluation
4. Méthodologie
Les évaluateurs ont fait appel à deux modes de collecte des données : un examen des documents et des données et des entrevues avec des personnes importantes. La présente section décrit ces méthodes et traite des limites inhérentes à la méthodologie.
4.1. Examen des documents et des données
L'examen des documents et des données a fourni l'information sur le contexte de l'Initiative : sa justification et les résultats escomptés, le mode de fonctionnement, les extrants et les résultats obtenus. Chaque service ministériel ayant participé à l'évaluation a été invité à remettre les documents pertinents aux évaluateurs. Voici des exemples de documents étudiés afin de réaliser l'évaluation :
- plan financier ministériel;
- rapports annuels de rendement SPAT pour chaque service ainsi que pour l'ensemble du ministère;
- documents sur les orientations/rapports relatifs à l'Initiative;
- traités multilatéraux et bilatéraux et autres textes internationaux auxquels le ministère a contribué dans le cadre de l'Initiative SPAT;
- études de recherche et évaluations antérieures.
Le système iCase, base de données que le ministère utilise pour consigner le temps que les avocats consacrent aux affaires et dossiers, est la principale source des données utilisées pour l'examen des affaires et dossiers. Toutefois, ce système n'a qu'une utilité limitée pour l'évaluation (comme on le verra en 4.3). Dans la vérification que le ministère a faite du système iCase, les gestionnaires nationaux de portefeuille ont mis en cause l'exactitude des données d'iCase, et l'étude a montré que la propriété des données n'est pas claire, si bien que, pour les utiliser, il peut être nécessaire d'obtenir le consentement de toutes les sections[7]. Pour ces raisons, les évaluateurs ont travaillé avec des sections individuelles, en se concentrant sur les données qui, à l'évidence, sont sûres et utiles.
4.2. Entrevues
Aux fins de l'évaluation, 58 personnes importantes ont participé à des entrevues (44 du ministère de la Justice et 14 parmi les clients de l'extérieur). La plupart de ces personnes ont été interviewées directement ou par téléphone, et quatre ont préféré produire des réponses écrites. Comme l'Initiative est décentralisée, ces personnes ont été invitées à donner le nom d'autres personnes importantes qui ont collaboré aux activités SPAT au ministère ou qui ont été des clients de l'extérieur du ministère. Le groupe comprend donc tous ceux qui ont été désignés et ont accepté d'être interviewés pendant la durée de l'étude. Leur lien avec l'organisation est indiqué au tableau 6.
Tableau 6 – Personnes importantes ayant participé à l'évaluation
Ministère de la Justice
- Portefeuille de la citoyenneté, de l'immigration et de la sécurité publique (représentants de l'AC et des services juridiques ministériels (SJM) suivants : ASFC, CIC, SCRS)
- Section du contentieux des affaires civiles
- Section de la politique en matière de droit pénal (SPDP)
- Service fédéral des poursuites – Groupe d'entraide internationale (GEI)
- Service fédéral des poursuites (SFP) – Groupe de la sécurité nationale (GSN)
- Service fédéral des poursuites – Bureaux régionaux
- Service fédéral des poursuites –Opérations stratégique
- Droit public – Droit constitutionnel et administratif
- Droit public – Droits de la personne
- Droit public – Droit à l'information et à la protection des renseignements personnels
- Droit public – Services des affaires judiciaires, des cours et des tribunaux judiciaires
- Direction de l'aide juridique
- Recherche et statistiques
Clients de l'extérieur
- Sécurité publique et Protection civile Canada (SPPCC) – Différentes divisions, dont la GRC
- Conseil du Trésor (CT)
- Ministère des Affaires étrangères et du Commerce international du Canada (MAECI)
- Ministère de la Défense nationale (MDN)
- Transports Canada
Les personnes importantes et les clients ont été interviewés au moyen d'un guide conçu en fonction du cadre d'évaluation sommative du CGRR. Le cadre d'évaluation se trouve à l'annexe A.
4.3. Limites inhérentes aux méthodes d'évaluation
L'évaluation s'est heurtée à plusieurs limites inhérentes aux méthodes et à d'autres difficultés.
Rareté des sources de données.
L'évaluation repose sur les documents disponibles, les entrevues menées avec des contacts clés et les résultats des évaluations antérieures (évaluation formative et évaluation du projet pilote de Dorval). D'autres sources possibles, comme le système iCase et les données de mesure du rendement, avaient leurs limites, comme il est expliqué à la page suivante.
Limites inhérentes au système iCase.
Le système ne pouvait pas fournir les statistiques globales sur l'Initiative SPAT, ce que plusieurs facteurs expliquent :
- Quelques services ont des renseignements complets, mais tous ne consignent pas l'information dans le système iCase ou dans le système qu'il a remplacé, Caseview (p. ex., la SPDP, certains SJM).
- Les données consignées ne sont pas sûres pour une grande partie de la période d'application de l'Initiative SPAT : certaines sections n'ont commencé que récemment à consigner l'information dans le système iCase; l'information de Caseview n'est pas marquée en fonction de l'Initiative SPAT, comme elle l'est dans iCase, si bien qu'il est impossible de regrouper l'information des deux systèmes; la saisie des données n'est pas cohérente pour certaines sections (p. ex., Portefeuille CISP).
- Le système iCase est un compte rendu incomplet des activités. Alors que les avocats et les techniciens juridiques y consignent leur temps, d'autres membres du personnel, comme les gestionnaires de programme et les agents financiers ne le font pas.
Données de mesure du rendement limitées.
La disponibilité des données de mesure du rendement est limitée, comme il était du reste signalé dans l'évaluation formative. Le ministère est en train de revoir sa stratégie de collecte des données et de mesure du rendement. Chaque section doit définir les indicateurs clés qui seraient utiles à la mesure du rendement et aux rapports sur le rendement.
Définition des mesures du rendement.
L'évaluation du projet pilote de Dorval a attiré l'attention sur le fait qu'il est difficile de définir des mesures du rendement et de recueillir des données sur le rendement lorsqu'il s'agit d'activités comme la prestation de conseils juridiques. L'évaluation sommative a buté sur les mêmes difficultés; dans la prestation des conseils juridiques et l'élaboration de orientations, la distinction entre activités, extrants et résultats est souvent floue.
Attribution.
Il est difficile d'attribuer les résultats du travail du ministère lié à l'Initiative SPAT aux fonds reçus en vertu de cette initiative. Pour l'essentiel, les fonds sont destinés à appuyer davantage des activités dont le ministère se charge déjà, comme la prestation de conseils et de services juridiques. À cause de cet aspect de l'Initiative et de sa nature horizontale, il est difficile de définir avec précision les activités qui se rattachent à elle. Il est donc impossible d'établir un lien direct entre les fonds accordés, des activités distinctes et des extrants qu'ils appuient. De plus, les systèmes financiers du ministère ne sont pas conçus de façon à donner un tableau complet des activités financées dans le cadre de l'Initiative.
Choix de personnes importantes à l'extérieur de l'AC.
Quelques SJM ont eu du mal à savoir quelles activités étaient financées par l'Initiative SPAT. Par conséquent, plusieurs membres des SJM ont refusé l'entrevue, disant ne pas connaître l'Initiative suffisamment bien.
[7] Ministère de la Justice (2003), Rapport de vérification interne sur le système iCase. Récupéré le 20 septembre 2006 à l’adresse http://www.justice.gc.ca/fra/dept/pub/audit_reports/2003/iCase2003-f.pdf.
- Date de modification :