Évaluation de la Stratégie national antidrogue
2. Méthode d’évaluation
2.1. Portée et approche
L’évaluation portait sur les activités menées dans le cadre de la SNA par les 13 ministères et organismes participants du 1 avril 2011 au 31 mars 2016.
Les éléments d’évaluation ont été harmonisés avec la Politique sur l’évaluation (2009) du Conseil du Trésor du Canada. Une approche d’évaluation fondée sur les résultats a été mise en œuvre pour évaluer les progrès réalisés vers l’atteinte des résultats escomptés. La matrice d’évaluation présentait en détail la stratégie d’évaluation et a permis d’assurer une collecte de données uniforme à l’appui de l’évaluation. Compte tenu du mandat récemment élargi pour y inclure les initiatives de l’AMO qui sont actuellement mises en œuvre sur plusieurs années, ainsi que la récente mise en œuvre de la SEC, les questions et les méthodes l’évaluation pour ces volets étaient axées sur l’exécution des activités et les progrès par rapport aux résultats escomptés.
2.2. Méthode de collecte des données
Diverses méthodes ont été employées pour recueillir les données nécessaires à l’évaluation, y compris un examen des documents et des dossiers, une analyse documentaire, une analyse des données administratives, des entrevues menées auprès des principaux intervenants, et deux études de cas (AMO et SEC). Conformément à ses protocoles de participation horizontale internes, les Services nationaux d’évaluation des programmes de la GRC ont conservé la responsabilité de la collecte et de l’analyse de toute l’information interne de la GRC ainsi que de la réalisation indépendante d’entrevues avec ses membres.
2.2.1. Examen des documents et des dossiers
L’examen des documents visait à extraire de manière systématique les données secondaires pertinentes qui fournissent des données probantes propres à un indicateur précis d’évaluation. En plus de contribuer à l’ensemble des données probantes, ces sources ont éclairé l’élaboration des instruments de collecte de données pour d’autres éléments de preuve multiples, et ont été utiles à placer les constatations de l’évaluation dans le contexte approprié. La plupart des documents ont été classés dans l’une des trois grandes catégories suivantes: les documents stratégiques, les documents pangouvernementaux, ou les documents ministériels. Des exemples de documents de ces trois catégories sont résumés dans le tableau ci-après.
Tableau1 : Documents examinés dans le cadre de l’évaluation
Documents stratégiques
- Rapports ministériels sur le rendement du ministère de la Justice, rapports sur les Initiatives horizontales, qui comprennent des rapports financiers
- Procès-verbaux de réunions et comptes rendus de décisions
- Rapport annuel sur le rendement
Documents pangouvernementaux
- Budgets
- Discours du Trône
- Documents stratégiques
- Autres mécanismes d’exécution et pratiques exemplaires de mise en œuvre et d’exploitation d’initiatives, de stratégies ou de programmes semblables
Documents ministériels
- Documents de planification
- Données sur le rendement
- Résultats des évaluations menées par les ministères partenaires individuels
- Rapports d’évaluation des projets financés
2.2.2. Analyse documentaire
L’analyse documentaire appuie l’intégration d’une perspective externe dans le cadre de l’évaluation, en particulier en ce qui concerne les questions de pertinence, ainsi que la mesure dans laquelle la Stratégie a atteint ses résultats attendus à long terme. Elle englobait la documentation examinée par les pairs et la documentation parallèle, et portait sur les rapports liés aux drogues illicites et à l’AMO, les programmes non fédéraux traitant des problèmes de drogues illicites et d’AMO, et les études internationales sur les drogues. Des sources provenant d’autres administrations (regroupant les provinces et les territoires canadiens ainsi que des gouvernements étrangers et des organismes internationaux comme l’UE, l’ONU, le R.-U., les É.-U. et l’Australie) étaient comprises.
2.2.3. Entrevues des intervenants clés
Quarante-trois entrevues avec des intervenants clés et trois consultations ont été menées: 38 entrevues et trois consultations avec des hauts fonctionnaires des ministères partenaires de la Stratégie (voir la répartition ci-après) et cinq entrevues avec des intervenants provenant d’organisations externes. Conformément à ses protocoles de participation horizontale internes, les Services nationaux d’évaluation des programmes de la GRC ont conservé la responsabilité de la collecte et de l’analyse de toute l’information interne de la GRC ainsi que de la réalisation indépendante d’entrevues et de consultations auprès de ses employés.
Ces entrevues ont été réalisées par téléphone selon un guide semi-structuré conçu et adapté pour chaque type de répondant qui harmonisait les questions de l’entrevue avec les questions relatives à l’évaluation. Les résultats sont présentés à un niveau agrégé dans le rapport.
| Ministère partenaire | Entrevues effectuées |
|---|---|
Santé Canada |
11 |
Ministère de la Justice Canada |
5 |
Agence des services frontaliers du Canada |
2 |
Agence du revenu du Canada |
1 |
Service correctionnel du Canada |
2 |
Centre d’analyse des opérations et déclarations financières du Canada |
1 |
Affaires mondiales Canada |
2 |
Bureau du directeur des poursuites pénales |
2 |
Sécurité publique |
0 |
Services publics et Approvisionnement Canada |
1 |
IRSC |
3 |
Gendarmerie royale du Canada |
8 + 3 consultations |
Nombre total des entrevues dans les ministères partenaires |
+ 3 consultations |
2.2.4 Études de cas
Deux études de cas ont été réalisées sur les investissements relatifs à l’AMO et à la SEC. Les études de cas comprenaient des examens des documents, un groupe de discussion sur les questions relatives à la SEC, et des renseignements tirés des entrevues auprès des principaux intervenants.
2.3. Limites, difficultés et stratégies d’atténuation
L’évaluation a rencontré certains défis et limitations qui sont décrits ci-dessous :
- Capacité d’agréger les impacts : Compte tenu du large éventail d’activités, des résultats escomptés et des indicateurs de rendement associés à la Stratégie, il est difficile de quantifier et d’agréger les résultats des programmes d’une manière significative et concise. Diverses méthodes de recherche qualitative ont été utilisées pour résoudre ce problème.
- Recours aux commentaires des représentants du Ministère. La capacité d’obtenir des commentaires directs de la cible clé de la Stratégie (p. ex., les jeunes à risque, les délinquants et les Autochtones) est limitée par la taille de l’évaluation et par les droits à la vie privée. Cette question a été abordée, en grande partie, à travers l’examen approfondi des documents, en particulier les rapports d’évaluation et d’enquête. Les entrevues étaient menées en grande partie avec des représentants des ministères, ce qui aurait pu mener à des biais dans les réponses; cependant, cela a été atténué autant que possible en validant les résultats par d’autres recherches primaires et secondaires.
- Attribution : Il est difficile d’attribuer des résultats particuliers à la Stratégie par rapport à d’autres ressources, programmes et tendances affectant les groupes cibles. Dans certains cas, le financement de la Stratégie a été utilisé pour accroître la capacité existante plutôt que d’établir de nouvelles initiatives ou de nouveaux services; en tant que tel, il est difficile d’attribuer des impacts particuliers aux nouvelles ressources fournies dans le cadre de la Stratégie par rapport aux ressources préétablies existantes. Ce défi a été relevé en encourageant les intervenants clés à fournir des exemples spécifiques d’activités ou de projets lors de la discussion des impacts. En outre, l’examen des documents a permis de mieux saisir les effets attribuables à la Stratégie.
- Données limitées disponibles sur les coûts d’exécution du programme : Les composantes individuelles ont fourni des informations sur les budgets et les dépenses du programme. Toutefois, compte tenu de l’éventail de représentants susceptibles de participer à des activités particulières et de l’absence de données de coûts en fonction des activités, il n’est souvent pas possible de déterminer les ressources spécifiques dédiées à la Stratégie. Par ailleurs, cette lacune a rendu plus difficile l’évaluation de l’économie et de l’efficacité du programme.
- Données de performance incohérentes : Dans certains cas, les rapports annuels sur le rendement contenaient des indicateurs de rendement incohérents pour l’ensemble des composantes de la Stratégie. Cela a compliqué l’agrégation des données qualitatives et la présentation des impacts survenus au cours de la période d’évaluation. Pour atténuer ce défi, des références à des réalisations d’une seule année ont été incluses, en mettant l’accent sur des activités plus complètes et en équilibrant ces chiffres avec une évaluation qualitative des tendances et des principales réalisations au cours des cinq années.
Dans l’ensemble, ces limites de l’étude ont été atténuées, dans la mesure du possible, grâce à l’utilisation d’éléments de preuve multiples et à la triangulation des données afin d’établir la fiabilité et la validité des résultats. L’analyse des constatations était fondée sur la matrice d’évaluation (voir l’annexe 2) et a été effectuée par question d’évaluation. Les sections restantes du rapport sont structurées selon les principaux objectifs de l’évaluation.
- Date de modification :