Stratégie nationale antidrogue, Rapport final

2. Méthodologie

La présente section du rapport décrit la méthodologie appliquée à l'évaluation de la mise en œuvre de la Stratégie.

2.1. Cadre d'évaluation

Les ministères partenaires ont conjointement élaboré la démarche retenue pour l'évaluation et cette démarche est incluse dans le CGRR. En outre, il convient de souligner que les résultats devaient être compris, mais que la capacité de déclarer les résultats était limitée dans l'évaluation de la mise en œuvre étant donné le caractère relativement récent de la Stratégie et la capacité de déclaration du rendement des ministères participants.

2.2. Collecte des données

La méthodologie d'évaluation comportait un examen des documents et des dossiers, des entrevues (85), et trois groupes de discussion formés d'employés ministériels (19). Une technique de triangulation a servi à vérifier et valider les constatations ainsi dégagées et à déterminer les constatations générales de l'évaluation.

2.2.1. Examen des documents et des dossiers

L'examen des documents et des dossiers a porté à la fois sur des dossiers au niveau de la Stratégie comme telle et sur des dossiers ministériels. Les dossiers concernant la Stratégie dans son ensemble comprennent les documents, les notes d'information et la correspondance créés par le Comité directeur des sous-ministres adjoints, les groupes de travail et l'Unité des initiatives stratégiques du ministère de la Justice. Les dossiers ministériels comprennent notamment la documentation, les recherches, les études et les évaluations ayant trait aux programmes, les rapports, les évaluations, les publications et d'autres produits ayant trait aux projets, les systèmes d'information de gestion des programmes permettant de gérer les cas, les projets, les données statistiques et d'autres renseignements administratifs enfin, les rapports du rendement ministériel préparés en réponse aux exigences de la Stratégie.

2.2.2. Entrevues

Au total, 85 individus ont été interviewées, y compris les personnes suivantes :

Les membres du Sous-comité sur l'évaluation et le rendement ont dressé une liste initiale des individus à interviewer. Ils ont reçu une invitation initiale, soit de leur ministère/organisme (dans le cas des SMA et du personnel ministériel) soit de la Division de l'évaluation du ministère de la Justice (MJ) (dans le cas des intervenants externes et des bénéficiaires de fonds). Cette communication initiale expliquait la raison d'être de l'évaluation et invitait chacun à participer à une entrevue.

Tous les individus figurant à la liste initiale ont été rejointes. Certaines d'entre eux, un petit nombre, ont refusé l'invitation. Dans certains cas, ils ont désigné d'autres individus au sein de leur organisation comme étant de meilleurs candidats à l'entrevue. Les entrevues ont été tenues par téléphone dans la langue officielle de préférence des individus enquêtées.

L'échelle ci‑après a servi à analyser les données en provenance des principaux intervenants en vue du présent rapport.

Peu; Certains; La moitié environ; La plupart; Tous

2.2.3. Groupes de discussion composés de personnel ministériel

Enfin, trois groupes de discussion ont été organisés auprès du personnel ministériel associé à la mise en œuvre de la Stratégie. L'objet de cet élément était de valider les constatations de l'évaluation, d'étudier les conclusions éventuelles et, à la lumière des constatations préliminaires de l'évaluation, explorer les solutions possibles en vue du rapport final.

Les entrevues en groupes de discussion ont été tenues après le dépôt des résultats préliminaires et la présentation des conclusions préliminaires au SCER. À ce moment, les enjeux saillants de l'évaluation étaient connus. Le SCER a défini trois sujets qu'il voulait creuser dans la collecte de données finales. Les guides de l'animateur ont ensuite été préparés à partir de l'analyse préliminaire des constatations.

Chaque groupe de discussion a examiné un des grands thèmes suivants : 1) conception et perceptions relatives à la Stratégie; 2) gouvernance et horizontalité; 3) mesure et déclaration du rendement. Les participants, désignés par des membres du SCER, comprenaient des cadres supérieurs, des directeurs et gestionnaires de programme par exemple; tous les ministères et organismes partenaires avaient été invités à présenter des participants, mais la participation aux groupes de discussion était facultative. En tout, 19 individus ont participé au travail des groupes de discussion, certaines d'entre elles s'étant jointe à plus d'un groupe. La participation, par ministère/organisme, a été la suivante :

Toutes les réunions des groupes de discussion ont eu lieu le 16 septembre 2009, à Ottawa. Les idées et les propositions issues de ces groupes sont intégrées dans le texte des sections pertinentes du présent rapport et ont contribué à l'élaboration des conclusions générales de l'évaluation.