Évaluation du soutien fédéral en matière de justice familiale

3. Portée de l’évaluation et méthodologie

3.1. Portée de l’évaluation

En préparation à l’évaluation, une matrice d’évaluation a été élaborée en consultation avec un comité consultatif composé de représentants de la Section de la FEA, de la DIAI et de la DRS du Ministère. La matrice indiquait en détail plusieurs questions de l’évaluation afin de l’harmoniser à la Politique sur l’évaluation de 2009 du Conseil du Trésor, qui servait à l’origine à couvrir tous les secteurs de travail entrepris par la Section de la FEA qui allaient au-delà de la justice familialeNote de bas de page 5. Toutefois, lorsque l’évaluation a commencé en 2017-2018, la portée était calibrée pour se concentrer plus exclusivement sur le travail dans le domaine de la justice familiale réalisé par le Ministère. Cette approche s’harmonise avec les exigences prévues dans la nouvelle Politique sur les résultats de 2016.

3.2 Sources de données

L’évaluation dépendait de nombreuses sources de données pour en arriver à des constatations et à des conclusions. La collecte de données a eu lieu tout au long de la période couverte par l’évaluation, bien que la plus grande partie de la recherche ait été réalisée en 2017 et en 2018. En plus de l’examen de documents, de la littérature et des dossiers, il y a eu huit études évaluant les coûts. Des entrevues ont été menées avec 26 informateurs clés, dont 16 représentants du Ministère et 10 représentants des provinces et des territoires, et un groupe de discussion a eu lieu avec 20 autres représentants des provinces et des territoires. Des sondages ont été effectués avec d’autres homologues fédéraux et des provinces et des territoires qui ont participé à diverses séances de formation ou webinaires. Des sondages ont également été menés auprès de participants profitant directement des programmes et des services administrés par les provinces et les territoires et financés, au moins en partie, par le Ministère. Cela comprenait des sondages menés auprès de 16 000 participants au programme d’éducation parentale (PEP) et de plus de 650 participants à des services de médiation, ainsi qu’un sondage de suivi à plus long terme réalisé auprès de 283 personnes ayant participé à des services d’éducation parentale, de médiation ou des centres de services d’information et de droit de la famille. Les sources de données sont résumées dans le tableau ci-dessous (voir l’annexe C pour plus de renseignements).

Figure 1  : Aperçu des sources de données

Figure 1 décrit çi-dessous
Version texte – Figure 1  : Aperçu des sources de données

La figure 1 illustre les six différentes sources de données utilisées comme méthode de collecte de données dans le cadre de l’évaluation ainsi que les outils correspondants.

Les six sources de données comportent :

  1. des sondages, qui incluent un sondage réalisé auprès des intervenants partenaires de la FEA, des sondages de départ et de suivi financés par le FSF, des sondages d’évènements de la SFEA et un sondage sur le droit de la famille de 2016;
  2. des études du ministère de la Justice, qui incluent une analyse de l’environnement, une étude juridique et politique sur la famille, les enfants et les adolescents et une analyse descriptive et critique des méthodes utilisées pour assurer l’exercice du droit de visite;
  3. un examen de dossiers et de documents, qui incluent un examen de dossiers et de documents de 36 rapports d’étapes annuels des PT, des rapports d’achèvement sur 28 projets du FSF, des données sur le rendement (métriques de la SFEA), des données financières et autres et autres documents;
  4. des entrevues auprès des informateurs clés, dont 16 représentants ministériels et 10 représentants des PT; 
  5. un groupe de discussion, soit un groupe de discussion avec 20 représentants des PT; et
  6. des études de schématisation des processus et d’établissement des coûts qui comportent 5 études axées sur les coûts des processus d’exécution réciproque des ordonnances alimentaires, une étude portant sur le nouveau calcul administratif et 2 études axées sur les services familiaux axés sur les tribunaux.

3.3.Limites de l’évaluation et stratégies d’atténuation

Le moment de l’évaluation n’a pas permis une analyse détaillée des incidences du FCJF récemment mis en œuvre, lequel a remplacé le FSF. Afin d’aborder cette question, le rapport d’évaluation décrit la nature des changements et tient compte du contexte actuel (lié au nouveau mandat permanent, à la récente introduction du FCJF, et au projet de loi visant à modifier la Loi sur le divorce, la Loi d’aide à l’exécution des ordonnances et des ententes familiales, et la Loi sur la saisie-arrêt et la distraction de pensions) dans l’élaboration des conclusions et des recommandations.

Bon nombre de personnes interviewées ont participé directement aux activités fédérales de justice familiale (c’est-à-dire, fournir un soutien et des services ou bénéficier de services), ce qui peut entraîner un biais positif dans les réponses. Afin de minimiser les biais, de nombreuses sources de données (qualitatives et quantitatives) ont été utilisées pour trianguler les résultats et accroître la fiabilité des données.

La vaste gamme d’activités, de résultats et de réalisations déclarés par les bénéficiaires du FSF, combinée à la structure du modèle d’établissement de rapports, a rendu difficiles le regroupement et la synthèse significatifs des résultats. Pour atténuer les incidences, l’évaluation a incorporé un examen exhaustif des dossiers afin de résumer les résultats déclarés par les provinces et les territoires. Les exigences d’établissement de rapports et les gabarits ont été renforcés avec la mise en œuvre du FCJF en 2017-2018.