Annexe A – Méthodologie

Contexte

Le premier cycle du SSC a été mis en branle par le ministère en 2006 et s’est terminé en 2009. Suivirent les cycles II (2009-2012), III (2016-2019) et IV (2020-2022) du SSC. Le cycle IV a été lancé en octobre 2020 auprès du Portefeuille des services du droit fiscal. Par la suite, le Sondage a été mené auprès du Portefeuille des droits et relations autochtones en février 2021, du Portefeuille des organismes centraux en juin 2021, du Portefeuille du droit des affaires et du droit réglementaire en novembre 2021 et, enfin, du Portefeuille de la sécurité publique, de la défense et de l’immigration en mai 2022.

À la conclusion de chaque cycle du Sondage, un examen exhaustif est effectué dans l’optique de peaufiner le processus de réalisation du SSC et d’apporter des améliorations dans la mesure du possible. Avec l’aide du Groupe de consultation statistique de Statistique Canada, le ministère a mis au point le questionnaire du SSC et une méthodologie pour recueillir les commentaires des clients et établir dans quelle mesure la prestation des services juridiques répond à leurs besoins et attentes. Au fil des années, Statistique Canada a joué un rôle important dans ce processus par son examen et sa remise en question de l’approche proposée, tout au long des étapes de conception et de mise en œuvre, par sa vérification des analyses des données du sondage, et par sa révision assortie de commentaires de la présentation des résultats contenus dans le présent rapport de SSC.

Réalisation du Sondage

Pour le présent cycle, des invitations à participer au Sondage étaient destinées aux employés des niveaux EX moins 1 et supérieurs de la région de la capitale nationale (RCN) et aux employés des niveaux EX moins 2 et supérieurs des régions. Au sein des 43 ministères et organismes clients, 4 598 utilisateurs ont indiqué avoir reçu des services juridiques de Justice Canada au cours des 12 mois qui ont précédé le Sondage.

Interprétation des résultats

Prenant la forme de notes de satisfaction, les données ont été recueillies auprès des clients à l’aide d’une échelle LikertNote de bas de page 16 de 10 comportant deux ancrages : pas satisfait du tout (1) et entièrement satisfait (10). La rétroaction a été sollicitée sur trois dimensions essentielles de la qualité des services, conformément aux normes de service du ministère : l’accessibilité et la réactivité, la rapidité et l’utilité (laquelle comprend la gestion des risques juridiques, qui est présentée séparément dans le présent rapport). Chaque dimension essentielle est composée d’un certain nombre d’éléments particuliers ayant trait à la satisfaction de la clientèle, et dont plusieurs sont directement associés aux normes de service du ministère pour les services juridiques. De plus, les utilisateurs de services devaient indiquer leur degré de satisfaction quant à la qualité globale des services juridiquesNote de bas de page 17 et à des éléments relevant de considérations générales. En ce qui a trait plus particulièrement aux éléments des normes de service, le questionnaire demandait aux utilisateurs de noter, outre leur niveau de satisfaction, l’importance qu’ils accordaient aux éléments, encore une fois à l’aide d’une échelle de 10. Enfin, les utilisateurs devaient en outre noter leur connaissance des normes de service du ministère de la Justice Canada.

Il convient de signaler également que la stratégie de pondération adoptée dans le cadre du premier cycle du SSC a été abandonnée à la suite d’une recommandation formulée par Statistique Canada avant le début du deuxième cycle. Par conséquent, tout renvoi aux résultats des cycles précédents du Sondage en ce qui a trait aux éléments de satisfaction, se rapporte maintenant à des données non pondérées comparables. Étant donné ce changement dans la méthodologie, certains résultats peuvent différer des valeurs publiées dans le rapport sur les résultats du cycle I.

Dans le présent rapport, les marges d’erreur sont indiquées sous la forme suivante : note (± marge d’erreur). L’ampleur de la marge d’erreur est généralement tributaire de la variabilité des réponses des répondants, de la taille globale du groupe de répondants, ainsi que du niveau de confiance établi par l’équipe du Sondage. Cette plage de valeurs est désignée par le terme « intervalle de confiance ». Pour les besoins du SSC, un intervalle de confianceNote de bas de page 18 de 95 % est appliqué. Par exemple, le présent rapport indique que les résultats relatifs à la qualité globale des services de contentieux sont de 8,5 (±0,1), ce qui signifie que l’intervalle de confiance de 95 % est représenté par la plage de 8,4 à 8,6 pour ce qui est de la note moyenne de qualité globale que les services de contentieux ont obtenue lors du Sondage.

Le SSC se fondait sur l’application d’une approche de recensement cibléNote de bas de page 19 dans le cadre de laquelle des invitations à participer étaient envoyées à tous les utilisateurs éventuels des services juridiques des niveaux EX moins 1 et supérieurs de la RCN et des niveaux EX moins 2 et supérieurs dans les régions. Cette approche a été retenue parce que les listes de personnel des ministères n’apportent qu’une aide limitée pour identifier les utilisateurs réels des services juridiques et parce qu’elle permet d’éviter d’éventuelles sources d’erreurs d’échantillonnage. Dans le cadre de la méthode de recensement, les marges d’erreur tiennent compte de la variabilité liée à ceux qui ne répondent pas au questionnaire. En d’autres mots, les répondants au SSC ont été traités comme un échantillon aléatoire de tous les utilisateurs possibles des services juridiques, en présumant que ces répondants étaient représentatifs de la population visée. Si tous les utilisateurs de services avaient répondu au sondage, il n’y aurait eu aucune variabilité et les marges d’erreur auraient été de zéro, étant donné que toutes les notes et perceptions auraient été prises en compte. Le facteur de correction d’échantillonnage pour population finieNote de bas de page 20 a également été appliqué au calcul des marges d’erreur pour tenir compte du nombre d’utilisateurs éventuels, ainsi que du nombre de répondants au Sondage. En l’absence de ce facteur, les marges d’erreur seraient surestimées lorsque les répondants représentent plus de 5,0 % des utilisateurs éventuels.

Deux tests T ont été effectués sur des échantillons indépendants de manière à faciliter la comparaison des notes entre le cycle actuel et les précédents, de même qu’entre les différentes catégories d’utilisateurs de services. Tous les tests T réalisés se fondaient sur l’hypothèse nulle, qui suppose l’équivalence de deux notes moyennes, plutôt que sur l’hypothèse contraire, selon laquelle les notes moyennes ne sont pas équivalentes. En d’autres mots, en déterminant laquelle de ces deux hypothèses on omet de rejeter, il est possible de savoir si la différence entre deux notes moyennes est statistiquement significative ou non.