Évaluation des initiatives de vulgarisation et d'information juridiques : bibliographie annotée

3. Documents gouvernementaux

3. Documents gouvernementaux

3.1  Documents portant sur la VIJ

Un certain nombre de documents examinés dans la présente section ont été publiés avant la période de cinq ans précisée dans les objectifs de la bibliographie. En effet, nous avons inclus ces textes quand nous estimions qu'ils étaient pertinents aux contextes actuels en matière d'évaluation. D'autres documents, comme l'examen mené en 1986, figurent aux présentes parce qu'ils donnent une perspective historique de la recherche menée par le ministère de la Justice (et pour son compte). Le présent rapport peut être comparé à l'évaluation complète la plus récente, qui date de 1997, et qui est intitulée Tools for moving forward (Outils pour aller de l'avant).

Abdelahad, L., Sansfacon, D. et Beaulne, A.  (1989).  Access to justice: research reports on PLEI, research notes (Accès à la justice : rapports de recherche et notes en matière de VIJ).  Sous-direction de la recherche et du développement, ministère de la Justice du Canada. 

Aperçu général

Dans cette compilation de « notes », on résume douze rapports de recherche reliés à la VIJ et rédigés en 1986-1987, dans le cadre de la série « Accès à la justice » du ministère de la Justice. Même si les précis ne nous éclairent pas pour ce qui est d'évaluer les initiatives de VIJ comme telles, quatre résumés peuvent être utiles pour élaborer un cadre de référence. En 1984, le ministère de la Justice a créé le « Fonds d'accès à l'information juridique » et mis sur pied une stratégie dans le but de financer de nouvelles organisations de VIJ dans six provinces et territoires. Le financement a été accordé pour une période de trois ans et, vers la fin de cette période, on a lancé un appel d'offres en vue d'évaluer ces programmes. Les services de deux sociétés de consultation externes ont été retenus pour évaluer trois des six programmes (offerts au Manitoba, au Yukon et à Terre-Neuve) et le rapport de ces sociétés est annoté dans le présent ouvrage.

L'autre résumé de cette collection qui est particulièrement pertinent à l'évaluation des initiatives de VIJ figure au manuel de référence créé par Focus Consultants suite à la proposition annotée ci-dessous.

Alderson-Gill and Associates.  (1995).  Public legal education and information program: A new vision for PLEI (Programme d'information et de vulgarisation juridiques : nouvelle vision pour la VIJ). Ministère de la Justice du Canada. 

Aperçu général

Dans ce document, on expose à grands traits le rôle que le ministère de la Justice pourrait jouer au sein du réseau actuel de la VIJ et on signale que le développement devrait être plus poussé dans trois domaines précis : i) la création de partenariats; ii) l'utilisation accrue du Réseau d'accès à la justice (ACJNet); et iii) la concentration des efforts sur l'éducation. Cette nouvelle « vision » a été créée dans le but de tenir compte de ressources limitées tout en maximalisant les avantages des activités de VIJ sur le plan national. Pour chaque domaine signalé dans le rapport, on indique comment le Ministère peut mettre en œuvre les diverses composantes de l'évaluation. De plus, on reconnaît explicitement qu'il est rentable, pour tous les intéressés qui participent à la VIJ, de jouer un rôle de chef de file au chapitre de la recherche spécialisée et de l'évaluation. Aux termes du mandat voulant qu'on crée des partenariats, le Ministère peut aider les fournisseurs de services de VIJ à travailler en réseau. Grâce à un service de coordination centralisé, les fournisseurs peuvent être sûrs qu'ils ne reprennent pas inutilement ce qui a déjà été fait. On encourage ainsi le partage de l'information et la démarche devrait, en fin de compte, entraîner des améliorations supplémentaires pour la VIJ. Pour ce qui est du rôle du Ministère, on donne certains exemples, dont stimuler le recours à un réseau national d'organisations, créer un processus consultatif national applicable à la VIJ, maintenir un réseau de télécommunications à jour et coordonner des stratégies à l'échelle nationale. Le recours à l'ACJNet peut faciliter la plus grande partie de ce travail, et c'est le deuxième domaine principal sur lequel les auteurs recommandent de s'attarder. Dans le rapport, on s'attend clairement à ce qu'il y ait un lien entre l'évaluation et le fait de mettre l'accent sur l'éducation. En concentrant ses efforts sur ce domaine, le Ministère permettra d'accroître les connaissances sur l'efficacité relative de différentes démarches en matière d'éducation juridique parce qu'il apportera une contribution, au chapitre de la recherche et de l'évaluation, que les administrations individuelles n'ont pas les moyens de financer d'une manière systématique. Comme on reconnaît communément qu'il existe un besoin en matière de recherche et d'évaluation, le Ministère a un rôle à jouer : il doit faire preuve de leadership et coordonner les partenariats dans ce domaine.

Exigences du bailleur de fonds au chapitre de l'évaluation
Méthodes relatives à l'évaluation

Currie, J. et Roberts, T.  (1984).  An evaluation resource book for PLEI organizations : A proposal (Manuel de référence portant sur l'évaluation et destiné aux organisations de VIJ : proposition). Ministère de la Justice du Canada.

Aperçu général

Dans cet ouvrage, on propose de produire un manuel de référence portant sur l'évaluation qui serait destiné aux organisations de VIJ. Le Conseil canadien de la documentation juridique (« CCDJ »), c'est-à-dire le bureau central des services de VIJ au Canada au moment où la recherche a été menée, a donné ce projet en sous-traitance au groupe Focus Consultants. Dans l'article, on discute d'un certain nombre de défis fondamentaux et de problèmes précis qui compliquent l'évaluation des initiatives de VIJ. Bien que la plupart des groupes avec lesquels on a communiqué procédaient à un examen d'un genre ou d'un autre, on s'entendait pour dire que les évaluations qui existent à l'heure actuelle sont inefficaces, incomplètes et mal utilisées pour les fins souhaitées. En faisant valoir les avantages d'un manuel de référence canadien, les auteurs font remarquer ce qui suit : [TRADUCTION] « bien qu'on produise beaucoup de matériel d'évaluation pour les services sociaux et les organisations à caractère éducatif, nous en avons trouvé très peu qui a trait précisément à la VIJ. La VIJ intègre certains aspects des services sociaux et des programmes éducatifs, mais elle est unique en ce qu'elle porte sur le droit et fait intervenir des juristes » (p. 23). De plus, les fournisseurs de services de VIJ interrogés ont indiqué qu'ils manquaient, dans leurs organisations, d'un certain nombre de compétences au chapitre de l'évaluation. Tous estimaient que le manuel de référence proposé serait extrêmement utile, surtout parce qu'il garantirait que le gouvernement, d'autres bailleurs de fonds et les organisations de VIJ voient les choses d'un même œil. La plupart des problèmes signalés dans le rapport peuvent être réglés si on confie le matériel pertinent à un organisme central (comme l'ACVEJ ou une direction du ministère de la Justice) et que cet organisme se charge d'élaborer les critères applicables. Nombre d'obstacles sont attribuables au fait que la définition et les objectifs du projet, et de l'évaluation elle-même, ne sont pas clairs. En prévoyant des lignes directrices et en fournissant les compétences ou les méthodes requises pour procéder à l'examen, on pourrait alléger quelque peu le fardeau de l'évaluateur. Les défis et obstacles énumérés dans ce rapport sont toujours pertinents à l'évaluation des initiatives de VIJ. Conjointement avec le manuel de référence rédigé par les mêmes auteurs en 1986, l'ouvrage a toujours une grande portée et on devrait s'en inspirer lorsqu'on élabore du matériel qui a trait à l'évaluation et à l'information.

Défis relatifs à l'évaluation des initiatives de VIJ
Facteurs contextuels
Problèmes relevés
Méthodes relatives à l'évaluation

Godin, J.  (1994). Au-delà de l'aspect criminel : rapport sur la pénurie de documents de vulgarisation et d'information juridiques à l'intention des immigrantes maltraitées par leur mari. Section de la recherche, ministère de la Justice du Canada.

Aperçu général

Comme le titre l'indique, l'auteur de l'ouvrage confirme qu'on manquait, en 1994, de matériel de VIJ destiné aux immigrantes victimes de mauvais traitements infligés par leur mari. Au moyen d'entrevues et par un examen des écrits, l'auteur démontre qu'on a besoin de documents de VIJ dans ce domaine et signale quelques défis importants dont il faudra tenir compte lorsque ces documents seront produits, s'ils le sont un jour. On peut considérer que l'ouvrage est une forme d'évaluation des besoins; dans cette perspective, l'auteur rappelle que pour procéder à une évaluation complète et efficace, il faut prévoir, dès le départ, un examen informatif et minutieux des besoins du groupe cible. Il faut d'abord comprendre les obstacles auxquels divers groupes font face lorsqu'ils tentent d'avoir accès à l'information juridique; cette démarche est essentielle si on veut évaluer de manière satisfaisante la prestation de cette information.

Défis relatifs à l'évaluation des initiatives de VIJ
Exigences du bailleur de fonds au chapitre de l'évaluation
Méthodes relatives à l'évaluation

Moliner, M.  (1997).  Public legal education and information review: Tools for moving forward (Examen de la vulgarisation et de l'information juridiques : outils pour aller de l'avant).  Direction générale des programmes, ministère de la Justice du Canada.

Aperçu général

Cet examen est la plus récente évaluation de la participation du ministère de la Justice (« MJ ») aux programmes de VIJ. L'auteur fait valoir de multiples raisons pour lesquelles le MJ devrait continuer à prendre part aux initiatives de VIJ; il laisse également entendre que Justice Canada devrait préciser le rôle qu'il entend jouer dans la prestation des services, ce qui pourrait être accompli en ne produisant plus de matériel de VIJ et en faisant la distinction entre les « communications » ministérielles et la VIJ. Après avoir étudié la prestation des services de VIJ dans tout le Canada et consulté nombre de fournisseurs, le comité consultatif propose que le MJ arrête des critères applicables au financement des activités de VIJ et présente une stratégie de financement pluriannuelle ainsi qu'une infrastructure de financement qui viserait un ONG national, comme l'ACVÉJ. L'auteur recommande également de cibler le financement et les initiatives en matière de politiques en vue de combler les lacunes existantes (qu'il s'agisse des groupes auxquels on s'adresse ou des sujets touchés) et soutient que le MJ devrait jouer un rôle de chef de file en veillant à ce que cette « démarche ciblée » soit adoptée par les principaux fournisseurs de services de VIJ. Pour ce qui est de l'évaluation des initiatives de VIJ comme telle, l'auteur rappelle [TRADUCTION] « qu'il est nécessaire d'évaluer la prestation des programmes de VIJ si on veut garantir qu'on atteint les résultats voulus » et que le MJ devrait  [TRADUCTION] « soutenir la création d'un outil d'évaluation pour déterminer si les initiatives de VIJ ont les répercussions souhaitées ».  Il affirme en outre que tout cadre d'évaluation devrait correspondre à la démarche ciblée qui s'applique au financement et aux questions de politiques, à savoir, l'analyse [TRADUCTION] « des besoins, des lacunes et des priorités ». L'évaluation, dans ce cas, est considérée comme une responsabilité partagée entre le bailleur de fonds et les principaux fournisseurs de services de VIJ. Par conséquent, le rôle du MJ et d'autres bailleurs de fonds est de définir les objectifs de l'évaluation tandis qu'il incombe au fournisseur de présenter une évaluation pertinente. La seule recommandation qui ait trait à l'évaluation se trouve à la « Proposition 7 » : [TRADUCTION] Justice Canada devrait exiger qu'on procède à l'évaluation des groupes visés par les initiatives de VIJ qu'il finance et qu'on examine les répercussions qui découlent de ces initiatives. 

Défis relatifs à l'évaluation des initiatives de VIJ
Liens entre les buts et l'évaluation des initiatives de VIJ
Exigences du bailleur de fonds au chapitre de l'évaluation
Méthodes relatives à l'évaluation
Documents utiles à l'évaluation des initiatives de VIJ

On a proposé d'avoir recours à une méthode qui prévoit les buts suivants :

  1. Déterminer quels besoins sont satisfaits par les principaux fournisseurs de services de VIJ. Plus précisément, il faut répondre aux questions suivantes :

    1. Quel groupe touche-t-on ?
    2. Comment est-on arrivé à le joindre ?
    3. A-t-il compris l'information communiquée ?
    4. A-t-il pu agir efficacement en utilisant l'information juridique qui lui a été donnée ?

  2. Déterminer quelles sont les lacunes au chapitre de la prestation des services de VIJ :

    1. Qui ne joint-on pas et pourquoi ?

Public legal education and information: An evaluation assessment (Vulgarisation et information juridiques : examen de l'évaluation).  (1986).  Section de l'évaluation des programmes, ministère de la Justice du Canada.

Aperçu général

Dans ce document, on examine l'état actuel des services de VIJ fournis et financés par le Ministère et on détermine si on devait mener une évaluation complète de ces services. L'évaluation porte sur le niveau de soutien assuré par le Ministère aux autres fournisseurs de services de VIJ et son application est donc quelque peu limitée lorsqu'il s'agit d'organisations indépendantes de VIJ qui procèdent à une autoévaluation. Parce qu'il y a un lien direct entre l'utilité de l'évaluation et la précision des définitions, une partie du texte est consacrée à définir les termes « vulgarisation », « information » et « juridique ». On trouvera, dans la section suivante, un profil du programme de VIJ du Ministère, qui concerne la période antérieure et postérieure à 1984, et un exposé des diverses initiatives. On fait remarquer qu'il y a clairement un manque d'orientation politique dans ce domaine. L'auteur divise en deux parties les principaux sujets qui ont trait à l'évaluation et à la méthodologie : i) gestion des programmes (où il souligne les défauts au chapitre de la conception et de la mise en œuvre) et ii) répercussions et efficacité des activités. Une série de questions accompagne chaque « sujet ».

Sous la rubrique « gestion des programmes », les questions sont formulées en vue de perfectionner et de cibler le programme et la manière dont les décisions sont prises au chapitre du financement. Dans la deuxième rubrique, les questions sont plus directement pertinentes aux organisations de VIJ ou aux bailleurs de fonds qui se préoccupent de responsabilisation. Bien que les questions soient générales, elles peuvent servir à orienter l'élaboration de critères et de méthodes qui concernent l'évaluation. Toutefois, l'examen n'est pas applicable à l'évaluation de tous les fournisseurs d'initiatives de VIJ. Ainsi, il est logique de supposer qu'une organisation de VIJ souhaiterait obtenir des réponses qui lui permettraient de mesurer l'efficacité d'un programme destiné à un groupe cible particulier. Pourtant, dans cette étude, on estime qu'il est [TRADUCTION] « impossible d'évaluer dans quelle mesure les intéressés comprennent l'information communiquée ».

En bref, la distinction qui est faite dans cette étude entre « gestion des programmes » et « répercussions et efficacité des activités » peut toujours être utile au Ministère lorsqu'il considère son rôle au chapitre de la VIJ. À part cela, le document ne répond pas aux besoins pratiques des fournisseurs de services de VIJ parce que l'examen vise à mesurer le risque que court le Ministère lorsqu'il prend une décision au sujet des programmes de VIJ qu'il dispense (c'est-à-dire en fonction des résultats d'une évaluation complète ou sans considérer ces résultats). Ainsi, lorsque les buts et les objectifs d'une évaluation ont trait, globalement, à l'utilisation efficace des ressources pour les fins du Ministère, les questions soulevées sont toujours applicables; cependant, pour ce qui est du contrôle continu et de l'évaluation d'un programme précis, elles ne sont pas essentielles. Enfin, les coûts associés à une évaluationcomplète comme celle qui est décrite dans le document sont beaucoup plus élevés que ce que pourrait dépenser, de façon réaliste, une organisation de VIJ, même aupalier provincial. Parconséquent, le seul partenaire qui puisse tirer avantage de l'information fournie serait le ministère de la Justice, lorsqu'il cherche à évaluer son rôle dans le contexte des services de VIJ offerts au Canada.

Méthodes relatives à l'évaluation
Documents utiles à l'évaluation des initiatives de VIJ

Dans la section sur les répercussions et l'efficacité des activités, on trouve entre autres les questions suivantes :

3.2  Autres documents d'évaluation

Le ministère de la Justice a mené de nombreuses évaluations des projets de VIJ qu'il a financés. Au cours des dernières années, ces évaluations ont été moins fréquentes, mais le rapport ci-dessous est un bon exemple d'un examen gouvernemental des répercussions.

Ellis, P.  (1995). Les programmes éducatifs visant à modifier les connaissances, les attitudes et le comportement des jeunes. Direction générale de la recherche, de la statistique et de l'évaluation, ministère de la Justice du Canada. 

On trouve dans l'ouvrage un bon examen des documents pertinents ainsi qu'une discussion valable qui porte sur la modification des attitudes réalisée grâce à diverses initiatives (programmes scolaires ou extrascolaires et programmes d'éducation permanente, par exemple) et sur la modification des attitudes en général. L'auteur examine 8 composantes qui peuvent modifier les comportements et passe en revue 46 documents dans lesquels on étudie la modification des attitudes au moyen de procédés éducatifs.