Évaluation des initiatives de vulgarisation et d'information juridiques : bibliographie annotée

4.1 Évaluation des initiatives de VIJ

4. Rapports d'évaluation

4.1 Évaluation des initiatives de VIJ

Les rapports annotés dans la présente section sont de véritables évaluations, à la fois internes et externes, de récentes initiatives de VIJ. On remarquera, dans la liste qui suit, que les organisations de VIJ qui procèdent à des évaluations approfondies adoptent, pour ce faire, une démarche méthodique et cohérente. Ces démarches, ainsi que la documentation et l'analyse qui figurent dans nombre de ces rapports, peuvent être appliquées à divers programmes de VIJ d'autres administrations.

Burtch, B. et Reid, K. (1993). Discovering barriers to legal education: First-generation immigrants in greater Vancouver (Les obstacles à la vulgarisation juridique : première génération d'immigrants de la région métropolitaine de Vancouver) Vancouver : The People's Law School.

Aperçu général

Ce rapport d'évaluation a été produit pour la People's Law School (« PLS ») de Vancouver, en Colombie-Britannique. Les objectifs de cet examen étaient à trois volets : i) déterminer qui sont les utilisateurs des programmes de VIJ offerts par l'école; ii) définir les obstacles auxquels fait face la première génération d'immigrants lorsqu'il s'agit d'avoir accès à de l'information juridique, et indiquer comment la PLS peut surmonter ces obstacles; et iii) évaluer le rôle de la VIJ au chapitre de l'adaptation des immigrants. On se penche sur la principale méthode de prestation de services de VIJ offerte par l'école, à savoir, les cours de droit gratuits qui sont donnés dans le cadre du programme des minorités culturelles. On utilise des groupes témoins, c'est-à-dire que les participants sont divisés en deux groupes : ceux qui ont suivi les cours de droit de la PLS et ceux qui ne l'ont pas fait. L'étude vise à améliorer la prestation des services offerts par l'école et à fournir [TRADUCTION] « de l'information directement pertinente aux organismes de la C.-B. qui s'adressent aux immigrants, ainsi qu'aux personnes qui s'intéressent à l'élaboration des politiques et à l'administration de la justice dans cette province ». La plus grande partie de ce rapport peut être utile à des organisations qui travaillent avec des immigrants de première génération, mais le manuel de l'enquêteur et le questionnaire peuvent être fort précieux pour une vaste gamme d'organisations de VIJ. En particulier, les « règles applicables à l'entrevue » contiennent des conseils simples qui permettent d'éliminer les préjugés lorsqu'on pose les questions et qu'on cherche à obtenir des réponses. Ces directives sont particulièrement pertinentes lorsqu'il y a de nombreux enquêteurs et que la cohérence du processus peut être menacée. De plus, les données de base et les questions sur les besoins juridiques peuvent facilement être adaptées à différents groupes et à d'autres sujets qui ont trait à l'information juridique.

Éléments communs

Évaluation externe
Quatre objectifs de l'étude sont clairement exprimés dans le document et sont liés aux conclusions
Les recommandations comprennent un certain nombre de suggestions relatives à la poursuite de la recherche ou de l'examen

Défis relatifs à l'évaluation des initiatives de VIJ

Les évaluateurs ont eu de la difficulté à produire un échantillon de population. Dans la plupart des cas, les gens se méfiaient de ce qui avait trait à la justice, souvent à cause de la répression politique dont ils avaient été victimes dans leur pays d'origine, ou croyaient que les données seraient utilisées à des fins gouvernementales. De plus, pour de nombreux participants, les questions étaient de nature personnelle et ils hésitaient à discuter, par exemple, de leur revenu et de leur opinion sur les politiques.

Méthodes relatives à l'évaluation

L'étude a été menée à l'aide d'entrevues semi-structurées qui faisaient suite à un long questionnaire. Ce questionnaire était divisé en deux parties : 24 questions sur de l'information de base (caractéristiques personnelles) et 18 questions sur les besoins en matière d'information juridique.
Les questionnaires, en cinq langues, ont fait l'objet d'examens préliminaires et ont été modifiés au besoin.
Les intervieweurs ont été recrutés dans les cinq communautés ethniques visées par l'enquête. Ils étaient tous bilingues et on a cherché à faire en sorte qu'ils soient du même sexe que la personne interrogée. Ils ont participé à une séance de formation sur le questionnaire; enfin, on leur a remis un manuel qui comprenait des règles générales pour la conduite d'entrevues ainsi que de l'information particulière et des techniques de sondage pour la plupart des questions.
On a eu recours à des scénarios fictifs pour évaluer les connaissances des personnes qui ont suivi des cours de droit gratuits, dans chacun des cinq groupes culturels.

Curtis, C. K. et Meehan, G. (2001). Courtlink auto crime prevention program: Evaluation report (Programme Courtlink de prévention des actes criminels commis à l'égard de véhicules). Vancouver : Law Courts Education Society of British Columbia.

Aperçu général

Ce programme d'une durée de treize heures, dispensé en Colombie-Britannique, a été conçu pour les élèves du second cycle de l'enseignement primaire et ceux des écoles parallèles; il a été élaboré par la Law Courts Education Society of B.C. Les buts de l'évaluation étaient à deux volets : préciser les réactions au programme ou les expériences pertinentes et déterminer dans quelle mesure le programme atteint les deux objectifs signalés, à savoir, accroître les connaissances et promouvoir des attitudes positives. On a utilisé différents outils d'évaluation pour mesurer ces deux objectifs. Le rapport fait état d'une compréhension extrêmement complète des méthodes d'évaluation et comprend une analyse détaillée des conclusions auxquelles on en arrive. À chaque étape, les auteurs expliquent pourquoi ils font certains choix et suggèrent des méthodes efficaces pour évaluer des initiatives de VIJ destinées à différents groupes. À l'instar d'autres évaluations externes officielles, on trouve, aux sections sur la méthodologie, de l'information utile pour mener des évaluations ultérieures. On explique en détail les mesures qu'on a prises pour élaborer la recherche relative à l'enquête et les outils de pré-testage/post-testage; ces mesures peuvent être adaptées à d'autres programmes d'enseignement. On trouve, en annexe, des questions qui ont trait à la recherche et divers outils d'évaluation qui seraient un bon point de départ pour tout programme de VIJ destiné aux écoles.

Éléments communs

Évaluation externe
L'évaluation fait partie intégrante du projet; elle est menée avant la prestation du programme, pendant qu'il se déroule et une fois qu'il a pris fin
On indique clairement dans le rapport quels sont les buts de l'évaluation et du programme d'enseignement; les méthodes d'évaluation sont appliquées à différents buts.
Dans l'une des recommandations, on suggère de procéder annuellement à un examen et à une mise à jour du matériel utilisé par les enseignants pour garantir qu'il reste actuel. C'est là une manière courante de surveiller l'évolution d'un projet sans avoir à subir les coûts considérables liés à l'embauche d'évaluateurs externes.

Défis relatifs à l'évaluation des initiatives VIJ

Il est souvent souhaitable d'utiliser des questions ouvertes si on veut obtenir une réaction émotionnelle, psychologique et intuitive; cependant, il est important que les fournisseurs de services de VIJ classent les réponses préférées ou celles qui sont « les plus souhaitables » afin de préciser les résultats voulus.
Les limites imposées aux enquêtes de rétroaction peuvent encourager la cohérence des comptes rendus. Quelque part dans le questionnaire, il importe de fournir l'occasion de discuter des « facteurs » qui touchent l'administration du programme. Ainsi, il ne suffit pas de demander si une activité particulière a été utile ou efficace; il faut également savoir combien de temps a été consacré à cette activité ou si elle était appropriée aux élèves en question.
L'un des inconvénients du pré-testage, c'est que les participants savent qu'on mène une étude (ce qui peut fausser les résultats).

Liens entre les buts et l'évaluation des initiatives de VIJ

Les buts des programmes de VIJ devraient être réalistes et adaptés aux populations cibles et au contexte. Ainsi, lorsque les élèves démontrent qu'ils connaissent déjà un sujet donné, l'animateur ne devrait pas s'attendre à voir un « accroissement considérable du savoir », même si cela est l'un des buts déclarés.

Méthodes relatives à l'évaluation

Les questionnaires ont été élaborés pour trois groupes (les animateurs avaient deux questionnaires différents à remplir) dans le but de mesurer les résultats du programme.
Les élèves ont fait l'objet de pré-testages et de post-testages afin de mesurer ce qu'ils avaient appris et d'évaluer le changement d'attitude.
Tous les tests ont fait l'objet d'essais pilotes et des modifications ont été apportées en conséquence.
Les tests comprenaient des questions fondées sur un scénario; on demandait aux élèves ce qu'il fallait faire dans le cas donné et quelle mesure serait probablement prise.
Les évaluateurs ont également demandé aux élèves et aux enseignants de leur faire part de leurs commentaires oralement et de leur indiquer ce qu'ils pensent du programme.

Ellis, D. (1997). Program review (Examen des programmes). Vancouver: The People's Law School.

Aperçu général

Dans cette étude, on résume un examen détaillé des programmes de VIJ de la People's Law School (« PLS »). L'examen fait intervenir une gamme d'intéressés du domaine de la VIJ dans le but de mettre en perspective les services de la PLS du point de vue local et provincial. On tire trente conclusions, qui sont rassemblées en huit catégories d'enquête, et on formule cinq recommandations adressées précisément au personnel et au conseil d'administration de la PLS. Même si « les conclusions et les leçons » recueillies pour chaque groupe ou méthode d'évaluation intéressent directement le personnel et le conseil d'administration de la PLS, elles seront aussi utiles à d'autres organismes de VIJ. L'évaluation est rédigée clairement et le rapport est structuré de manière à donner facilement accès à l'information pertinente, particulièrement lorsqu'il s'agit de la section à points centrés qui suit chaque question intitulée « Que nous apprennent ces conclusions ? ». Les outils utilisés dans les diverses sections de l'évaluation figurent en annexe et peuvent être utiles aux fournisseurs de services de VIJ lorsqu'ils conçoivent des évaluations. On trouvera par exemple des extraits du guide d'entrevue, un formulaire relatif à la rétroaction des clients, un formulaire de commentaires sur les ressources ou brochures ainsi que des guides sur les groupes de concertation, dans lesquels on trouve divers sujets et questions.

Éléments communs

Évaluation externe
L'évaluation est menée après le programme
L'examen a des objectifs clairs, mais généraux : [TRADUCTION] « analyser l'efficacité et l'efficience des programmes dispensés actuellement par la People's Law School, pour ce qui est des besoins courants et à venir en matière de VIJ, et considérer le rôle de la Société par rapport aux autres fournisseurs de services de VIJ de la province » (p. 8).
Il n'y a aucun commentaire sur des évaluations ultérieures ou continues

Défis relatifs à l'évaluation des initiatives de VIJ

Il est difficile de déterminer si les programmes se chevauchent, pour un certain nombre de raisons :
- Les fournisseurs de services de VIJ estiment que les besoins sont tels qu'on n'offrira jamais suffisamment d'activités
- On ne s'engage pas à partager l'information afin d'éviter la répétition des tâches
- Il y a un manque de confiance entre les organisations et elles ne coordonnent pas efficacement leurs initiatives
- On estime qu'il est plus probable qu'un grand nombre d'organisations de petite taille, par opposition à des services fusionnés de taille importante, mettent en œuvre des méthodes innovatrices

Exigences du bailleur de fonds au chapitre de l'évaluation

Bien qu'on hésite à discuter du chevauchement, le bailleur de fonds s'inquiète grandement du fait que les divers fournisseurs de services de VIJ offrent les mêmes programmes et déploient les mêmes efforts que leurs collègues; il veut que ce type d'analyse soit inclus dans les évaluations.
C'est principalement le bailleur de fonds qui a proposé que les activités soient mieux coordonnées entre les principaux fournisseurs de services de VIJ, même si les organisations intéressées hésitent à procéder de la sorte.

Méthodes relatives à l'évaluation

Démarche qualitative fondée sur la participation
Deux groupes de concertation : i) le personnel de la PLS et ii) le conseil d'administration de la PLS
Rétroaction des distributeurs au sujet du matériel et des brochures de VIJ
Entrevues avec les bailleurs de fonds, les groupes dont les besoins en matière de VIJ n'ont pas été satisfaits, les coparrains des programmes de la PLS et des observateurs ou spécialistes du domaine de la VIJ; toutes les entrevues sont menées dans la langue maternelle du sujet interrogé
Enquêtes pour connaître les observations des clients (684 formulaires ont été remis à l'évaluateur)

Law Courts Education Society of British Columbia. (2000). Journeys of justice First Nations research project: Final report (Parcours de la justice, projet de recherche sur les Premières nations : rapport final). Vancouver: Law Courts Education Society of British Columbia.

Aperçu général

Cette évaluation détaillée a été entreprise deux ans après l'introduction du programme scolaire intitulé First Nations Journeys of Justice (Parcours de la justice pour les Premières nations) dans les écoles primaires de la Colombie-Britannique. L'étude a été menée sur quatre ans et l'objectif principal était d'examiner si le programme a [TRADUCTION] « un effet positif sur les connaissances, les attitudes et, en fin de compte, le comportement des élèves pour ce qui est de la justice » (p. 4). En raison de l'ampleur et de la nature de l'étude, il a fallu élaborer des méthodes d'évaluation qualitatives et quantitatives. Dans les conclusions du rapport, on analyse comment ces deux aspects de la recherche sont reliés entre eux (à savoir, comment ils se complètent ou se contredisent). Cette section est particulièrement instructive parce que, dans les rapports d'évaluation examinés, on n'accorde généralement pas beaucoup d'attention (ou pas d'attention du tout) à la manière dont divers outils ont une action réciproque. L'autre section qui pourrait être appliquée de manière générale à l'évaluation des initiatives de VIJ est la partie 6 intitulée « Key Issues of Research Methodology » (Questions fondamentales relatives aux méthodes de recherche) (pages 106 à 117). On souligne ci-dessous certaines caractéristiques de ces défis mais, étant donné qu'on se penche rarement sur ces questions dans d'autres rapports, les fournisseurs de services de VIJ peuvent trouver utile d'examiner cette section pour connaître les défis que leurs collègues ont dû relever dans le cadre de programmes à caractère éducatif. Globalement, il s'agit d'un excellent modèle d'évaluation. Cependant, la plupart des organisations de VIJ ou des bailleurs de fonds ne peuvent se permettre de procéder à une recherche de cette ampleur ni de lui consacrer un financement de cette importance.

Éléments communs

Évaluation externe et axée sur des comités qui a été principalement coordonnée par la Law Courts Education Society of B.C. Certains conseillers des Premières nations ont pris part à l'évaluation et à la conception du programme scolaire
L'évaluation a débuté deux ans après que le programme a été mis en place dans les écoles; elle a été menée en même temps que le programme pour les écoliers des 4e, 5e et 6e années
Les buts de l'évaluation sont clairs, mais détaillés si on tient compte de la durée de l'étude

Défis relatifs à l'évaluation des initiatives de VIJ

En raison du fait que le programme avait une teneur autochtone et que la population cible était partiellement autochtone, il était important que les études qualitatives soient menées par des résidents locaux qui avaient la formation nécessaire et qui connaissaient bien la collectivité. Même si le matériel et les tests avaient fait l'objet de projets pilotes, cette démarche restait importante pour la collecte de données pertinentes.
Pour les fins de la recherche à venir, on a souligné trois facteurs fondamentaux applicables à des sujets analogues (études longitudinales menées dans des écoles primaires), dont il faut tenir compte :
1. Modification de la composition des groupes d'écoliers
2. Changements apportés au personnel et nouveaux styles d'enseignement
3. Modifications apportées au testage des variables et du programme scolaire
D'autres questions/défis particuliers au projet ont été rassemblés en trois catégories principales :
1. Questions locales, à savoir, obtention de permissions, nouveaux enseignants ou écoliers pendant l'année scolaire, distances à parcourir, interruptions inattendues, modification de la recherche pour régler des problèmes particuliers.
2. Questions relatives à l'analyse et à la recherche, à savoir, prestation non uniforme des programmes, selon les écoles, lacunes au chapitre des données comparatives, manque de cohérence dans le mode d'enseignement et les procédés relatifs au testage
3. Questions administratives, à savoir, en raison de la complexité du projet, il a fallu consacrer à l'initiative plus de temps et d'efforts que prévu

Méthodes relatives à l'évaluation

Outils quantitatifs

Pré-testages/post-testages pour mesurer les connaissances générales et les connaissances particulières
Enquêtes sur les attitudes (les enquêtes préliminaires et les enquêtes postérieures étaient interchangeables)
Questionnaires sur le comportement adaptés à trois groupes distincts

Outils qualitatifs

Entrevues semi-structurées
Groupes de concertation
Observation en classe et consignation des notes prises sur le terrain
Les anecdotes racontées en classe ou les « expériences vécues » communiquées oralement par les enseignants, les écoliers et les membres de la collectivité portaient surtout sur un changement de comportement et d'attitude. Les auteurs remarquent que [TRADUCTION] « cette démarche fondée sur l'anecdote est conforme à la tradition orale des Premières nations qui fait appel à l'expérience vécue (…) et elle peut être utilisée pour illustrer des thèmes et fournir un fondement ou une structure à l'analyse des données » (p. 56).

Shariff, S. (2000). Identifying successful school and community programs for youth: An evaluation rubric and compendium of sources – DRAFT (Programmes scolaires et communautaires destinés aux adolescents : évaluation des programmes couronnés de succès et condensé des sources - ÉBAUCHE). Partenariat d'éducation sur la justice applicable aux adolescents, ministère de la Justice du Canada. Extrait le 20 décembre 2001 à partir du site suivant : http://www.extension.ualberta.ca/youthjustice/rubric.htm.

Aperçu général

Les deux principaux objectifs de ce document sont i) de trouver des sources d'information sur les programmes qui visent la modification du comportement, à l'école et dans la collectivité (abrégé des sources) et ii) d'élaborer un cadre d'évaluation qui aide à déterminer les programmes d'intervention cruciaux, à l'école et dans la collectivité (ce cadre est reproduit ci-dessous). On a évalué vingt-deux programmes scolaires à l'aide de ce cadre de référence qui devait être assez souple pour être appliqué à une variété de programmes multidisciplinaires; dans ce cas-ci, les programmes sont classés sous les rubriques suivantes : santé, éducation et justice. Chaque rubrique est à la base d'une norme nationale applicable à l'analyse des programmes et, comme telle, elle n'est pas limitée qu'aux programmes destinés aux adolescents. Même si les conclusions des vingt-deux évaluations sont divisées entre programmes « didactiques » et programmes « holistiques », cette distinction n'a pas vraiment de conséquences pour la valeur de la rubrique. La structure intègre quatre démarches conceptuelles en matière d'évaluation; ces démarches proviennent des travaux de cinq auteurs différents. En combinant des éléments de ces diverses démarches, on a créé une rubrique qui [TRADUCTION] « généralement parlant et sans exception, est applicable aux programmes, aux politiques ou à l'évaluation des programmes et des politiques » (p. 29). Comme nous l'avons signalé dans l'introduction, il est extrêmement utile de produire des listes détaillées du matériel de VIJ qui existe dans un domaine donné, et une telle ressource est précieuse pour les fournisseurs de services de VIJ à l'échelle nationale et internationale. Le condensé des sources compilées dans ce projet de recherche est un excellent exemple de ce type de ressource. On y trouve différentes catégories de sources : revues spécialisées, articles de revues et articles de publications universitaires, vidéocassettes et bases de données, ouvrages qui concernent les écoles, allocutions prononcées dans le cadre de conférences, législation applicable, etc. Ces sources sont elles-mêmes divisées en programmes dispensés dans l'ensemble d'une école, programmes scolaires et communautaires, et programmes communautaires; de plus, on a prévu des listes de sources qui ont trait à des sujets d'actualité, comme la justice réparatrice, la médiation et les programmes destinés aux adolescents.

Dans le cadre de ce projet, on souligne qu'il faut considérer le sujet à l'étude d'après une gamme de perspectives. Pour ce faire, on peut se familiariser avec les écrits multidisciplinaires pertinents. Ce travail de base sera plus ou moins poussé selon les ressources disponibles et l'évaluateur. Ainsi, l'organisation de VIJ qui évalue les programmes qu'elle dispense ou le matériel qu'elle distribue n'aura probablement pas besoin de mener une recherche approfondie dans le domaine. Cependant, il vaut mieux être au fait de la recherche qui est pertinente et à jour si on veut garantir que les projets répondent à des questions pressantes et qu'ils tiennent compte le plus possible des facteurs contextuels touchant les groupes cibles. Ainsi, dans le cadre de ce projet, on a examiné l'influence des politiques administratives sur les écoles, passé en revue les études sur l'ennui, dans la mesure où ce facteur influe sur le comportement des adolescents et la perpétration d'actes violents, et considéré d'autres éléments de poids, comme la pauvreté et l'emploi.

Éléments communs

Dans ce projet de recherche, il n'est pas pertinent de déterminer si l'évaluation est interne ou externe parce que le mandat vise l'élaboration d'un cadre applicable à l'évaluation. Cependant, dans la plupart des programmes étudiés, l'examen fait intervenir des évaluateurs internes et externes.
Les objectifs du projet sont clairement exprimés

Défis relatifs à l'évaluation des initiatives de VIJ

La principale contrainte dont il est fait mention dans tout le projet est une contrainte de temps et, comme l'évaluation est un processus continu, on peut toujours recueillir plus d'information. C'est la raison pour laquelle les auteurs font remarquer que nombre de programmes exceptionnels n'ont pu être inclus.
En raison de l'ampleur des programmes évalués dans le cadre du projet, il était difficile, du point de vue logistique, d'obtenir des données de tous les coins du pays.
Il était difficile de trouver des rapports écrits sur les programmes parce que [TRADUCTION] « ceux qui sont à la tête d'excellents programmes sont trop occupés pour rendre compte de leur travail, car ils passent tout leur temps et consacrent toute leur énergie à s'occuper des jeunes (…) et ils ne trouvent pas le temps de faire connaître leur démarche, leurs activités ou leurs succès et échecs » (p. 31).
Comme pour la plupart des autres sujets, il faut s'efforcer de ne pas s'en tenir aux hypothèses et au vocabulaire utilisés couramment lorsqu'on discute des adolescents qui risquent d'être aux prises avec la justice et de la violence à l'école.

Liens entre les buts et l'évaluation des initiatives de VIJ

Dans la deuxième section de la rubrique, on est tenu d'examiner si les buts énoncés sont atteints, ce qui est particulièrement pertinent pour le bailleur de fonds qui se préoccupe de responsabilisation.

Méthodes relatives à l'évaluation

Dans les études d'évaluation, diverses méthodes sont retenues, du compte rendu verbal des réussites à un suivi officiel et approfondi de la carrière, des activités et de la famille des élèves, sur un grand nombre d'années. D'autres méthodes sont aussi couramment employées : pré-testages et post-testages relatifs aux programmes; compte rendu d'incidents portant sur l'intimidation, études de comportements rebelles ou délinquants; observation en salle de classe; rétroaction par voie électronique; études menées dans le cadre de visites à domicile; enquêtes et questionnaires; entrevues avec le personnel ou les enseignants; collecte d'information sur les changements d'attitude (comparaison entre le comportement adopté avant et après le programme).

Documents utiles à l'évaluation des initiatives de VIJ

La rubrique est reprise ci-après en entier; elle se trouve également au sommaire du présent document.

Rubrique relative à l'évaluation du Programme d'éducation sur la justice applicable aux adolescents (PÉJA)

Raison d'être et buts : qu'est-ce qu'on essaie d'accomplir dans le cadre du programme ? (Est-ce une démarche critique, éthique, transformatrice, éducative, dialectique, justifiable sur le plan juridique ?)

Qu'est-ce qui est à la base du programme et quels sont ses objectifs ?

Éléments fondamentaux : comment atteindre les buts du programme ?

Quels sont les éléments clés (teneur, présentation et mise en application) qui contribuent au succès du programme ou démontrent que le succès est possible ?

Évaluation du programme dont la recherche fait état

Indiquer les résultats des études où on évalue le programme ainsi que les méthodes retenues, si l'information est disponible.

Examen du contexte : à qui s'adresse le programme, où sera-t-il mis en œuvre et quel en sera le point de vue ?

Indiquer dans quelle mesure les programmes et les modèles permettent d'intervenir dans différents milieux et auprès de divers groupes d'adolescents (en tenant compte des caractéristiques des adolescents visés par le programme, du contexte socio-culturel propre à l'école qu'ils fréquentent, des facteurs qui ont des répercussions sur leur vie, comme l'âge, les antécédents familiaux, l'appartenance à un groupe ethnique, la pauvreté, l'ennui, le sexe, l'orientation sexuelle, l'état de santé mentale et physique, l'invalidité et les politiques administratives existantes.)
Conséquences pour ce qui est du succès du programme ou domaines où il est possible d'apporter des améliorations :
La démarche est-elle transformatrice, critique, éducative, éthique, dialectique et justifiable du point de vue juridique ?]
Analyse et discussion du programme en fonction des critères ci-dessus et de la recherche menée à partir d'écrits qui reflètent des perspectives multidisciplinaires : éducation, sociologie, psychologie et modification du comportement.

Sy, S. S. et Anderson, K. (1999). Violet: Learning on the net. Final report to the Office of Learning Technologies (Violet : apprendre sur Internet. Rapport final au Bureau des techniques d'apprentissage). Extrait le 24 décembre 2001, à partir du site suivant : http://www.acjnet.org/home.cfm.

Aperçu general

Il s'agit d'un projet à phases multiples qui comprend la conception et l'évaluation d'un site Web interactif destiné aux femmes victimes de violence et aux fournisseurs de services qui s'adressent à elles, et dans le cadre duquel on offre une formation. Dans un premier temps, on a mis le site Web sur pied et fait en sorte que les maisons de refuge pour femmes aient accès à Internet. Dans un deuxième temps, et c'est ce dont il est question dans ce document, on a passé en revue un certain nombre d'ouvrages, décrit le processus applicable à la conception du site Web et les méthodes de recherche pertinentes et présenté les conclusions de deux évaluations. Afin de mieux comprendre comment un groupe particulier de femmes (c'est-à-dire des femmes qui ont subi de mauvais traitements et les fournisseurs de services qui s'adressent à elles) a acquis des connaissances en droit au moyen d'Internet, on a eu recours à deux stratégies : i) une étude qualitative en petits groupes; ii) une évaluation externe dans le cadre de laquelle on a fait appel à l'analyse de spécialistes et on a procédé à un essai de convivialité. Ce document est une excellente ressource pour d'autres projets d'apprentissage axés sur le Web. On y trouve un examen des écrits et une bibliographie à la fois approfondis et complexes; les résultats de l'évaluation sont résumés thématiquement et peuvent être facilement appliqués à d'autres sujets et domaines. Dans l'extrait tiré de l'évaluation externe, il y a de nombreuses suggestions détaillées concernant des méthodes efficaces qui permettent d'adapter des sites Web à différents contextes et styles d'apprentissage. En outre, à l'annexe B, on brosse les grandes lignes du plan de recherche, ce qui peut être un guide utile pour une organisation qui conçoit une évaluation.

Éléments communs

On a mené deux évaluations distinctes, l'une externe, l'autre interne.
L'évaluation est intégrée à la conception du projet. Cette démarche est particulièrement utile lorsque le programme en est encore à l'étape de l'élaboration et que l'outil de communication et d'apprentissage est en constante et rapide évolution.
Les buts de la phase II sont énoncés clairement dans le rapport et on s'en est servi pour élaborer le projet.
On fait mention de questions qui pourraient être étudiées au chapitre du suivi et qui seraient utiles aux évaluations ultérieures (internes et externes).

Défis relatifs à l'évaluation des initiatives de VIJ

Lorsque les services sont dispensés sur le Web, on ne peut savoir avec exactitude qui sont les utilisateurs; toutefois, si on sait comment on fait la promotion du site et à qui cette promotion s'adresse, ou encore, si on obtient une rétroaction en direct, on a une idée plus précise de l'identité des utilisateurs.
Il est difficile de mesurer le succès de l'initiative et de déterminer si le site est utile aux groupes cibles. On pourrait mettre en place un système de dénombrement, mais cela ne permettrait pas de déterminer l'utilité de la mesure, de découvrir si la situation de l'intéressée a changé grâce au programme ni de voir si l'utilisatrice est davantage habilitée.

Liens entre les buts et l'évaluation des initiatives de VIJ

Les objectifs du projet, dont les résultats à long terme, sont indiqués au début du processus de conception, ce qui aide à orienter l'évaluation. Les conclusions et les constatations sont mises en rapport avec les résultats attendus en vue de déterminer si l'outil d'apprentissage est utile et efficace.

Méthodes relatives à l'évaluation

Étude qualitative menée par les membres du projet

Après les séances de formation avec les responsables des refuges et d'autres organisations, on a tenu des périodes de questions semi-structurées; la démarche s'adressait aux maisons de refuge en milieu rural et urbain, ainsi qu'aux foyers d'urgence et de deuxième étape.
Conjointement avec une organisation, on a mené une étude pilote du site Web pendant une séance d'une demi-journée, au cours de laquelle on s'est penché sur la formation, l'utilisation du programme et le débreffage.
Aucune mesure n'était prévue, avant ou après l'évaluation, pour mesurer les changements au chapitre des connaissances, de la compréhension et de l'attitude.
Après toutes les séances de testage, on a consigné les conclusions et les résultats de l'évaluation dans un agenda électronique.

Évaluation externe

On a procédé à un examen minutieux du site (contenu, conception structurelle) et déterminé les facteurs psychologiques et situationnels qui ont des répercussions sur la navigation visuelle.
On s'est entretenu avec les utilisatrices pendant qu'elles naviguaient à l'intérieur du Net et on a observé leurs expressions faciales et leurs mouvements (on a procédé ainsi avec cinq femmes de niveaux d'instruction variés, qui ont été choisies au hasard et qui n'avaient pas nécessairement été victimes de violence familiale).
L'utilisation de ce mode d'évaluation est limitée (par exemple, on ne peut l'employer avec de jeunes enfants).
Ce mode d'évaluation exige beaucoup de temps, mais il permet d'obtenir un grand nombre de données.

The People's Law School. (1994). Report of the multicultural and immigrant seniors legal education project, 1992-1994 (Rapport du projet de vulgarisation juridique mené auprès de personnes âgées immigrantes et d'origine multiculturelle, 1992-1994) . Vancouver : The People's Law School.

Aperçu général

Ce projet contient un certain nombre d'éléments de VIJ ainsi qu'une composante importante qui a trait au développement communautaire. La population cible a été déterminée à partir d'une recherche menée auprès d'organismes communautaires et gouvernementaux, et la People's Law School a créé le Projet de vulgarisation juridique pour répondre aux besoins de cette population. En partie, le rapport d'évaluation a été rédigé pour aider d'autres organisations de VIJ fondées sur la collectivité à mettre en œuvre leurs propres programmes de vulgarisation destinés aux personnes âgées. Dès le début, on énumère cinq stratégies et diverses activités sont élaborées pour atteindre les objectifs et les stratégies visés. Entre autres, plus de 90 cours de vulgarisation juridique ont été donnés, il y a eu des ateliers professionnels et des émissions radiophoniques, et on a produit deux publications qui ont été reprises en cinq langues et distribuées à des milliers de personnes âgées. Ce rapport sera utile aux fournisseurs de services de VIJ et particulièrement à ceux dont le mandat est de servir les personnes âgées, les immigrants ou ces deux groupes de personnes. Il est rédigé en peu de mots et tient compte, pour ce qui est de l'évaluation, d'un certain nombre de questions que d'autres rapports négligent.

Éléments communs

L'évaluation est interne; elle est élaborée et rédigée par ceux qui ont conçu et mis en œuvre les divers programmes. Au départ, on avait l'intention de procéder à une évaluation externe, mais ce projet a dû être abandonné parce que le budget ne le permettait pas.
L'évaluation a eu lieu après que la plupart des activités ont été conclues; cependant, quelques caractéristiques fondamentales du projet comprenaient des objectifs à long terme et permanents, dont la création de réseaux communautaires.
Pour l'avenir, on a proposé des projets de recherche qui feraient intervenir une certaine évaluation.

Défis relatifs à l'évaluation des initiatives de VIJ

On a discuté des avantages et des inconvénients d'une évaluation interne. Les auteurs reconnaissent que si l'évaluation est intégrée au projet, on n'est pas aussi objectif que si elle est distincte de la conception et de la mise en œuvre du programme. Cependant, on estime que la participation directe permet de mieux savoir à quel moment on réalise des progrès et comment le projet s'adapte aux circonstances et change avec le temps.
Nombre d'objectifs du projet ne peuvent être mesurés de manière quantitative. Ainsi, les avantages qui découlent de la création d'un réseau qui s'adresse à différents groupes d'immigrants, grâce auquel on diffuse de l'information sur des questions juridiques qui intéressent les aînés dans le but de créer des liens et d'échanger les données, ne peuvent être [TRADUCTION] « mesurés en comptant le nombre de participants à un événement ou le nombre de copies distribuées » (p. 14).
À l'instar d'autres programmes axés sur la collectivité, ce sont les participants et les membres de la collectivité qui fournissent les lignes directrices et les orientations propres au projet. Par conséquent, il ne semble pas approprié d'évaluer le « succès » d'une activité, étant donné que la gestion du projet (de sa conception à sa réalisation finale) est entre les mains des membres de la collectivité et qu'elle est adaptée à des populations cibles uniques.

Exigences du bailleur de fonds au chapitre de l'évaluation

Le rapport comprend une section sur le fait qu'il faut trouver un équilibre entre, d'une part, le développement communautaire qui ne produit aucun avantage concret et, d'autre part, les « réalisations » (comme des événements ou publications) auxquelles s'attendent le bailleur de fonds ou ceux qui participent au projet. Les auteurs font remarquer que [TRADUCTION] « si toutes les réalisations, ou la plupart d'entre elles, portent sur des chiffres, des événements ou des publications, il reste peu de ressources (temps, énergie, argent, bénévoles) qu'on peut consacrer au développement communautaire. En raison de ces pressions, le processus risque de devenir une démarche descendante traditionnelle, aux termes de laquelle les besoins sont définis par ceux qui ont le moins à voir avec la collectivité et avec les personnes les plus touchées par le programme » (p. 21).

Méthodes relatives à l'évaluation

Des formulaires de rétroaction ont été remis à toutes les personnes âgées qui ont participé au projet.
Aux fins de l'évaluation, on a tenu une réunion avec tous les membres du comité ou on les a consultés.
Les fournisseurs de services qui ont pris part à des ateliers de perfectionnement professionnel ont fourni verbalement une rétroaction informelle.
Pour ce qui est des comités et des événements, on a fait des commentaires généraux.
Dans le cadre de certaines activités, l'évaluation était intégrée à la conception (par exemple, il y a eu des séances de remue-méninges et des réunions en petits groupes sur la manière de créer et d'améliorer des liens communautaires, et de nombreuses initiatives ont été mises sur pied à partir du projet et du travail réalisé en comité).

Whyte, K. J. (2000). Native youth at risk courtlink program: Pilot project evaluation report (Programme Courtlink sur les jeunes autochtones en situation de risque : rapport d'évaluation sur le projet pilote). Vancouver : Law Courts Education Society of British Columbia.

Aperçu général

Ce bref rapport d'évaluation est très complet et il s'agit d'un excellent modèle pour évaluer les initiatives de VIJ. Le programme qui fait l'objet de l'évaluation est d'une durée de deux jours et s'adresse aux adolescents qui risquent d'être aux prises avec la justice. Une partie du programme est donnée au palais de justice qui est situé dans la collectivité où se trouve l'école. La manière dont on recueille l'information correspond aux buts de l'examen, de sorte qu'on se penche sur toutes les questions fondamentales. Grâce à la gamme de techniques d'évaluation utilisées dans l'examen du programme, on garantit que les commentaires et les observations communiqués sont facilement reflétés dans les conclusions et les recommandations. On a explicitement invité les participants à faire connaître leur opinion et à indiquer si le programme avait atteint les buts visés; en même temps, on leur a également offert de fournir des suggestions et des commentaires généraux sur les programmes à venir. En évaluant la présentation du matériel, on a retenu une gamme de variables qui ont été subdivisées en catégories (variables relatives aux élèves et au programme). L'évaluateur reconnaît donc que la manière dont on dispense le programme est aussi importante, sinon plus, que le matériel et le programme eux-mêmes. Les auteurs du rapport attirent également l'attention sur le lien crucial qui existe, d'une part, entre la qualité et l'efficacité du programme et, d'autre part, le fait que sa structure peut être adaptée à une vaste gamme d'intérêts et d'aptitudes chez les élèves.

Éléments communs

Évaluation externe
L'évaluation est intégrée à la conception du projet pilote et elle a été menée en même temps que le programme
Les buts de l'évaluation sont énoncés clairement dans le rapport
Il y a un troisième but : déterminer s'il est souhaitable de procéder à une évaluation additionnelle qui porterait sur les répercussions et les résultats. Étant donné que l'information et les données recueillies indiquaient toutes que le programme et la manière dont il avait été présenté étaient très satisfaisants et qu'on avait atteint le groupe cible, on a recommandé de ne procéder à aucune autre évaluation du matériel.

Défis relatifs à l'évaluation des initiatives de VIJ

L'évaluateur a remarqué que les commentaires offerts dans le cadre de la rétroaction n'étaient pas les mêmes selon qu'on se reportait aux questionnaires ou qu'on étudiait les observations personnelles des participants. C'est la raison pour laquelle on a proposé de prévoir, si possible, des modes d'évaluation multiples, de manière à permettre à chacun de s'exprimer en choisissant la méthode qui lui semble la plus directe et intelligible.
L'évaluateur a fait remarquer qu'il est plus nécessaire de procéder à une évaluation lorsque le programme de VIJ touche des sujets délicats. On a donc déclaré que [TRADUCTION] « si le programme Courtlink (…) comprend du matériel sur la violence familiale et la violence sexuelle, il serait important d'entreprendre une évaluation approfondie, dans le cadre de laquelle il y aurait des contacts multiples avec les adolescents qui participent au programme, les enseignants et les familles intéressées » (p. 20).

Méthodes relatives à l'évaluation

L'évaluateur a assisté à la prestation de la totalité du programme, à cinq endroits dans la province. Il a consigné les observations et rendu compte du matériel de fond étudié dans le cadre des activités.
Il y a eu des entrevues et des discussions non officielles avec les enseignants et les élèves pendant et après le programme.
Chaque jour, après le programme, il y a eu une entrevue avec l'animateur à chaque endroit où le programme a été dispensé (10 entrevues en tout).
On a recueilli des données quantitatives à l'aide de questionnaires écrits présentés à quatre groupes : (tous les formulaires figurent au rapport et constituent les annexes A à D)
- Élèves
- Tous les observateurs (enseignants, aides-enseignants, bénévoles, membres de comités, etc.).
- Personnel du tribunal – le questionnaire porte sur de l'information qui est pertinente à la phase antérieure au programme.
- Enseignants – évaluation du matériel qui est pertinent à la phase antérieure au programme.

Date de modification :: 2022-08-26