Denis Meuret a été notre invité pour la troisième séance du séminaire EDU.TE.CO. 2010 dans le cadre du Colloquium du DEC. Cette fois nous nous sommes éloignés des sciences cognitives en restant néanmoins au centre du problème de l’éducation basé sur la preuve et sur la connaissance. La preuve peut venir de tests comme ceux propres aux sciences cognitives (mesures de résultats individuels, tests randomisés avec groupes de contrôle) mais aussi de mesures effectuées par les économistes et sociologues qui évaluent les effets de réformes ou de l’éducation comme l’effet du redoublement, de la réduction de la taille des classes ou des ZEP.
Denis Meuret opère à l’IREDU, un des rares laboratoires à étudier le volet quantitatif des sciences de l’éducation. Il se pose donc les problématiques liées à la “evidence-based education” dans un cadre économique et des sciences de l’éducation. Voici ce qu’il nous a raconté à partir de la question suivante: Quels sont les obstacles à la evidence-based éducation -l’éducation des études empiriques- sur l’efficacité des politiques éducatives ?
- Les divergences entre les résultats. Par exemple : la réduction de la taille des classes est un sujet étudié depuis les années 20 mais les études donnent lieu à des résultats contrastants. En 1986, une méta-analyse sérieuse a montré que les études qui indiquent un effet positif à propos la réduction des classes étaient plus nombreuses que celles qui affichaient un résultat inchangé. Une autre étude expérimentale (STAR) a montré que les petites classes (15-18) engendrent un effet positif que l’on retrouve plus tard. Cette étude a effectué une série de biais que les autres études ne prenaient pas en compte, notamment les biais de l’endogénéité (les élèves moins bons étaient typiquement mis dans les petites classes). Dans cette étude, les élèves sont repartis au hasard dans des classes grandes ou petites. En France, en 2003, Piqueti a confirmé ces données. La plupart des études expérimentales trouve donc que la réduction de la taille des classes est une chose positive mais ce résultat n’est pas homogène. Et ceci même après d’études sérieuses et le recours à des techniques expérimentales sophistiquées.
- La difficulté d’attribuer des résultats à des causes. Exemple des ZEP (Zone d’Education Prioritaire) : on constate de mauvais résultats dans les ZEP en dépit de la petite taille des classes. Les mauvais enseignants envoyaient plus volontiers des élèves dans les ZEP que les autres. Si on a l’impression que les ZEP sont inefficaces, c’est peut-être parce que les élèves du ZEP se retrouvent face à des enseignants inefficaces. Toutefois, est-ce que cela explique la totalité de l’ “effet ZEP” ?Autre exemple : le soutien scolaire. Les études qui mesurent les résultats du soutien scolaire donnent des résultats divergents et on ne sait pas pourquoi. En revanche, dans une étude sur l’efficacité des collèges au début des années 90, une chercheuse a utilisé comme variable dépendante la progression des élèves qui comprend toute une série de paramètres, y compris le soutien scolaire. Elle a trouvé que toutes choses égales par ailleurs, les établissements avec soutien scolaire ont un meilleur résultat. En prenant en compte tous les aspects du collège on trouve donc un résultat positif. Mais il faut d’abord étudier toutes les variables en cause.
- Il existe plusieurs études sur le redoublement, y compris des études qui prennent en compte le biais d’endogénéité. Elles aboutissent au même résultat : le redoublement est inefficace. Certains pays ont décidé de supprimer le redoublement, mais même dans ces pays (notamment la Belgique) on estime que sans la menace du redoublement les étudiants ne travailleraient pas. Et ceci, même si le recours au redoublement est corrélée avec les mauvaises scores aux évaluations PISA, enquête menée tous les trois ans auprès de jeunes de 15 ans dans les 30 pays membres de l’OCDE et dans de nombreux pays partenaires. En Belgique, quoi qu’il en soit, c’est la « politique d’effort » qui a gagné. Même en présence de données concluantes, il n’est donc pas facile d’implanter des politiques éducatives basées sur des données expérimentales. Le même discours vaut pour les Zones d’Education prioritaire (ZEP). Le fait d’être en ZEP est préjudiciable ou n’améliore rien (niveau en français et en maths), en particulier pour les élèves les plus faibles, mais ce n’est pas le cas concernant les bons élèves. Au niveau politique, on peut en déduire qu’il faudrait supprimer la politique des ZEP ou la centrer sur un nombre plus limité de ZEP. Meuret a proposé, suite à son étude sur les ZEP, une politique de primes pour les ZEP efficaces et de suppression de primes pour celles inefficaces. Une même donnée expérimentale peut ainsi donner lieu à différents types d’indications pratiques.
- Les chercheurs sont affectés de manière préférentielle. Exemple des écoles de Milwaukee, plus grande ville de l’État du Wisconsin: les bons élèves ont le droit à un bon (voucher) pour aller étudier dans les écoles privées laïques. Les élèves qui en bénéficient, apprennent-ils mieux que ceux qui n’en bénéficient pas ? On trouve des résultats partagés. Une étude a été menée par un chercheur neutre sur la question et il en ressort que les élèves profitant des vouchers n’ont pas de meilleurs résultats que ceux qui sont allés à l’école publique. Mais, par contre, on a aussi découvert que les écoles publiques se sont améliorées depuis la mise en place des vouchers sous l’effet de la concurrence des écoles privées (pour ne pas perdre les bons élèves au profit des écoles privées). On a donc deux paramètres à prendre en compte : non seulement celui des résultats des élèves qui bénéficient du voucher mais aussi celui des effets de la politique des vouchers. Aussi, on peut être porté à généraliser les résultats, à demander des critères stricts ou à chercher un écart plus ou moins important entre les résultats.
- Les chercheurs peuvent avoir des propres préjugés. Exemple du PISA en France : les mauvais résultats de la France en langue et en maths ont été interprétés comme causés par les tests qui auraient été conçus par des chercheurs anglo-saxons et qui auraient donc été influencé culturellement. Mais on a démontré que cette influence culturelle n’existait pas. Les différences culturelles indiquent plutôt les objectifs des écoles de chaque pays. Le système français, par exemple, n’évalue pas la capacité à savoir utiliser ses connaissances, et c’est justement cette capacité qui est évaluée par les tests PISA. On peut alors conclure que la France a intérêt à changer d’objectifs car la capacité à utiliser ses compétences est un bon objectif. Mais, par ailleurs, certains affirment que la France est défavorisée par des études comme PISA.
- Principe d”accountability” (responsabilité) : c’est le principe du NCLB (No Child Left Behind), loi fédérale sur l’éducation. Le NCLB exige que les élèves soient compétents (”proficient”) dans leur Etat. Les résultats aux tests, mis en place par les Etats, des élèves américains se sont améliorés après 2002, date de la loi NCLB. Des chercheurs américains (Mintrop & Sunderman) contestent ces résultats. Il se basent sur les NAEP (National Assessment of Educational Progress), tests nationaux, et disent que d’après ces tests cette tendance est beaucoup plus faible que celle mise en évidence par les tests des Etats (elle n’est pas non plus nulle) et affirment aussi que cette tendance est insuffisante pour contrer la pression mise sur les profs à cause des tests et du risque de voir fuir les élèves vers des écoles publiques (charter schools). D’après Meuret, ce n’est pas la comparaison entre l’avant et l’après NCLB aux Etats-Unis qu’il faut étudier mais celle entre les pays qui suivent le principe d’« accountability » (régulation par les résultats) tels que les pays scandinaves ou anglo-saxons et ceux qui n’ont pas mis en place cette régulation tels que les pays latins. Meuret pense que la régulation par les résultats amène une amélioration que ce soit dans le public comme dans le privé. Si on veut éviter cette régulation on doit réactiver le discours Durkheimien qui affirme que la société ne peut pas juger l’école parce que l’école fait la société et la citoyenneté ; discours qui est nuisible aux élèves les plus faibles.
L’amélioration des méthodes expérimentales est passé par la randomisation de l’échantillon (vraiment expérimentales et non semi-expérimentales). Mais les expérimentations ont des limites notamment à cause de leur coût et du nombre de sujets testés. Aussi, l’amélioration passe par la non-implication des chercheurs, la recherche de bases de données généralistes et de débats entre chercheurs devant des jurys où des chercheurs défendent leurs résultats contre d’autres qui affichent des résultats divergents (une manière pour la recherche d’utiliser des résultats qui ne vont pas tous dans le même sens).
Questions :
La régulation basée sur les résultats dans les pays Scandinaves n’est pas la même chose que le NCLB. La mise en place de l’évaluation et le type d’évaluation peut changer les résultats. Les pays Scandinaves en effet n’ont pas implanté la même régulation. La Finlande ainsi que le Québec ont une régulation basée sur des résultats plus faibles mais ont de très bons résultats au PISA (au niveau de l’efficacité, de l’équité et du bien-être des élèves). Ces deux pays ont subi de fortes réformes dans les années 60.
Qu’est-ce qui fait qu’un cercle invisible entoure les pays latins (France, Italie, Espagne) ? Pour la France, Durkheim constitue le modèle de l’école qui fabrique les citoyens en contrant leur penchant naturel qui est asocial et violent.
Comment éviter la dérive des tests aux USA où les enseignants préparent seulement aux tests ? On améliore les tests. Si les tests sont pertinents et évaluent de vraies compétences, alors il est bien de préparer les étudiants aux tests. C’est la voie prise par Obama, celle d’élever le niveau des tests. Toutefois, rien ne pourra s’améliorer sans tests.