In afgelopen periode vond er een groeiende evidence-informed beweging binnen het onderwijs plaats. Dit heeft geleid tot echte vooruitgang in veel scholen. Het succes hiervan komt grotendeels voort uit dat de beweging is opgezet door schoolleiders en leraren. Daarnaast hebben bekende mensen en organisaties de beweging gestimuleerd (denk aan bijvoorbeeld aan ResearchEd). In Engeland is een van de belangrijkste initiatieven op dit gebied de oprichting van de Education Endowment Foundation (EEF) geweest.
De EEF draagt op een aantal manieren bij aan het versterken van een evidence-informde benadering in het Engelse onderwijs. Een daarvan is het uitvoeren van rigoureuze en grootschalige evaluaties van onderwijsinterventies. Dit was nooit eerder op dergelijke schaal gebeurd in Engeland, en is ook in de rest van Europa nog zeer zeldzaam. Het Research Schools Network is een ander zeer waardevol initiatief vanuit het EEF. Dat is een netwerk van scholen die zich orienteren op het verspreiden van onderzoek, door in ‘hubs’ samen te werken met anderen in de regio. Dan is er wat waarschijnlijk het meest invloedrijkste product van EEF is: de Teaching and Learning Toolkit. Dit is een zeer gebruiksvriendelijke tool, die een grote hoeveelheid onderzoek duidelijk samenvat. Het is een indrukwekkende onderneming geweest om dit van de grond te krijgen en een nuttige eerste aanloop bij het kunnen verkennen van evidence-based benaderingen.
Dit gezegd hebbende, zijn er naar mijn mening een aantal zaken waar de leerkracht op moet letten bij de inzet van een dergelijke toolkit om deze daadwerkelijk waardevol te laten zijn. Het is immers alles behalve vanzelfsprekend om de effectiviteit van verschillende interventies te rangschikken. Hieronder volgen een aantal punten waar de leerkracht zijn of haar voordeel mee kan doen wanneer hij of zij lijstjes goed wil inzetten binnen de lespraktijk.
De (EEF) toolkit is in wezen een samenvatting van meta-analyses. Meta-analyse is een statistische techniek waarbij de resultaten van verschillende studies worden samengevoegd om tot een gemiddelde effectgrootte van een interventie te komen. Dit is nuttig omdat er in veel onderzoeksdomeinen een groot aantal studies zijn die als geheel moeilijk te lezen en te interpreteren is. Daarnaast kunnen de onderzoeken ook tegenstrijdige resultaten opleveren waardoor het soms ingewikkeld is om te bepalen wat de algehele impact van een interventie is. Meta-analyse is daarom een steeds populairdere methode geworden in de wetenschappen. Het wordt bijvoorbeeld veel gebruikt in de geneeskunde en de psychologie.
Echter, zoals de meeste methoden heeft ook meta-analyse zijn zwaktes. En deze worden vervolgens versterkt door de zwaktes van onderwijsonderzoek in het algemeen. Een zwakte is bijvoorbeeld dat we het eerst eens moeten worden over de betekenis van de concepten voordat we verschillende onderzoeken erover kunnen vergelijken. In het medisch onderzoek is dit meestal wel het geval maar in het onderwijs gebruiken verschillende onderzoekers vaak verschillende definities. Denk bijvoorbeeld aan concepten als feedback of motivatie. Deze zwakte wordt versterkt door het feit dat onderwijsonderzoekers vaak hun eigen instrumenten ontwikkelen in plaats van al bestaande schalen en intrumenten te gebruiken (zoals vaker de norm is in de psychologie). Voor je het weet, worden verschillende definities onder dezelfde noemer gehangen en/of op verschillende manier gemeten. Het kan dus knap ingewikkeld zijn om te bepalen of de diverse studies die we samenvoegen wel hetzelfde meten.
Ook kan het gebruik van meta-analyse tot onbedoelde conclusies leiden omdat niet alle vragen of interventies aan evenveel meta-analyses zijn onderworpen en omdat niet alle meta-analyses van even hoge kwaliteit zijn. Voorbeelden van methodologische zwakheden van meta-analyse zijn er genoeg.
Het bovenstaande wijst op het bredere probleem met het rangschikken van interventies zoals dat gebeurt in de toolkit. Daar worden onderwerpen samengebracht die eigenlijk niet vergelijkbaar zijn (men vergelijkt bijvoorbeeld een specifieke leermethode als mastery learning met organisatorische factoren zoals klassegrootte verminderen). Sommige categorieën zijn zo breed dat ze vrij betekenisloos raken en er weinig over gezegd kan worden. Voorbeelden uit de toolkit zijn 'digitale technologie' of ‘voorschoolse interventies'. Ook is het niet altijd even duidelijk in hoeverre we resultaten van onderzoek echt over één kam kunnen scheren en conclusies mogen trekken voor PO, VO en MBO samen. Laat staan voor scholen die in verschillende contexten werken.
Een ander zorg bij dergelijke lijstjes is dat zij een pick-and-mix-model kunnen aanmoedigen. We kiezen dan één enkele interventie of interventies en verwachten dat die op zichzelf het verschil gaan maken. Onderwijs is complex en interventies zijn ingebed in bredere schoolcontexten en schoolculturen. Ongeacht welke interventie we gebruiken, het blijft zo dat de kwaliteit van de implementatie van cruciaal belang is. Dit succes hangt af van de capaciteit binnen de school. Succesvolle interventie hangt ook af van de mate waarin ze past bij de waarden en visie van de school. Denken dat er één interventie bestaat die al onze problemen kan oplossen is een van de valkuilen waar we in het onderwijs maar al te vaak in stappen.
Door het bovenstaande in ogenschouw te nemen, concludeer ik dat toolkits en andere lijstjes wel degelijk van meewaarde kunnen zijn. Ze kunnen een goed vertrekpunt zijn m.b.t. het nadenken over welke evidence-informed benaderingen een school wil gebruiken. Echter, het gebruik van lijstjes en toolkits moeten deel uitmaken van een doordachte school verbeterings aanpak die bouwt op de eigen capaciteit, cultuur en context van de school. Alleen zo heeft het impact. Daarbij geldt dat voor ieder onderzoek dat een kritische blik belangrijk is en zorgvuldigheid geboden. Interventielijstjes kunnen dus een startpunt zijn, maar nooit het einde van onze onderzoeksrit.
Benieuwd naar hoe wij met scholen invulling geven aan doordachte school verbeterings aanpak die bouwt op de eigen capaciteit, cultuur en context? Lees hierover meer bij de opleiding High Perfoming Schools.