OESO heeft het voornemen om te experimenteren met AI om kritisch denken te meten: een pleidooi voor kritische verantwoordelijkheid van de mens.
Door Ward van der Meiden en Daan van Riet
Onlangs riep Jelmer Evers (Algemene Onderwijsbond) bij NOS op tot voorzichtigheid met het gebruik van artificial intelligence (AI) in het onderwijs. Hiervoor gaf Evers het gebrek aan kennis bij onderwijsprofessionals als voornaamste reden. Wat ons betreft is niet voorzichtigheid geboden, maar bedachtzaamheid. In dit stuk willen hier een aanzet toe geven.
Al langer laten we samen met een aantal onderwijscollega's van ons horen om te blijven bezinnen op de plek van de school in onze samenleving. Dat raakt ook hoe het onderwijs zich moet verhouden tot AI. Wat ons betreft is het pragmatische uitgangspunt 'Het is er, dus we moeten er iets mee' niet goed genoeg. En in het geval van het voornemen van OESO, dat we als casus gebruiken, is het zelfs zeer zorgwekkend.
OESO en hun voornemen
Alyson Klein, onderwijsauteur voor EducationWeek, schrijft over een lezing van de directeur van het PISA-team. Andreas Schleicher kondigt daar aan dat AI binnenkort het kritisch en creatief denkvermogen van 15-jarigen zal gaan beoordelen in de PISA-onderzoeken. Althans, dat is het voornemen. Tijdens de lezing deelt hij de plannen van OESO, de Organisatie voor Economische Samenwerking en Ontwikkeling, om leeropdrachten te geven en na te gaan hoe de jongeren het aanpakken. Het doel is om inzicht te krijgen in het kritisch en creatief denkvermogen van de leerlingen. Daarbij zou PISA gebruik willen maken van een AI-chatbot.
In herinnering: PISA, het Programme for International Student Assessment, is een grootschalige internationale studie die wordt uitgevoerd door de OESD (Organisation for Economic Cooperation and Development). Het richt zich op het meten van de kennis en vaardigheden van 15-jarige leerlingen wereldwijd. PISA voert elke drie jaar een onderzoek uit, waarbij de nadruk ligt op drie hoofddomeinen: lezen, wiskunde en natuurwetenschappen. De gevolgen zijn over het algemeen niet mals. Er wordt tot de minister aan toe gereageerd op de conclusies die PISA deelt. De belofte van PISA is namelijk dat het een manier biedt om de prestaties van studenten in verschillende landen te vergelijken. Dit stelt landen in staat om te zien hoe hun onderwijssystemen presteren ten opzichte van andere landen. Daarbij helpt PISA landen om de sterke en zwakke punten van hun onderwijssystemen te identificeren. Dit kan leiden tot gerichte interventies om de onderwijsresultaten te verbeteren.
Althans, dat is het idee dat breed draagvlak lijkt te hebben. Maar als we de conclusies van PISA gebruiken als argument voor allerlei Nederlandse onderwijsproblemen, moeten we wel scherp hebben waar PISA precies op meet en hoe hun conclusies tot stand komen.
Wat betreft de plannen van PISA rondom AI en kritisch denken is er een drietal bedenkingen. Allereerst de benadering van kritisch denken door PISA, gevolgd door de soort opdrachten die ervoor gebruikt worden en tot slot het gebruik van AI op zich. Op basis van deze bedenkingen willen we de complexiteit laten zien en de aanpak problematiseren.
De benadering van kritisch denken
In verscheidene documenten van en over PISA wordt ingegaan op het meten van creatief en kritisch denken. Ze worden vaak in een adem genoemd. Het kritisch denken heb je nodig om een probleem creatief aan te pakken en oplossingen te beoordelen. In figuur 1 zie je het competentiemodel van PISA voor creatief denken. Een belangrijk onderdeel hiervan is het kunnen oplossen van problemen.
Door kritisch denken te benaderen als probleemoplossend vermogen en te verbinden met creativiteit, maakt PISA een duidelijke keuze in wat kritisch denken is. Er is, zoals zo vaak, echter geen eenduidige opvatting van kritisch denken. Problemen oplossen is slechts een opvatting en tevens een resultaat van dat kritisch denken, niet het kritisch denken op zichzelf. Kritisch denken wordt in andere stromingen bijvoorbeeld gezien als logisch redeneren, kritisch participeren of als het erkennen en bekritiseren van sociale relaties in de samenleving (Van der Meiden, 2023). Kortom, PISA heeft (on)bewust gekozen voor een heel specifieke, nauwe opvatting van kritisch denken en sluit daarmee allerlei andere opvattingen uit. Het is belangrijk dit te erkennen, zodat we niet zomaar resultaten van PISA generaliseren als 'het meet kritisch denken'.
De opdracht
Een van de voorbeeldopdrachten die in het artikel wordt genoemd is het ontwerpen van een laboratoriumexperiment om een hypothese te testen. Een dergelijke opdracht heeft natuurlijk weinig met kritisch denken van doen. Een experiment opzetten is een gestructureerde aangelegenheid met veel regels. Daarnaast is het geen algemene
kennis, maar vakspecifiek. Kennis van experimenten is erg normaal bij de bètavakken, maar veel minder gebruikelijk bij andere vakgebieden. Een dergelijke vraag zou dus niet het algemene kritisch denken van een leerling toetsen, maar diens specifieke kennis van experimenten en de beheersing van de bèta-denkwijze. Immers, een experiment gaat altijd om een doelgerichte activiteit, met benodigde kennis en verstand van het doen van onderzoek.
Het is overigens logisch dat de vraag geen algemene kritisch denkvaardigheid meet, dit bestaat immers niet. Zoals prof. William al omschreef in Principled Curriculum Design (vrij vertaald):
Het probleem ontstaat wanneer we over vaardigheden praten alsof ze op de een of andere manier generiek of overdraagbaar zijn. Zoals wanneer we het hebben over 'probleemoplossende vaardigheden', 'kritisch denken' of 'communicatieve vaardigheden'. Uit een enorme hoeveelheid onderzoek naar het verwerven van vaardigheden is gebleken dat de vaardigheden die worden ontwikkeld door training en oefening zeer zelden generaliseren naar andere gebieden en in feite zeer nauw verbonden zijn met de specifieke training.
- D. William (2023, p. 22)
Kritisch denken is expliciet verbonden aan kennis. PISA zou zich dus achter de oren moeten krabben wat ze precies zullen meten wanneer ze kritisch denken gaan meten. Wellicht zou het beter zijn om binnen de verschillende disciplines kritische denkopdrachten toe te voegen. Hierdoor kan er iets gezegd worden over het kennisniveau, het beheersingsniveau én de mogelijkheid tot kritisch denken binnen een bepaalde context.
Het gebruik van AI
Wetende dat kritisch denken meer is dan problemen oplossen en de gebruikte opdrachten het overdenken waard zijn, moeten we even stilstaan bij het gebruik van AI. Bij de opdracht wordt een chatbot gebruikt. De leerling voert zogeheten prompts in en heeft hier dus vooral opzoekvaardigheden voor nodig. Ook moet de leerling een beetje handig zijn met computers en snappen wat een prompt is, wat het doet en met welk doel deze wordt ingevoerd. De leerling die al meer inzicht heeft in het gebruik hiervan, de taal beter beheerst en dus gerichter prompts kan invoeren in het specifieke vakgebied, zal het beter doen. Ook dit heeft weer weinig met kritisch denken van doen. Met dergelijk gebruik van generatieve AI, zoals PISA ze nu als voorbeeld geeft, worden leerlingen met weinig toegang tot technologie, mindere taalcapaciteit en minder kennis van het vakgebied dus sterk benadeeld. Logisch dat de leerling dan minder scoort op dat specifieke kennisdomein. Maar we mogen er geen conclusies over diens kritisch denkvermogen aan verbinden.
De zorg is dus dat AI ingezet wordt om mede te bepalen wie 'goed scoort'. Goed gebruik van een chatbot is niet hetzelfde als goed kritisch kunnen denken, dus wat wordt hier precies 'gescoord'? Handig gebruik van computers en het invoeren van prompts, in combinatie met vakkennis, staat niet gelijk aan kritische denkvaardigheden. Een goede
prompt maken is een opzoekvaardigheid. Prima om te leren, maar we mogen niet doen alsof dit kritisch denken is.
Verantwoordelijkheid van OESO
Kritisch denken bevragen met een AI-chatbot lijkt dus:
- Een beperkte invulling van kritisch denken te toetsen;
- Sterk afhankelijk te zijn van kennis;
- Voornamelijk opzoekvaardigheden te meten en een groep leerlingen te benadelen.
Naast deze punten is er tot slot nog een punt te bespreken: de verantwoordelijkheid van OESO/PISA. In het verleden zagen we dat de resultaten van internationaal vergelijkend onderzoek een sterke invloed hebben op beleidsvorming. Stel dat het PISA lukt om een gevalideerde vragenlijst te ontwikkelen voor het meten van wat zij verstaan onder kritisch denken. Dan nog is de vraag of het goed is om deze in te zetten. Wat ons betreft moet de vragenlijst namelijk ook consequentially valid zijn, oftewel: derhalve valide (Messick, 1989). De gevolgen voor het onderwijs moeten niet nadelig zijn.
Echter zijn de gevolgen voor het onderwijs makkelijk voor te stellen. Een voorbeeld. Een land scoort laag op de PISA-score voor kritisch denken en zet daarom in op het bevorderen hiervan, op de wijze die PISA voorschrijft. Deze manier is voordelig voor bepaalde leerlingen en nadelig voor anderen. Tevens sluit dit het grootste deel van opvattingen over kritisch denken uit. Een aantal van deze opvattingen zou zelfs nadelig kunnen zijn voor de status quo (Zuurmond et al., 2021; Van der Meiden, 2023). Wanneer de conclusies van deze onderzoeken dus mogelijk te serieus worden genomen en leiden tot beleid, zal onderwijs uitgehold kunnen worden. Hoe dit proces eruitziet wordt in onderstaande afbeelding inzichtelijk gemaakt.
PISA heeft wat ons betreft nog wat werk te doen. Zo moet er goed nagedacht worden over wat kritisch denken kan zijn en hoe dit in een vraag goed naar boven kan worden gehaald. Zo niet, dan riskeert PISA het onderwijs nadelig te beïnvloeden door onderwijs in eenzijdig kritisch denken te stimuleren.
Conclusie
We weten al langer dat PISA voor discussie zorgt en beperkt recht doet aan de praktijk van onderwijs. Terwijl het er wel uitspraken over doet. Nu ze AI (verder) willen gaan inzetten, vraagt dit om blijvende bedachtzaamheid. Het zal namelijk verder onder de motorkap plaatsvinden en dat vraagt om kritische verantwoordelijkheid van onderwijsprofessionals, van docent tot bestuurder. Verantwoordelijkheid voor het onderzoeken hoe PISA precies tot inzichten komt en bedachtzaamheid voor het gebruik van AI in deze onderzoeken.
We roepen dus op om niet te scherpe conclusies te trekken wanneer OESO dit gaat doorzetten. Natuurlijk zeggen PISA-ranglijsten wel íets, maar niet alles. Het kan zijn dat we de plannen van OESO niet volledig accuraat representeren, omdat we alleen openbare bronnen kunnen raadplegen. Die baren ons zorgen. We hebben meermaals contact gezocht met OESO/PISA om hen vragen te stellen en om uitleg te vragen. Daar stonden ze niet voor open en we hebben dus onze zorgen niet kunnen toetsen.
Literatuur
Messick, S. (1989). Validity. In Linn RL (Ed.), Educational Measurement (3rd ed., pp. 13–103). Macmillan Publishing Co, Inc.
Van der Meiden, W. (2023). Kritisch burgerschap in het mbo. Kritisch denken verschillend benaderd. Uitgegeven door onderzoekswerkplaats burgerschap Democratisering van kritisch denken.
Wiliam, D. (2013). Principled curriculum design.
Zuurmond, A., Guérin, L., Van der Ploeg, P., & Van Riet, D. (2021). Learning to question the Status Quo. Critical thinking, Citizenship Education and Bildung in Vocational Education.
Drs. Margareth de Wit MBA
