De ruimte tussen leren en analyseren

In de historische stad Leuven in België werd vorige week veel gesproken over een belangrijke ontwikkeling die de toekomst van het onderwijs wel eens behoorlijk zou kunnen veranderen. De Katholieke Universiteit Leuven organiseerde namelijk de derde editie van de Learning Analytics and Knowledge Conference 2013 (LAK13). Tientallen vooraanstaande onderzoekers op het gebied van Learning Analytics waren hier om hun meest recente onderzoek te presenteren. Hier kwamen natuurlijk vooral veel technische onderwerpen voorbij over ingewikkelde algoritmes en visualisaties, maar in dit artikel probeer ik de grote lijnen en ontwikkelingen die ik gezien heb op deze conferentie toe te lichten.

Antwoord op vragen die er toe doen
In hoeverre is het nu voor een leraar mogelijk om een objectief antwoord te geven op de volgende vragen: met welke onderwerpen hebben mijn leerlingen moeite? Hoe staan mijn leerlingen er voor? Of: welke onderwerpen worden het meest geoefend? Deze vragen stonden centraal tijdens de keynote van Marsha Lovett, van Carnegy Mellon University.

Waarschijnlijk kunnen de meeste leraren wel een aardige indicatie geven als antwoord op deze vragen, maar het wordt al moeilijker als je meer detaillering in de antwoorden verwacht. Maar stellen leraren zich deze vragen wel? Leerlingen zelf letten in ieder geval maar op één indicator: hun cijfer. Op zich heel logisch natuurlijk, zeker omdat ze dit pas te horen krijgen als ze klaar zijn met het onderwerp en de klas inmiddels verder is met het volgende onderwerp. Leerlingen met een laag cijfer hebben verder dan ook nauwelijks tijd, of een reden, om hun kennis bij te spijkeren. Resultaten over het leren komen dus heel ‘grof’ terug en vaak ook nog eens te laat.

Leerplatforms die gedreven worden door Learning Analytics kunnen antwoord geven op de vragen die leraren hebben over de status van het leerproces. Een dergelijk systeem maakt het mogelijk om in een oogopslag te zien hoe de klas er voor staat, kan gedetailleerde informatie geven over de leerling en op welke onderdelen hij sterk presteert en waar hij moeite mee heeft, patronen herkennen en aanwijzingen geven aan de leraar om de les zo mogelijk aan te passen. Daarnaast kunnen ook de leerlingen, zo mogelijk vooraf, inzicht krijgen in hun prestaties en voortgang.

De weg naar gepersonaliseerd onderwijs?
Het begint een beetje op de Heilige Graal van het onderwijs te lijken: gepersonaliseerd onderwijs. Iedere leerling leert hierbij op zijn eigen niveau, tempo en stijl. De leraar en de leerlingen worden ondersteund door een geavanceerd systeem waarbinnen allerlei interacties van de leerlingen worden geanalyseerd. Dit systeem kan vervolgens de leerling en de leraar inzicht geven in en adviseren over het leerproces. We staan nog maar aan het begin van een dergelijke ontwikkeling, maar er komen steeds geavanceerdere methodes om gegevens over het leerproces van een leerling te verzamelen, meten en te analyseren en dit vervolgens terug te koppelen aan leraren en leerlingen in de vorm van bruikbare en betrouwbare informatie.

Vanuit een meer traditionele onderwijscontext bestaat de huidige informatie over het leerproces voor een leraar voornamelijk uit de toets resultaten van leerlingen, het huiswerk en de vergelijking met andere leerlingen in de klas. In digitale leeromgevingen worden momenteel vooral interacties als tijd en (eenvoudige) resultaten gemeten. Maar op de LAK13 lieten onderzoekers zijn dat er ook mogelijkheden zijn om moeilijker te meten indicatoren als betrokkenheid en aandacht van leerlingen mee te nemen. Bijvoorbeeld door bewegingen van leerlingen in de klas te meten en eye-tracking analyses uit te voeren binnen een ELO. Door deze toenemende hoeveelheid aan te analyseren data wordt het mogelijk om zeer gedetailleerde terugkoppeling te geven aan de leraar en de leerling over bijvoorbeeld de voortgang van het leerproces. Maar het wordt hierdoor ook steeds beter mogelijk om een correcte voorspellende uitspraak te doen over de te behalen resultaten van een leerling. Vergelijk het bijvoorbeeld met een systeem wat aangeeft dat je morgen ziek wordt. Dat is op zich handig om te weten, want dan kun je daar rekening mee houden, maar het zou veel waardevoller zijn om te weten waarom je ziek wordt en wat je er nog aan kunt doen om het te voorkomen.

Een belangrijk onderdeel van een dergelijk systeem is dat er dus informatie gegenereerd wordt die kan leiden tot actie. Hierbij speelt de leraar natuurlijk een belangrijke rol. Hierin zit tegelijk een belangrijke uitdaging omdat de leraar het onderliggende systeem moet snappen. Dat is nog niet altijd even eenvoudig, zeker omdat dit voor de meeste leraren een nieuwe rol is en ook de nodige technische kennis zal vragen. Tegelijkertijd levert dit de leraar natuurlijk wel veel extra inzicht in en kennis over het leerproces op. Het is een uitdaging voor de onderzoekers om de informatie op zo’n manier terug te koppelen en te visualiseren waardoor het voor een leraar begrijpelijk is en er daadwerkelijk iets mee kan.

Knelpunten
Het klinkt goed, toch? Maar hoe ver zijn we nog af van een dergelijk systeem? Het zal nog wel een aantal jaar duren voor we daar daadwerkelijk zijn. Gartner voorspelt dat het nog wel een hobbelige vijf tot tien jaar kan duren voordat Big Data en Learning Analytics in het onderwijs gemeengoed zijn. Maar op de LAK13 werden een aantal voorbeelden van onderdelen van dergelijke systemen gepresenteerd. Er zijn veel knelpunten te benoemen als het gaat om de realisatie en implementatie ervan. Dit zit hem niet alleen in zaken als het goed kunnen vertalen van een indicator naar een meetbaar onderdeel binnen het leerplatform, maar ook in beleidsmatige en politieke ontwikkelingen. Onderwijsstandaarden, aanbieders van leermateriaal, privacyaspecten en onderwijsinstellingen zelf spelen hier allen een rol in.

Recentelijk verscheen er een artikel in de New York Times met als titel ‘Teacher Knows if You’ve Done the e-Reading’. Een uitgever van digitaal leermateriaal heeft in zijn systeem een vorm van Learning Analytics ingebouwd waardoor het mogelijk is om de interactie die een leerling heeft met het digitale lesboek te analyseren. De leraar krijgt feedback over de leerling en kan hieruit opmaken wanneer, hoe lang en hoe intensief (aantal markeringen en notities) de leerling het boek heeft gelezen. Ongeveer 3,5 miljoen leerlingen en leraren gebruiken de boeken van deze uitgever en niet alleen de leraar krijgt deze informatie te zien, maar de uitgever zelf ook. Dat er een correlatie en causaliteit is tussen de resultaten van de leerlingen en de hoeveelheid interactie die een leerling heeft met het boek is volgens de directeur van de uitgever wel duidelijk. Of dit echt zo is vraag is me af. Het is een systeem wat eenvoudig voor de gek gehouden kan worden. “De gevolgen kunnen dramatisch zijn als leraren op basis van deze data conclusies trekken voor de meerderheid van de leerlingen.” Aldus de reactie van Chris Dede, een professor op het gebied van Learning Technologies bij Harvard.

Desondanks is het plan om dit systeem breed in te voeren in de herfst van dit jaar.