Hoe meet je samenwerkgedrag

Als ik presentaties geef of met geïnteresseerden praat over Learning Analytics, krijg ik vaak de vraag: hoe meet je nu eigenlijk 'soft skills'? Resultaten van vakken als rekenen en wiskunde zijn vrij makkelijk in cijfers te vatten, maar hoe ga je om met vaardigheden als samenwerken? Pas als je zoiets ook kunt meten, kan een Learning Analytics-systeem écht iets zeggen over de complete vaardigheden en voortgang van de leerling.

Tot deze week kon ik nog geen bevredigend antwoord geven op die vraag. Maar nu lijkt er schot in de zaak te zitten, dankzij het project 'Assessment and teaching of 21st century skills', waarvan de resultaten maandagavond in Amsterdam gepresenteerd zijn. In dit project is de Universiteit van Melbourne samen met Microsoft, Cisco en Intel aan de slag gegaan met het meetbaar maken van 21st century skills. Het resultaat van dit project is een zeer grondig onderbouwd systeem, met honderden pagina's aan white papers over het onderwerp.

Het project heeft een oefen- en beoordelingsprogramma opgeleverd voor twee 21st century skills: collaboratief probleemoplossen en ICT-geletterdheid. Het oefenen van ict-geletterdheid doet de leerling bijvoorbeeld door in een soort mini-internet met verschillende soorten bronnen (video, audio, woordenboek, encyclopedie) informatie op te zoeken. Het systeem meet het gedrag en de resultaten van de leerling en vertaalt die naar een rapportage voor de docent.



In totaal bevat het systeem ruim 12 uur aan oefeningen, verdeeld over 14 verschillende taken. Die taken zijn speels en meestal gebaseerd op samenwerken: 'student A' en 'student B' moeten samen een taak oplossen. Het systeem meet dat samenwerkgedrag, bijvoorbeeld door te meten hoe de leerlingen het ingebouwde chatsysteem gebruiken. Nadat de leerlingen een taak hebben afgerond, kan de docent rapportages downloaden. Het systeem levert per vaardigheid afzonderlijke rapportages per leerling en daarnaast ook een rapportage voor de hele klas.

Het systeem klinkt veelbelovend, maar er is nog veel onduidelijk. Hoe zit het systeem in elkaar? Hoe worden de genoemde vaardigheden gemeten? Hoe zien de gegevens waar de rapportages op gebaseerd worden eruit? Is het naast de eerste twee gemeten vaardigheden net zo makkelijk om de andere 21st century skills te meten? In de tweede helft van 2012 wordt het project afgerond en krijgen we hopelijk antwoord op deze vragen. Welke vragen zouden jullie verder graag beantwoord willen zien?