Voor het vak Logica heb ik het tentamen gemaakt en nagekeken. Hierop heb ik ook feedback gehad van de docent.
In 2004 heb ik (mede in het kader van mijn BKO) een toetsmatrijs en het tentamen voor het vak Logica gemaakt. Hierbij heb ik gebruik gemaakt van de aanwijzingen voor het maken van een toetsmatrijs uit (Kallenberg et al., 2002, hoofdstuk 11). De (hoofd)docent, Leon van der Torre hoefde dus slechts te controleren of dit tentamen de juiste moeilijkheidsgraad had en geen fouten bevatte. Daarnaast heb ik ook een voorbeelduitwerking gemaakt. De grootste verandering in het tentamen was dat er nu ook negen ja/nee vragen inzaten.
Bovendien, omdat dit al jarenlang een struikelvak is, en omdat veel studenten niet goed leren wat ze moeten opschrijven, had ik het idee om halverwege de cursus een proeftentamen te geven. Na dit tentamen kijken de studenten elkaars werk na en geven elkaar ook een cijfer aan de hand van de voorbeelduitwerkingen en een nakijkprotocol.5 Bij dit proeftentamen werd al snel duidelijk dat heel veel studenten grote delen van de stof nog niet voldoende beheersten. Tijdens het maken van dit tentamen mochten studenten om hulp vragen (mits ze hiervoor een aantekening maakten op hun blaadje om een eerlijk beeld te houden). Hierbij kon ik verschillende studenten wijzen op het deel van de stof waar ze nog extra aandacht aan moesten besteden.
Daarnaast heb ik verschillende keren toetsvragen van een andere docent nagekeken (Fundamentele Informatica van Cees Witteveen), geholpen met nakijken, of een practicum beoordeeld, bijvoorbeeld de practica van `Parallelle en gedistribueerde systemen'.
Dit jaar hebben we drie docenten (in plaats van één) ingezet om de instructies (werkcolleges) te begeleiden. Hierdoor konden studenten ook individueel geholpen worden met de specifieke onduidelijkheden waar ze mee zaten. Mede daardoor heeft een groter aantal studenten het vak dit jaar gehaald.
In de Sensor-enquête die aan de studenten is gevraagd in te vullen direct na de toets, stond één vraag die direct over de door mij gemaakte toets ging: ``De toetsing (beoordelingswijze) sluit goed aan bij de inhoud van dit studie-onderdeel.'' De 99 studenten die deze vraag hebben beantwoord (van de ruim 200 die tentamen deden) antwoordden als volgt:
 |
 |
 |
 |
|
| 15 | 56 | 18 | 7 | 3 |
Leon van der Torre heeft op 03-12-04 de volgende feedback gegeven op het tentamen dat ik gemaakt heb voor het college logica, najaar 2004 (IN2310):
``Hans Tonino [de docent die dit vak de afgelopen jaren gegeven heeft] heeft nog een grote verzameling oude tentamens waar nieuwe opdrachten uit geput kunnen worden, maar Mathijs heeft een nieuw tentamen gemaakt. Daarin heeft hij een aantal juist/onjuist vragen opgenomen, wat ons aanzienlijk nakijktijd heeft bespaard. Een voorstel om punten af te trekken voor foute antwoorden om te corrigeren voor gokken heb ik niet opgevolgd. Ik begrijp dat dit theoretisch beter is, maar in onze praktijk zou dit ertoe geleid hebben dat de score op deze vragen bijzonder slecht zou zijn geweest. De vragen sloten goed aan bij de leerdoelen en dekten die goed af. De normering was helder. Het slagingspercentage was dit jaar 60%, precies de norm (en lag rond de 35% in voorgaande jaren!). Mathijs stelde tot slot voor om Prolog niet meer te toetsen via het tentamen maar alleen via het practicum. Dat houd ik nog ter overweging voor volgend jaar.''
Door samenwerking tussen docenten wordt het onderwijs beter. Daarom heb ik ook beide andere docenten het door mij gemaakte tentamen laten beoordelen. Dit leidde tot het herschrijven van één vraag en het verwijderen van een andere vraag (die beide docenten 'fout' beantwoord hadden).
Uiteraard kwam ook in het tentamen naar voren dat ik het belangrijk vind dat studenten zelf iets met de stof doen. Ik heb met het tentamen met name de vaardigheid van studenten getoetst in het maken van bewijzen. De kennis heb ik getoetst met een klein aantal ja/nee vragen.
Het maken van het tentamen kostte vrij veel moeite ondanks de grote hoeveelheid aan voorbeeldtentamens en voorbeeldopgaven. Met name het formuleren van ja/nee vragen was lastiger dan ik dacht (maar daar waren ook geen voorbeelden van). Ik heb ook gemerkt dat het gebruik van de leerdoelen me heel erg heeft geholpen om de toetsvragen eerlijk te verdelen over de stof. De toetsmatrijs voegde hier minder toe, omdat elk leerdoel ongeveer een even groot deel van de stof afdekte, en omdat op één na alle leerdoelen van ongeveer hetzelfde type zijn. Bij het analyseren van de toets met behulp van een ``analysis of variance'' op de gemiddelde score per opgave (hiervoor heb ik ook ideeën van de module ``Toetsen en beoordelen'' gebruikt), ontdekte ik dat twee vragen duidelijk slechter scoren dan de rest: de tweede set multiple choice vragen (zelfs zonder correctie!) bleek iets te moeilijk en de vraag over Prolog scoorde ook bijzonder slecht.
In figuur 2 is vooral bij opgave 5 en 7 mooi te zien dat er een piek is bij scores in het interval 2-4, een dal bij 4-6, en weer een piek bij scores van rond de 7. Ook opgaves 2, 3 en 6 vertonen een vergelijkbare opbouw, maar hebben de eerste piek bij 0-2 punten. Deze vragen maken dus een duidelijk onderscheid tussen studenten die het begrepen hebben en studenten die het niet begrepen hebben. Opgave 6 is extra bijzonder omdat bijna alle studenten die het begrepen hebben hiervoor de volledige score in de wacht gesleept hebben: 119 van de 225 studenten hebben deze opgave helemaal goed. Deze hebben vrijwel allemaal (110) het tentamen gehaald.6 Bovendien zijn er slechts 22 studenten (10%) die deze opgave slecht gemaakt hebben, maar het tentamen toch nog gehaald. Verder zijn opgave 1 en 3 en 4 relatief erg makkelijk. Tot slot valt bij opgave 8 (de opgave over Prolog) op dat heel veel studenten hier slecht gescoord hebben.
Het maken van een voorbeelduitwerking heeft ook veel tijd gekost. Dat heeft echter ook heel goed geholpen bij het corrigeren van foutjes en kleine onduidelijkheden in de opgaven en bij het inschatten van de moeilijkheidsgraad en daarmee de bijdrage van een bepaalde vraag in het eindcijfer. Bij de tweede set multiple choice vragen konden studenten bij de twee (van de vier) vragen die me moeilijk leken 1 punt extra verdienen. Maar juist doordat moeilijke vragen slechter gemaakt worden zijn er bij deze set extra weinig punten behaald vergeleken met de eerste set van vijf even moeilijk opgaven. Het lijkt me achteraf gezien, niet zo'n goed idee om moeilijke vragen extra veel punten toe te kennen. Het gewicht van een vraag moet afhangen van het belang van het onderwerp, niet van de moeilijkheidsgraad.
Ik heb de onderwijsdriehoek, zoals ik die geleerd heb in de cursus activerend onderwijs, hier echt in de praktijk gebracht. En dit bleek een verrassend nuttige manier om tegen het onderwijs aan te kijken. In sectie 3.1 heb ik al besproken wat de relatie is tussen de leerdoelen en het onderwijs. Maar bij het maken van het tentamen profiteerde ik echt van wat ik hiervan had opgestoken. Door heel goed op de leerdoelen te letten kon ik een toets maken die echt representatief was voor de hele stof. (Ga maar na, het is bijna een één-op-één mapping.)
Zoals Leon al schrijft, vind ik het beter om Prolog voortaan niet in het tentamen te toetsen. Ik heb hiervoor verschillende redenen:
Tot slot lijkt het me leuk om volgend jaar iets creatiever te zijn bij het bedenken van tentamenvragen. Het lijkt me een leuk extraatje als door een vraag het verband van een vak met aansprekende toepassingen wordt benadrukt.
![\includegraphics[%
width=0.70\columnwidth]{3_toetsen/logica_cijfers}](img7.png)