Ook voor het beoordelen van projectonderwijs gebruik ik het ST3 project, het seminar en de bachelorprojecten die ik heb begeleid.
De richtlijnen voor de beoordeling bij het ST3 project staan in de tutorhandleiding11. We hebben iedereen een persoonlijk cijfer gegeven voor zijn of haar bijdrage aan het proces. Hieruit is een correctie ten opzichte van het groepscijfer berekend. Dit kwam meestal neer op een halve punt meer of minder. Uiteindelijk hadden twee studenten een 5, acht een 6, vijfenveertig een 7, en vijf een 8. Zie deze tabel met cijfers.
De beoordeling van de bachelorprojecten gebeurt na afloop van een presentatie van ongeveer 30 minuten voor een commissie bestaande uit de opdrachtgever, de begeleider (ik dus) en de coördinator over alle projecten (Bernard Sodoyer). Het eindcijfer komt dan als volgt tot stand:
``De supervisor/begeleider bepaalt in overleg met de leden van de commissie de hoogte van het cijfer rekening houdend met: de omvang en de diepgang van de opdracht, de kwaliteit van het gemaakte product en de bijgeleverde documentatie, de inzet van de studenten en hun functionering binnen het bedrijf (o.a. het nakomen van afspraken), de vorm en de inhoud van het verslag en de presentatie van de voordracht.'' (Deze tekst komt van Blackboard.)Bij beide projecten hebben we eerst kort overlegd met de commissie. Daarna legde ik eerst aan de studenten uit wat we goed vonden en waar we minder tevreden over waren en tot slot maakte ik dan het eindcijfer bekend. In het ene geval was dat een 7 en in het ander een 6, maar mochten ze het nog afmaken en zouden dan alsnog een 7 krijgen. Dat hebben ze dan uiteindelijk ook nog gedaan.12
Voor de beoordeling bij het seminar hadden we afgesproken dat we naar drie onderdelen zouden kijken: de presentatie, het proces en het uiteindelijke paper. Mijn beoordeling van de literatuurstudie naar DNA computing van de groep waarvan ik tutor was bij het seminar fundamenteel luidde als volgt:
Presentatie: 8
+ duidelijk, rustig gesproken
+ goede opbouw
- introductie te kortaf: benadruk dat DNA computing totaal anders is dan wat we gewend zijn: nu met reageerbuisjes in de weer in je labjas!
- soms te makkelijk voorbij aan sterke claims: NP-complete problemen in lineaire tijd (is dat wel zo? vinden die moleculen elkaar ook in constante tijd in hele grote vaten?)
- operaties (iets met enzymen) blijven wel erg abstract: hoe moet ik me dat voorstellen?
Proces: 9
+ zelfstandig
+ zelf goed op zoek in de literatuur
0 concept-versie was al erg redelijk, maar rode lijn nog niet goed duidelijk
+ goede planning en afspraken ook nagekomen
Paper: 8
+ goed literatuur gezocht/behandeld en naar gerefereerd
0 conclusie niet zo sterk onderbouwd: er zijn ook theoretische grenzen aan de mogelijkheden van DNA computing; die worden niet voldoende meegenomen (mag best kritischer zijn)
0 een enkele keer iets te lange of moeilijke/kromme zinnen, over het algemeen redelijk leesbaar
0 details van DNA computing soms erg kort (of niet) behandeld; plaatje zou geen kwaad kunnen
De uitslagen van de vragen van de Sensor-enquête die relevant zijn voor het ontwerpen van een het ST3 project zijn als volgt (beantwoord door 38 van de 60 studenten):
| Vraag |  |
 |
 |
 |
|
| De toetsing (beoordelingswijze) sluit goed aan bij de inhoud van dit studie-onderdeel. | 3 | 68 | 22 | 0 | 0 |
| Het is mij duidelijk hoe de opdracht wordt beoordeeld. | 18 | 32 | 34 | 16 | 0 |
Kortom, de meeste studenten zijn het wel eens met de manier van toetsen, maar het is ze niet helemaal duidelijk hoe er precies getoetst wordt.
Bernard Sodoyer is als coördinator van alle bachelorprojecten aanwezig bij elke beoordeling van een bachelorproject, dus daarom heb ik hem gevraagd wat hij van mijn beoordeling vond.
``Afgelopen jaar heb ik Mathijs geassisteerd bij de [begeleiding en] beoordeling van Bachelorprojecten. Tijdens dit traject is het mijn opgevallen dat Mathijs in staat is de groep te beoordelen in relatie met de gestelde leerdoelen maar ook te kunnen differentiëren.
Kortom is Mathijs in staat om zelfstandig groepen van studenten op BSc-niveau te begeleiden en te beoordelen.''
Met betrekking tot de beoordeling had ik van tevoren bij geen van de drie vakken echt belangrijke wijzigingen doorgevoerd. Voornamelijk, omdat ik liever eerst een keer wilde zien hoe de bestaande methode uitpakt. Wel hadden we bij het seminar van tevoren overlegd met alle betrokken docenten over hoe we het dit jaar gaan aanpakken. Bijvoorbeeld hadden we afgesproken dat alle docenten wel de presentatie van elkaars groepjes beoordelen en vragen stellen, maar dat elk paper gewoon door één docent zou worden nagekeken.
Bij het ST3 project had ik besloten om de resultaten van de wedstrijd niet mee te laten tellen (dat was vorig jaar wel het geval), omdat ik niet het idee had dat een goed resultaat bij de wedstrijd ook noodzakelijk een goed ontwerp betekent.
Vorig jaar was ik ook betrokken bij de evaluatie van dit ST3 project. Toen bleek al dat het moeilijk was om op basis van de peerreviews iedere student een persoonlijke beoordeling te geven. Het idee om de broncode afzonderlijk te beoordelen bleek onhaalbaar omdat vaak meerdere mensen aan eenzelfde stuk hadden gewerkt waarbij goede programmeurs regelmatig stukken van slechte hebben herschreven. Toch wilde ik proberen om afzonderlijke cijfers te blijven geven. Ik heb de indruk dat sommige studenten toch iets meer gestimuleerd worden als ze weten dat er ook op hen persoonlijk gelet wordt en niet alleen op het resultaat van de groep. Dit keer besloot ik om voor de persoonlijke cijfers wel te kijken naar de peerreviews, maar ook naar de reflecties van de studenten zelf, het werk van de student voor zover dit terug te vinden is en de algemene indruk van de tutor. Dit moest uiteindelijk een cijfer zijn tussen 0 en 1, wat gebruikt werd ter ``correctie'' van het groepscijfer.
Bij het ST3 project had ik vooral veel moeite met het hard maken van de persoonlijke beoordeling. Met name de ``algemene indruk van de tutor'' is in mijn ogen vaak wel betrouwbaar, maar toch moeilijk uit te leggen aan een student. ``De tutor zag je nooit zelf iets doen.'' ``Ja maar ik deed thuis heel veel.'' Het is dan vaak het woord van de tutor (die er op zich geen belang bij heeft om een slecht cijfer uit te delen) tegen het woord van de student (die er groot belang bij heeft om een voldoende te krijgen).
Ook de peerreviews zijn nuttig en meestal ook betrouwbaar, maar soms kunnen ze een scheef beeld geven. Bijvoorbeeld vorig jaar was er ruzie in een groepje en kon je duidelijk de twee kampen zien die elkaar slechte cijfers gaven. Een student in één van die kampen die ondanks de ruzie serieus cijfers uitdeelt wordt hier dan juist benadeeld, omdat iedereen behalve hij zo een hoger gemiddelde krijgt.
Wat betreft de eindcijfers zijn het vooral veel 7-s en dan nog een handvol 6-en en 8-en. Door het middelen van cijfers voor de verschillende fases en door slechts kleine verschillen binnen een groep aan te brengen, kwam ik dus bijna altijd op een 7 uit. Dat is leuk voor de meeste studenten, maar ik vind het toch ergens een beetje onbevredigend. Het was zeker niet zo dat iedereen even goed was: er waren grote verschillen. Hoe kun je die tot uitdrukking brengen in het eindcijfer?
Een ander punt waar ik me zorgen over maakte is dat ik merkte dat niet alle studenten alle leerdoelen halen. Doordat de studenten zelf een taakverdeling mogen maken, kiezen ze voor een efficiënte verdeling waarbij ieder onderwerp door slechts één of soms twee studenten goed bestudeerd wordt. De andere studenten horen alleen de grote lijnen in een vergadering of lezen dat in het verslag.
Ook bij de beoordeling van de groepen bij het seminar viel me op dat er onder de docenten geen overeenstemming was met betrekking tot de leerdoelen van dit vak. Iedere docent heeft zijn beoordeling aangepast aan zijn eigen idee over de leerdoelen. In feite komt het er daarom op neer dat de studenten die MKT doen (en dus een andere docent hadden) een iets ander vak hebben gevolgd dan de studenten die ST doen.
Tot slot, de beoordeling van de twee groepen van het bachelorproject die ik begeleid heb, vond ik vooral lastig omdat ik het idee kreeg dat ik ook mezelf aan het beoordelen was. Een hoog cijfer betekent dat ik het goed heb gedaan en een laag cijfer dat ik niet zo goed heb begeleid. Bovendien heb ik de beoordeling vooral gebaseerd op het proces, het ontwerp, het eindproduct en het verslag. Ik had helemaal niet naar de code gekeken. Pas achteraf zag ik dat de code bij één van de twee er keurig uitzag, maar dat er bij de andere grove fouten en slordigheden gemaakt waren.
Na deze discussie over projectonderwijs lijkt het me nuttig om de voor- en nadelen (in mijn ogen) van projectonderwijs ten opzichte van activerend onderwijs in collegevorm nog eens op een rijtje te zetten.
Voordelen:
Ik zou graag een aantal zaken veranderen naar aanleiding van wat ik het afgelopen jaar gezien heb. Bijvoorbeeld bij het bachelor project wil ik voortaan graag ook even naar de code kijken.
Bij het seminar zou ik graag zien dat we overeenstemming bereiken over de leerdoelen en dat we duidelijke richtlijnen opstellen. Om de beoordeling dan over alle groepjes iets objectiever te doen, zouden we kunnen afspreken dat docenten niet het paper van hun eigen groepje nakijken, maar die van een ander.
Bij het ST3 project zit ik te denken aan een (individuele) toets tussendoor, bijvoorbeeld in week 5. En daarnaast zou ik de studenten ook graag iets afzonderlijk laten inleveren, bijvoorbeeld een stukje van het verslag of een deel van de code.
Tot slot lijkt het me heel belangrijk om beter te overleggen met de projecten-leerlijn: binnen onze opleiding is er wel een overlegforum, maar er gebeurt op dit moment niet veel meer dan elkaar inlichten over de manier waarop we de projecten draaien en een afspraak over hoe de groepsindeling wordt gemaakt. Ik denk dat het essentieel is voor goed onderwijs binnen onze opleiding dat we de projecten op elkaar afstemmen en per project ook duidelijk maken waarin de grootste bijdrage ligt: in de projectmatige leerdoelen (en zo ja, welke) of in de inhoudelijke leerdoelen. Zorgen dat iedere student met een voldoende gegarandeerd alle inhoudelijke leerdoelen heeft gehaald en ondertussen ook nog projectmatige leerdoelen heeft gehaald is vrijwel onmogelijk binnen één enkel project.13