Hoe ver ga je met de acceptatiecriteria?

Onlangs bereikte ons de vraag waaraan acceptatiecriteria voor examenwerk moeten voldoen? Hoe gedetailleerd mogen/moeten die zijn? Dat bijvoorbeeld de APA goed moet zijn uitgevoerd bij een scriptie leidt niet tot vragen, maar of je het lettertype, lettergrootte, regelafstand of zelfs kantlijnbreedtes als acceptatiecriteria mag opnemen was aanleiding voor de vraag. We doen hierna een poging om tot een voorstel voor het gebruik en een definitie van acceptatiecriteria te komen. Aanvullingen zijn welkom, want er is geen onderzoeksliteratuur hierover gevonden. Wel veel informatie over acceptatiecriteria maar die gingen over het accepteren van software en technische producten, maar niet ten behoeve van examenproducten.

Welke examenproducten lenen zich voor acceptatiecriteria?

Vooral bij het beoordelen van schriftelijke examenproducten zoals (reflectie)verslagen, scripties, adviesnota’s en dergelijke is het gebruikelijk om naast de beoordelingscriteria acceptatiecriteria te formuleren. Acceptatiecriteria zijn met de kandidaat gedeelde voorwaardelijke eisen waaraan een examenproduct moet voldoen voordat de feitelijk beoordeling ervan uitgevoerd kan worden. Maar ook bij bijvoorbeeld presentaties, zang- of toneeluitvoeringen of ontwikkelde (technische) producten kan worden gedacht aan acceptatiecriteria waaraan vooraf moet worden voldaan.

Beoordelingscriteria zijn bedoeld om het examenproduct te beoordelen op inhoud en niveau aan de hand van ontwikkelde en met de kandidaat gedeelde beoordelingscriteria die zijn afgeleid van de leerdoelen (constructive alignment). Hiervoor wordt veelal gebruik gemaakt van checklistst, rating scales, rubrics of de sterk in opkomst zijnde single-point-rubrics.

Een eenvoudig en veel voorkomend voorbeeld van een acceptatiecriterium betreft het maximum aantal woorden waaruit een schriftelijk examenproduct mag bestaan. Dit criterium kan verschillende redenen hebben; bijvoorbeeld dat de ontwikkelaars van het examen:

• willen voorkomen dat de kandidaten (enorm) gaan uitweiden:
  – in de hoop dat er iets goeds tussen zit (vanuit de kandidaat gezien);
  – er grote verschillen tussen de ingeleverde examenproducten kunnen ontstaan;
  – beoordelingstijd groot wordt als grote hoeveelheden tekst moeten worden doorgenomen.
• willen dat de kandidaten in staat zijn zich uit te drukken binnen het maximaal opgegeven aantal woorden

Voorkomende acceptatiecriteria zijn ook:

• Dat grotendeels is voldaan aan bijvoorbeeld de APA ten aanzien van bronvermeldingen, gebruik van tabellen en figuren en de bronnenlijst.
• Dat alle gevraagde onderdelen aanwezig zijn zoals een voorblad, inhoudsopgave, samenvatting en dergelijke (afhankelijk van de opdracht).
• Dat sprake is van goed leesbare teksten op basis van eisen die aan spelling en grammatica worden gesteld.
• Dat het aantal spelfouten per pagina bijvoorbeeld gemiddeld maximaal twee is.
• Dat met een bepaald lettertype en lettergrootte moet zijn gewerkt. Om eenheid hierin tijdens de beoordeling te verkrijgen en te voorkomen dat kandidaten lastig leesbare fancy lettertypes gaan gebruiken, die tot beoordelingsongelijkheid zouden kunnen leiden.
• Dat alle pagina’s genummerd zijn.
• Dat criteria die met de opdracht an sich te maken hebben, zoals dat een peerreview van medekandidaten aanwezig moet zijn of dat een aangereikt format correct is gebruikt.
• Dat inlevering geschiedt via een MS Word-versie en dat bijlagen opeenvolgend genummerd moeten zijn en als losse documenten qua bestandnaam genummerd bijgevoegd moeten zijn.
• Dat technische eisen worden gesteld aan een technisch op te leveren product (een ontwerp, maquette, muziekstuk en dergelijke).
• Dat eisen worden gesteld aan een presentatie zoals het gebruik van een filmpje, het aantal sheets of het vooraf inleveren van de sheets.

Het opnemen van acceptatiecriteria is steeds maatwerk, afhankelijk van de opdracht en de sturing die de ontwikkelaars de kandidaten willen meegeven. Ze zijn voorwaardelijk voor de beoordeling, want pas dan gaat het over inhoud en niveau. Zonder dat aan de acceptatiecriteria wordt voldaan kan het examenproduct qua inhoud en niveau niet worden beoordeeld.

Beoordelen acceptatiecriteria kost tijd

De acceptatiecriteria en de sturing die ze de kandidaat bieden, leiden ertoe dat het niet alleen slechts het afvinken is van de criteria, maar het mag ook niet zo zijn dat het examenproduct in detail moet worden doorgenomen. Verschillende acceptatiecriteria kunnen makkelijk afgevinkt worden, zoals het aantal woorden (via MS Word), lettertype en of alle onderdelen aanwezig zijn. Voor APA en spelling bijvoorbeeld moet het examenproduct globaal doorgebladerd worden voor een indruk. Het opstellen van acceptatiecriteria heeft tot gevolg dat deze dus ook beoordeeld moeten worden wat tijd kost. Hier dienen ontwikkelaars en beoordelaars zich bewust van te zijn.

Herkansing en het gevolg

Vaak wordt voor de herkansing, om te voldoen aan de acceptatiecriteria, één herkansing gegeven. Wordt daar niet aan voldaan dan kan de kandidaat pas bij een volgend indieningsmoment opnieuw zijn examenwerkstuk inleveren (denk aan een volgend studiejaar). Dit betekent dan nogal wat, omdat iedereen wel snapt dat bij het examenproduct het eigenlijk gaat om de beoordeling op basis van de beoordelingscriteria. Daar wordt in geval niet eens aan toegekomen. Dat zal een kandidaat als onrechtvaardig en als gezeur in de marge kunnen opvatten. Wat maken immers 10% extra woorden uit, of wat teveel spelfouten of een verkeerd gebruikt lettertype. Het gaat immers om de inhoud en het niveau en de beoordeling, toch?

Doel acceptatiecriteria

Het is dus belangrijk om steeds het doel van de acceptatiecriteria voor ogen te houden evenals de formulering ervan. Het doel moet het middel rechtvaardigen. Wat het doel is of wat de doelen zijn is afhankelijk van het examen. Stel dat een column als examenproduct moet worden beoordeeld, dan zijn het maximum aantal woorden en een correcte spelling belangrijk. Dat zouden dan verantwoorde acceptatiecriteria kunnen zijn. Gaat het om een afstudeerscriptie op hbo of academische niveau dan dient bijvoorbeeld de APA goed te zijn uitgevoerd, daar is immers ook naar toegewerkt, evenals bijvoorbeeld een goede samenvatting van een bepaalde omvang. Maar denk ook aan een goede structuur van de teksten, een goed gebruik van de pagina-indeling, paginanummering en dergelijke. Na het afstuderen wordt ook verwacht dat een kandidaat goed gestructureerde en geschreven notities of rapporten kan ontwikkelen.

Bij het opstellen van de acceptatiecriteria moet een goede afweging worden gemaakt tussen noodzaak en nut. Want waarop wil je een examenproduct echt vooraf afwijzen? Ook gelet op de herkansing en het gevolg van het niet voldoen eraan. Dus weeg het doel heel goed af, ook om te voorkomen dat veel van het examenproduct al moet worden bestudeerd, zonder al met inhoud en niveau bezig te zijn. Dubbel werk moet worden voorkomen. Het is namelijk voor beoordelaars vaak een valkuil om bij het beoordelen van de acceptatiecriteria gelijk al inhoud en niveau alvast mee te beoordelen.

Acceptatiecriteria als beoordelingscriterium

Als bijvoorbeeld een goede structuur en dat elke hoofdstuk start met een inleiding als acceptatiecriteria zijn benoemd (wat voorkomt) omdat die belangrijk worden gevonden, kan ook overwogen worden om die op te nemen als beoordelingscriterium. Ze zijn namelijk vrij lastig te beoordelen als acceptatiecriteria zonder de inhoud te bestuderen.

Als argument wordt aangedragen dat in leerjaar 1 tot en met 4 steeds inhoudelijk aandacht is besteed aan structuur en de inleiding per hoofdstuk. Bij de afstudeerscriptie moeten ze laten zien dat ze dat beheersen en dat het daarom dus een acceptatiecriterium is geworden en geen inhoudelijk beoordelingscriterium meer is. Hier is wat voor te zeggen, maar feitelijk is het daarmee een knock-out-criterium geworden als bij de herkansing blijkt dat het alsnog onvoldoende is uitgevoerd. De vraag is of dat de bedoeling is.

Voorstel

Acceptatiecriteria zijn belangrijk om het gedrag van kandidaten te sturen bij het ontwikkelen van examenproducten. Dit is belangrijk vanuit inhoudelijke aspecten (aantal woorden bij een column), vanuit efficiency (opnemen inhoudsopgave, aantal woorden bij een scriptie, nummering pagina’s), vanuit leesbaarheid en gelijkheid (lettertype en lettergrootte) of belangrijk vanuit technische eisen (voldoen aan APA, aanwezigheid peerreviews, gebruikte materialen). Maar het beoordelen van de acceptatiecriteria mag niet leiden tot een sterke beoordeling van de inhoud, daar zijn de beoordelingscriteria voor.

Het voorstel is om acceptatiecriteria te definiëren als criteria voor de acceptatie van een examenproduct die eenvoudig en snel zijn te beoordelen door uitsluitend het globaal doornemen/doorbladeren van het examenproduct zonder de inhoud te hoeven te bestuderen.

Maak bij twijfel van een (te) inhoudelijke acceptatiecriterium gebruik van de mogelijkheid er een beoordelingscriterium van te maken. Denk er wel aan daartoe ook eventueel de leerdoelen uit te breiden (constructive alignment).