Vooral gebaseerd op:
• het standaardwerk ‘Methodologie. Grondslagen van onderzoek en denken in de gedragswetenschappen’ van De Groot (1994), Specifieke beoordelingsproblemen, pp. 239-244. Te downloaden via link
• de veel geciteerde beoordelaarseffecten van Van Berkel, Bax en Joosten-ten Brinke  in ‘Toetsen in het hoger onderwijs’, pp. 158-159 (2017).

Inleiding
Beoordelingen van open vragen en opdrachten dienen door een beoordelaar zo objectief mogelijk te geschieden om tot een zo betrouwbaar mogelijke beoordeling te komen. Hiertoe dienen beoordelingen zo vrij mogelijk van beoordelaarsinvloeden te zijn. Daarnaast zijn verschillen in beoordeling tussen verschillende beoordelaars niet wenselijk. Hulpmiddelen om tot een zo objectief mogelijke beoordeling bij open vragen te komen zijn antwoordmodellen en een beoordelingsvoorschrift bestaande uit een beoordelingsinstructie en gedetailleerde beoordelingscriteria met een puntenverdeling. Bij opdrachten betreft dit een beoordelingsinstructie met een beoordelingsformulier met beoordelingscriteria, een beoordelingsschaal met beoordelingsniveaus en eventuele indicatoren en een transparante methode om tot scorepunten te komen. Bij opdrachten worden hiertoe checklists, maar vooral ratingscales, rubrics of single-point-rubrics toegepast.
Ondanks een goede voorbereiding om een zo objectieve beoordeling mogelijk te maken, blijft het uiteindelijke beoordelen van open vragen en opdrachten mensenwerk. Het beoordelen kan desondanks, en meestal onbewust, worden beïnvloed door de beoordelaar zelf. Er is veel onderzoek gedaan naar deze ongewenste effecten die beoordelaars hebben op de beoordeling (De Groot, 1994), waardoor een beoordeling minder betrouwbaar kan worden. Om de kans op het optreden van deze effecten zo klein mogelijk te laten zijn, dienen beoordelaars zich voorafgaand aan en tijdens de beoordeling, bewust te zijn van deze effecten op hun beoordelingsgedrag. Achteraf, dus na een beoordeling, kan enigszins zicht worden verkregen op de kwaliteit van de beoordeling en mogelijke beoordelaarseffecten door de intra- en interbeoordelaarsbetrouwbaarheid te berekenen door middel van bijvoorbeeld de veel gebruikte Cohen’s Kappa, of de intraclass correlatie-coëfficiënt. Naast deze analytische methode kan via een kwalitatieve kalibratiebespreking op basis van een beoordeling van enkele eenzelfde werken door betrokken beoordelaars, verschillen in de beoordeling worden besproken en maatregelen worden genomen om deze verschillen te verkleinen.

Een goede voorbereiding, bewustzijn van mogelijk optredende beoordelaarseffecten tijdens de beoordeling met daarnaast achteraf een berekening van de intra- en/of interbeoordelaarsbetrouw­baarbeid en een kalibratiebespreking kan de betrouwbaarheid van de beoordeling van open vragen en opdrachten doen toenemen.
Desondanks zal sprake zijn van opdrachten die zo complex en ondoorzichtig zijn dat ontwikkelaars van de opdracht en beoordelaars er niet in slagen om een objectieve maatstaf voor het te beoordelen resultaat, goed vast te stellen (De Groot, 1961). In een dergelijk geval kunnen meerdere beoordelaars worden ingezet, die onafhankelijk van elkaar tot een oordeel komen. Zij komen tot een intersubjectieve overeenstemming (inter-judge-reliability). Vaak zijn deze beoordelaars experts op hun gebied. Terwijl minder ervaren beoordelaars (experts) zich vooral focussen op direct waarneembare kenmerken, kunnen experts achterliggende informatie doorzien en meewegen in de beoordeling (Brouwer, z.j.). Dit wordt bevestigd uit onderzoek van O’Connor en Cheema (2018) dat experts en meer ervaren beoordelaars minder vallen over details die niet helemaal kloppen, en meer oog hebben voor het geheel van de presentatie. Hierdoor komen expertbeoordelingen vaak tot een iets betere beoordeling dan beoordelingen door minder ervaren beoordelaars. Bij een beoordeling door een groep van beoordelaars blijkt volgens Alblas (2010) dat ‘Groupthink’ onderdeel kan worden van de beoordeling. Ook intersubjectieve beoordeling kan dus last hebben van beoordelaarseffecten.

Klik hier voor een overzicht in alfabetische volgorde van de beoordelaarseffecten die kunnen optreden.