Karin Gerritsen-van Leeuwenkamp heeft in Examens 2023-3 een uitgebreid artikel geschreven over de ‘Illustratie van ChatGPT bij toetsing en aandachtspunten voor weloverwogen gebruik’. Ze heeft aan de hand van 24 prompts 24 voorbeelden laten zien wat ChatGPT kan betekenen voor de ontwikkeling van vragen (gesloten en open) en opdrachten. Een prompt is een specifieke instructie aan ChatGPT om een reactie van ChatGPT uit te lokken. Het artikel laat op een indrukwekkende wijze zien waartoe ChatGPT in staat is ter ondersteuning van de toetsbekwame vraag-/opdrachtontwikkelaar die voor de taak staat vragen of een opdracht te ontwikkelen.
Op 14 maart 2024 organiseerde de NVE (Nederlandse Vereniging voor Examens) ‘Het Examencongres, Toetsen en Examinering 2.0’. Keynote was Barend Last over ‘De impact van AI op examinering’ en in de middag had hij een workshop over hoe je een echte ‘Prompt engineer’ kunt worden. Zijn workshopzaal puilde letterlijk uit. Wat bij is gebleven is dat je heel specifiek moet zijn met wat het resultaat moet zijn. Beschrijf dat in duidelijke hele zinnen en gebruik daarbij context. En vraag gerust door nadat ChatGPT een reactie heeft gegeven; ga het vraag en antwoordspel maar aan. En vooral, wees vriendelijk naar ChatGPT toe. Uit onderzoek schijnt naar voren te komen dat als je vriendelijk bent naar ChatGPT het tot betere prompt-resultaten komt. De onderzoekers kunnen nog niet verklaren waardoor dat komt, maar het lijkt dat ChatGPT dit zichzelf aan het aanleren is.
ChatGPT Plus/ChatGPT+/ChatGPT 4 (dezelfde namen voor hetzelfde product) is de betaalde versie van ChatGPT (ChatGPT 3,5 is de gratis versie). ChatGPT kost $ 20,00 exclusief btw. ChatGPT 4 geeft nauwkeurigere reacties op de gestelde prompts omdat deze versie context beter zou begrijpen en meerdere bronnen zou gebruiken. Bovendien bevat ChatGPT 4 verschillend extra features zoals dat het overweg kan met groot opgestelde prompts van bijvoorbeeld twee pagina’s A4, kan het spraak als prompt gebruiken en kan het afbeeldingen genereren.
Thuisgekomen namen we de proef op de som. Hiervan geven we twee voorbeelden. De eerste betreft de generatie van een afbeelding, de vraag erna betreft een toetskundige vraag waarop doorgevraagd wordt.
Laten genereren van een afbeelding in ChatGPT 4
User
Beste ChatGPT, zou je afbeelding kunnen maken op basis van de volgende gegevens. Leden van de NVE (Nederlandse Vereniging voor Examens) die als enkeling of in een groepje aan het lezen zijn in Examens, tijdschrift voor de toetspraktijk, blij en enthousiast zijn en ook actief gedrag vertonen in de vorm van overleg met elkaar. Maar dat doen ze niet allemaal, er zijn er ook die rustig aan het lezen of bladeren zijn in Examens. Het betreft zowel mannen als vrouwen, oud en jong (studenten van een hogeschool). Je mag een gebouw van een hogeschool ook laten zien. Ik ben benieuwd naar het resultaat en alvast dank.
ChatGPT
Hier is de afbeelding die de sfeer weergeeft van leden van de Nederlandse Vereniging voor Examens (NVE), die zowel individueel als in groepjes interactief en enthousiast zijn met het tijdschrift “Examens”.
User
Whoww ik ben nu al onder de indruk. Maar ik zie dat je niet de voorkant van Examens hebt gebruikt. Zie www.professioneelbegeleiden.nl voor een voorbeeld van de voorzijde. Ook vind ik dat er te weinig ‘witruimte’ aanwezig is, het is zo volgepropt met lezers. De doelgroep heb je al wel goed weten weer te geven. Wil je een nieuw poging doen?
ChatGPT
Ik begrijp je feedback, maar er zijn enkele beperkingen waar ik rekening mee moet houden. Ten eerste kan ik geen specifieke bestaande afbeeldingen, zoals de voorkant van “Examens” tijdschrift, reproduceren of gebruiken in het ontwerp vanwege auteursrechtelijke beperkingen. Ten tweede, hoewel ik een nieuwe afbeelding kan genereren, kan ik alleen werken met beschrijvingen en geen directe weergave van bestaande, auteursrechtelijk beschermde media gebruiken.
Met jouw feedback in gedachten, kan ik een nieuwe afbeelding creëren die meer ‘witruimte’ heeft en minder vol lijkt, met behoud van de diversiteit van de doelgroep. De afbeelding zal de essentie van het lezen en bespreken van een academisch tijdschrift weergeven, zonder specifieke details van het daadwerkelijke tijdschrift “Examens”. Zou je dat willen?
User
Ja, maar ik zit in de redactie van Examens en ik mag jou toestemming geven voor het gebruik van de voorzijde van het blad examens. Of moet ik je een afbeelding sturen? Dan moet je me wel vertellen hoe ik dat moet doen.
ChatGPT
Ik waardeer uw aanbod en begrip voor het detailniveau dat nodig is. Echter, zelfs met uw toestemming, kan ik nog steeds geen auteursrechtelijk beschermde materialen gebruiken of reproduceren binnen de afbeeldingen die ik creëer. Dit is vanwege de beleidsregels waaraan ik moet voldoen, die het gebruik van specifieke geregistreerde handelsmerken, auteursrechtelijk beschermd materiaal of herkenbare ontwerpen zonder algemene toestemming beperken.
Wat ik wel kan doen, is een afbeelding maken die de sfeer en activiteit rond het academische tijdschrift symbolisch weergeeft, zonder directe weergave van de voorkant van “Examens”. Ik zal rekening houden met uw verzoek om meer ‘witruimte’ en het minder volgepropt maken van de scène. Zullen we daarmee doorgaan?
User
Blijkbaar mag ik je ook geen afbeelding mailen, jammer. Dus vooruit maar en verder met jouw voorstel.
ChatGPT
Hier is de nieuwe afbeelding met een ruimere en minder volgepropte academische setting, die de sfeer weerspiegelt van leden van een academische leesgroep, betrokken bij het lezen en bespreken van een generiek academisch tijdschrift.
User
Jaaa, nog beter zo, ook de hogeschool komt nu beter naar voren. Maar nu is niet zichtbaar dat het om een tijdschrift gaat, het lijken meer boeken en ook is niet zichtbaar dat het om Examens gaat. Kun je de afbeelding nog wat aanpassen?
…
En zo ging het nog even door. Wat ChatGPT niet kan is een al gemaakte afbeelding aanpassen. Op basis van alle verkregen informatie maakte het steeds onvermoeibaar een nieuwe afbeelding.
User
Dank!
ChatGPT
Geen probleem! Als je in de toekomst nog hulp nodig hebt, aarzel dan niet om te vragen. Veel succes!
…
De promptlijn hiervoor met ChatGPT geeft goed weer dat het lijkt alsof je aan het praten bent met de menselijke tekenaar tegenover je, en zo voelt het ook. En weet dat ChatGPT geen mens is, dus onvermoeibaar is. Blijf dus maar doorvragen totdat je tevreden bent.
Toetskundige vraag
User
Beste ChatGPT, ik moet een online nieuwsbrief ontwikkelen voor toetsdeskundigen. Graag wil ik ze informeren over de nieuwste ontwikkelingen op toetsgebied. Kun jij voor mij de vijf meest belangwekkende ontwikkelingen benoemen. Graag puntsgewijs als dat kan. Dank weer.
ChatGPT
Hier zijn vijf belangwekkende ontwikkelingen op het gebied van toetsing die je zou kunnen benoemen in je nieuwsbrief voor toetsdeskundigen:
Deze ontwikkelingen reflecteren de huidige trends en innovaties in het veld van toetsing, die belangrijk zijn voor toetsdeskundigen om op de hoogte te blijven.
User
Dank en zeker herkenbaar. Als je er nog vijf zou kunnen noemen welke zijn dat dan?
ChatGPT
Hier zijn nog vijf belangrijke ontwikkelingen in het veld van toetsing, die interessant kunnen zijn voor toetsdeskundigen:
User
Je noemt toetsbeveiliging en fraudepreventie en je licht dat toe. Maar wat bedoel je met integriteitscontrolesystemen en ik mis fraude doordat kandidaten vragen en antwoorden op vragen aan elkaar doorgeven. Met name binnen de accountancy blijkt dit laatste voor te komen.
ChatGPT
Toetsbeveiliging en fraudepreventie zijn cruciaal om de integriteit van het toetsproces te waarborgen. Met “integriteitscontrolesystemen” doel ik op mechanismen en technologieën die gebruikt worden om te verzekeren dat de toetsomgeving eerlijk en beveiligd is. Dit omvat software en procedures die ontworpen zijn om vals spelen, plagiaat, en andere oneerlijke praktijken te detecteren en te voorkomen. Enkele voorbeelden zijn:
Plagiaatdetectiesoftware: Systemen die ingezonden werk scannen op overeenkomsten met bestaande bronnen om plagiaat te detecteren.
Online proctoring tools: Software die tijdens online toetsen het gedrag van de kandidaat monitort via webcam, microfoon, en schermopname om vals spelen te voorkomen.
Dataforensics: Analysetechnieken die afwijkende patronen in toetsresultaten onderzoeken, wat kan wijzen op fraude.
Wat betreft het doorgeven van vragen en antwoorden tussen kandidaten, dit is een vorm van fraude die voorkomt in veel toetscontexten, inclusief accountancy. Dit soort fraude ondermijnt de validiteit van toetsresultaten omdat het niet de werkelijke kennis of vaardigheden van de kandidaten weerspiegelt. Om dit te bestrijden, kunnen organisaties verschillende maatregelen nemen:
Vraagbanken: Door een grote databank van vragen te gebruiken waaruit willekeurig vragen worden geselecteerd voor elke kandidaat, wordt het risico verminderd dat kandidaten dezelfde vragen krijgen en antwoorden kunnen delen.
Toetsversiebeheer: Het creëren van verschillende versies van toetsen kan voorkomen dat kandidaten identieke vragen en antwoorden kunnen delen.
Naleving en ethische training: Het opleiden van kandidaten over de ernst en de gevolgen van fraude kan helpen om ethisch gedrag te bevorderen.
Deze methoden helpen om de integriteit van het toetsproces te handhaven en zorgen ervoor dat de resultaten een nauwkeurige weergave zijn van de competenties van de kandidaten.
User
Dank ChatGPT voor je antwoorden. Ik kan weer verder.
ChatGPT
Graag gedaan! Fijn om te horen dat je de informatie nuttig vond. Als je in de toekomst nog meer vragen hebt, aarzel dan niet om contact op te nemen. Succes met je werk!
‘Leuk of niet, door de opkomst van AI zul je als docent je onderwijs aan moeten passen’
Met deze kop geeft Hans de Zwart op 4 april 2024 in de Volkskrant inhoud aan de verandering die AI aan het veroorzaken is binnen het onderwijs. Docenten moeten bijvoorbeeld stoppen met het gebruik van antiplagiaat software.
‘ChatGPT schrijft immers compleet nieuwe teksten.’ ‘Makers van antiplagiaat software bouwen AI-detectie in, maar dat werkt niet. Er kan niet met zekerheid worden gezegd dat de tekst door AI is geschreven.’
‘Elke keer als ik merk dat een groot deel van mijn studenten niet zelf heeft nagedacht maar een machine dat heeft laten doen, zit er maar één ding op: mijn opdrachten en mijn manier van toetsen aanpassen. Of we dat nou willen of niet (ik heb gemengde gevoelens, maar neig naar niet), studenten gáán AI gebruiken voor hun opdrachten. Dat betekent dat docenten creatief moeten zijn in wat ze van studenten vragen en hoe ze controleren wat er nou precies geleerd is.’
Binnen een formatief toetsje werd de volgende open vraag gesteld in een digitaal toetssysteem:
‘Wat is de relatie tussen de begrippen betrouwbaarheid en validiteit?’
De bedoeling was natuurlijk dat de student in eigen woorden de vraag beantwoord en achteraf het antwoord vergelijkt met het gegeven antwoordmodel. Dus niet in het hoofd tot een globaal antwoord komen, maar gedwongen worden zelf het antwoord te formuleren, want juist daar leert een student van. Pas bij het precies formuleren van het antwoord lees je wat je probeert te verklaren, corrigeer je dat en denk je na over de bevraagde stof en zoek je nog wat op. Om tot de juiste formulering van het antwoord te komen.
Maar wat doet de student, met Alt-tab naar ChatGPT:
User
Beste ChatGPT, wat is de relatie tussen de begrippen betrouwbaarheid en validiteit binnen toetsing?
ChatGPT
Betrouwbaarheid en validiteit zijn twee belangrijke begrippen binnen het domein van toetsing, en ze hebben betrekking op de kwaliteit en effectiviteit van een toets of meting.
Betrouwbaarheid verwijst naar de consistentie van een toets. Een betrouwbare toets levert stabiele en consistente resultaten op over tijd, verschillende omstandigheden en verschillende beoordelaars. Met andere woorden, als een toets wordt herhaald onder vergelijkbare omstandigheden, zou deze vergelijkbare resultaten moeten opleveren. Betrouwbaarheid is cruciaal om te verzekeren dat de toetsresultaten niet beïnvloed worden door toevallige factoren, zoals de specifieke toetsomstandigheden of tijdelijke stemmingen of gezondheidstoestanden van de deelnemers.
Validiteit daarentegen gaat over de mate waarin een toets daadwerkelijk meet wat het beoogt te meten. Dit houdt in dat de inhoud van de toets de te beoordelen competenties of kennisgebieden adequaat moet weerspiegelen. Een valide toets is dus één die daadwerkelijk de vaardigheden, kennis of competenties beoordeelt die het pretendeert te beoordelen, en waarvan de resultaten gebruikt kunnen worden om geldige conclusies te trekken over de getoetste eigenschappen of vaardigheden van de persoon.
De relatie tussen betrouwbaarheid en validiteit is dat betrouwbaarheid een voorwaarde is voor validiteit. Zonder betrouwbaarheid kan men niet spreken van validiteit, want als een toets niet consistent is in zijn uitvoering, kunnen de resultaten ervan niet nauwkeurig weergeven wat men probeert te meten. Met andere woorden, een toets moet eerst betrouwbaar zijn voordat deze valide kan zijn. Echter, een toets kan wel betrouwbaar zijn zonder valide te zijn; het kan consistent dezelfde resultaten produceren, maar als die resultaten niet het beoogde construct meten, dan is de toets niet valide. Daarom is het belangrijk om beide aspecten te overwegen en te verzekeren bij het ontwikkelen en beoordelen van toetsen.
User
Veel dank, dit is een heel duidelijk en correct antwoord, hoewel de vraag alleen ging over de relatie tussen de begrippen en niet over de betekenis van de begrippen.
ChatGPT
Bedankt voor uw feedback. Om direct op de relatie tussen betrouwbaarheid en validiteit te focussen: betrouwbaarheid is een voorwaarde voor validiteit. Als een toets niet betrouwbaar is, kan deze niet valide zijn, omdat consistentie in de metingen nodig is om te beoordelen of de toets werkelijk meet wat het bedoeld is te meten. Dus, terwijl betrouwbaarheid gaat over de consistentie van de meting, is validiteit gericht op de accuratesse van wat gemeten wordt. De twee zijn verbonden, maar niet onderling uitwisselbaar: een toets kan consistent (betrouwbaar) zijn zonder nauwkeurig (valide) te zijn in het meten van het beoogde construct.
…
Wat doet de student copy-paste en past de tekst nog iets aan aan zijn eigen woorden en klaar.
Wat doet de docent? Niets en gaat door want de student houdt zichzelf maar voor de gek, niet mijn probleem.
Of …
Hij haalt de groep studenten bij elkaar en stelt de vraag aan een student die de vraag goed had beantwoord (met ChatGPT) en vraagt nogmaals om het antwoord. Dan zullen studenten merken hoeveel moeite het kost om het juiste antwoord te geven. En zo verder bij andere vragen. Tja, kost tijd, maar als studenten merken dat ze met copy-paste niet veel verder komen, hoop je dat ze leren zelf na te denken; leren is immers ingroeien in het beroep volgens Liesbeth Baartman (Examens 2022-2). En groeien gaat niet vanzelf.
