Minder nakijkwerk, meer risico's? De keerzijde van AI bij examinering

De inzet van AI bij het afnemen en beoordelen van examens is geen toekomstscenario meer. Zo biedt bijvoorbeeld Pearson het examen Engels voor mbo-instellingen aan op basis van AI-technologie. Ook op andere manieren wordt er bij nakijkwerk gebruikgemaakt van AI. Dit brengt risico’s met zich mee. In dit artikel lees je waar je als onderwijsinstelling op moet letten als je AI gaat inzetten bij examinering.

AI-technologie inzetten om examens sneller en efficiënter te beoordelen klinkt aantrekkelijk voor een beroepsgroep die al jaren een hoge werkdruk ervaart. Maar de inzet van AI is meer dan de aanschaf van een nieuwe tool. Het kan het examenproces ingrijpend veranderen, met gevolgen voor de verantwoordelijkheden van de onderwijsinstelling, de rol van docenten en de rechten van studenten.

Kanttekeningen bij verwachte voordelen

De meest genoemde voordelen bij de inzet van AI zijn tijdwinst en verlaging van de werkdruk, kwaliteitsverbetering en kostenbesparing. Maar worden die voordelen in de praktijk ook gerealiseerd?

Werkdrukverlaging

Als je met AI examens afneemt en nakijkt, houden docenten meer tijd over voor andere werkzaamheden, zoals lessen voorbereiden en studenten begeleiden. Maar tijdbesparing leidt niet automatisch tot een lagere werkdruk. De kans is groot dat de vrijgekomen tijd wordt ingevuld met extra onderwijstaken. Daarnaast kost het ook tijd om de AI-beoordelingen te controleren en docenten te trainen in het werken met de gebruikte technologie.

Kwaliteitsverbetering

AI-systemen beoordelen consistenter dan mensen. Maar een consistente beoordeling is niet per definitie een betere beoordeling. Ook AI-systemen kunnen namelijk vooroordelen (bias) hebben en fouten maken. Daarnaast kan AI geen context duiden. Daardoor kent een AI-systeem beperkingen bij het interpreteren van complexe studentantwoorden. Verder hangt de kwaliteit van de AI-beoordeling onder meer af van het gekozen AI-model, de gebruikte prompts, de beoordelingscriteria (rubrics), de voorbeelden en de datasets. Een AI-systeem dat in de ene situatie goed presteert, is dus niet automatisch geschikt voor alle examens.

Tot slot komt hier nog een onderwijskundig aspect bij. Door zelf examens na te kijken, krijgen docenten inzicht in hoe studenten denken, waar zij tegenaan lopen en welke onderdelen van de lesstof extra aandacht nodig hebben. Gaat die informatie verloren, dan kan dat gevolgen hebben voor de begeleiding van studenten en de kwaliteit van het onderwijs.

Kostenverlaging

AI kan tijd besparen, maar dat betekent niet dat de kosten vanzelf dalen. Naast de aanschaf van het systeem moet je rekening houden met de kosten voor infrastructuur, training van medewerkers, monitoring op bias en modelupgrades.

Ook het model zelf vraagt aandacht. Om de kwaliteit van de beoordelingen te bewaken, moet je het regelmatig controleren, testen en waar nodig opnieuw valideren. Daarvoor is goede, actuele documentatie over de werking van het systeem nodig.

Wet- en regelgeving

Naast de vraag wat AI bij examinering oplevert, moet je rekening houden met de wettelijke eisen die eraan worden gesteld. Niet alleen het AI-systeem zelf moet aan die eisen voldoen, maar ook de manier waarop je de examensystematiek binnen je organisatie gebruikt.

De organisatie blijft verantwoordelijk

Dat een aangeboden AI-systeem technisch goed werkt en aan wettelijke eisen voldoet, betekent niet dat je het zonder meer binnen je eigen examenproces kunt inzetten. Je moet ook nagaan of het systeem past binnen de onderwijswetgeving, de examenreglementen en de afspraken binnen je organisatie.

Die verantwoordelijkheid ligt bij jouw eigen onderwijsinstelling, ook als een externe partij het AI-systeem ontwikkelt en levert. Ontdek je pas later dat het systeem niet binnen de geldende regels past, dan loop je het risico dat je je proces moet aanpassen of stopzetten, ondanks de investeringen die je al hebt gedaan. Bij overtreding van de AVG of de AI Act riskeer je bovendien een boete.

AI Act: AI is een hoogrisicotoepassing

De Europese AI-verordening (AI Act) merkt het beoordelen van leerresultaten aan als een hoogrisicoverwerking. Onderwijsinstellingen zijn verplicht de risico's te verkleinen en moeten vooraf onderzoeken welke gevolgen het systeem kan hebben voor de grondrechten van mensen.

AVG: geen geautomatiseerde besluitvorming

Daarnaast speelt de AVG een belangrijke rol. Een computerbesluit mag bijvoorbeeld niet bepalen of iemand voor een vak slaagt (en eventueel een diploma krijgt). Volgens artikel 22 van de AVG mogen beslissingen die grote (rechts)gevolgen voor iemand kunnen hebben niet volledig geautomatiseerd worden genomen (zie voor meer details de toelichting van de Autoriteit Persoonsgegevens). Een examencijfer heeft zulke gevolgen. Je moet in ieder geval als organisatie een DPIA uitvoeren.

Het beoordelingsproces goed inrichten

Om aan de eisen van de AI Act en de AVG te voldoen, moet je ook goed kijken naar de inrichting van het beoordelingsproces. Daarbij is vooral belangrijk welke rol de docent speelt, dat deze inzicht heeft in de AI-beoordeling en welke afspraken je met de leverancier maakt. Als je AI inzet bij het beoordelen van examens, zorg er dan voor dat dit een hulpmiddel is en dat de docent bepaalt welk cijfer er wordt toegekend.   

Betekenisvolle menselijke tussenkomst

Om te voorkomen dat er sprake is van volledig geautomatiseerde individuele besluitvorming, moet een docent daadwerkelijk invloed kunnen uitoefenen op het uiteindelijke cijfer. Dit heet betekenisvolle menselijke tussenkomst. Een AI-cijfer overnemen zonder het kritisch te controleren, is niet voldoende.

Om te zorgen dat er sprake is van betekenisvolle menselijke tussenkomst, moet een docent:

• inzicht hebben in het examen, de antwoorden van de student en de manier waarop het AI-cijfer tot stand is gekomen;
• voldoende kennis, tijd en mogelijkheden hebben om het AI-cijfers kritisch te beoordelen;
• het door AI voorgestelde cijfer zowel naar boven als naar beneden kunnen bijstellen*.

Maar let op: ook als aan al deze voorwaarden wordt voldaan, betekent dit niet automatisch dat fouten in AI-beoordelingen altijd worden opgemerkt. Uit een onderzoek naar de invloed van AI op het oordeel van experts bleek dat docenten sterker vasthielden aan een te laag cijfer als ze dachten dat het door AI was gegeven, dan wanneer ze dachten dat het van een collega kwam. Menselijke tussenkomst is dus geen garantie dat fouten daadwerkelijk worden gecorrigeerd. 

* Als een leraar alleen omhoog mag wijzigen, maar niet naar beneden, voldoet dit naar verwachting niet aan het criterium van betekenisvolle tussenkomst: de AI bepaalt dan namelijk de ondergrens van het oordeel (er is dan sprake van een AI-besluit). Er is overigens nog geen jurisprudentie bekend.

Transparantie en inzagerecht

Ook de transparantie van examens vraagt aandacht. Bij sommige AI-systemen krijgen docenten geen of slechts beperkt inzicht in het examen en de beoordeling, bijvoorbeeld omdat leveranciers hun product willen beschermen. Dan wordt is het niet mogelijk om de beoordeling zelfstandig te controleren of bij te stellen, je moet daarvoor terug naar de leverancier. In zo’n situatie geef je een deel van je examenproces uit handen aan een andere organisatie. Het is belangrijk dat het bestuur van de instelling zich dit realiseert.

Dat raakt ook de rechten van studenten. Studenten hebben inzagerecht: zij mogen hun eigen examenantwoorden en de beoordeling daarvan inzien, ook als die beoordeling met behulp van AI tot stand is gekomen. Dat geldt ook als de bezwaartermijn op het examenresultaat is verstreken. Bovendien moet je als instelling kunnen uitleggen hoe de persoonsgegevens van studenten (in het AI-systeem) worden verwerkt. 

Controleer daarom vooraf altijd of je aan deze verplichtingen kunt voldoen. Zo niet, zorg dan dat dit geregeld is voordat je het AI-systeem gaat gebruiken, of gebruik het niet.

Draagvlak: betrek docenten en studenten

Naast de wettelijke en technische eisen is het ook belangrijk om docenten en studenten bij de plannen rondom de inzet van AI te betrekken. Zij krijgen immers rechtstreeks te maken met de gevolgen.

Docenten en de ondernemingsraad

Wanneer AI een deel van het examineringsproces overneemt, verandert dit het takenpakket en de autonomie van docenten. Bespreek dit en betrek daarom vooraf ook de ondernemingsraad.

Studenten en de studentenraad

Otto Koppius deed onderzoek onder universiteitsstudenten naar de acceptatie van AI bij het beoordelen van toetsen en examens. Daaruit blijkt dat studenten AI bij formatieve toetsen meer accepteren dan bij summatieve toetsen. Neem daarom ook de mening van studenten mee bij de plannen voor AI bij examinering. 

Bij het uitvoeren van een DPIA moet je bovendien de betrokkenen of hun vertegenwoordigers om hun mening vragen over de voorgenomen verwerking (artikel 35, lid 9 van de AVG). In dit geval kun je bijvoorbeeld de studentenraad raadplegen. 

Stappen voor het verantwoord inzetten van AI

Als je AI wilt inzetten bij examinering, zijn niet alleen de mogelijke voordelen doorslaggevend. Je moet ook goed nagaan of je aan alle wettelijke eisen kunt voldoen en welke maatregelen daarvoor nodig zijn. De volgende drie stappen helpen je daarbij:

1. Voorbereiden

• Betrek het bestuur
  De inzet van AI kan een ingrijpende wijziging van het examenproces betekenen. Zorg dat het bestuur op de hoogte is van de plannen en inzicht heeft in de gevolgen voor de strategie, verantwoordelijkheden en risico's van de onderwijsinstelling.
• Controleer de wettelijke en interne regels
  Ga na welke eisen gelden vanuit de AVG, de AI Act, onderwijswetgeving, examenreglementen en interne regelgeving en beleidsafspraken. Houd ook rekening met eisen die samenhangen met bekostiging en verantwoording.
• Voer een DPIA uit
  Breng de privacyrisico's in kaart en neem maatregelen om deze te beperken. Gebruik een eventuele DPIA van de leverancier als input, maar voer ook altijd zelf onderzoek uit naar de privacyrisico's van het gebruik binnen je eigen instelling. Controleer daarnaast of een FRIA nodig is.
• Maak afspraken met de leverancier
  Zorg voor een systeem dat voldoet aan Privacy by Design. Leg daarnaast altijd vast:  
  • welke documentatie over de werking van het AI-model beschikbaar is, en dat die actueel blijft;  
  • dat docenten volledig inzicht krijgen in antwoorden, beoordeling en totstandkoming van het cijfer;  
  • op welke manier de leverancier moet voldoen aan het inzagerecht van studenten;  
  • welke gegevens worden verwerkt, of er verdere training van het AI-model plaatsvindt, en dat dit geanonimiseerd gebeurt als dat kan;  
  • hoe modelupgrades, validatie en monitoring op bias worden geregeld en hoe vaak evaluatie plaatsvindt; 
  • en check of de leverancier een DPIA heeft die je als input voor je eigen DPIA kunt gebruiken. 

2. Inrichten

• Zorg voor betekenisvolle menselijke tussenkomst
  Richt het examenproces zo in dat de docent voldoende inzicht, tijd en mogelijkheden heeft om AI-beoordelingen zelfstandig te controleren en zo nodig aan te passen. Zet AI in als hulpmiddel en voorkom dat menselijke controle slechts een formaliteit wordt.
• Waarborg de rechten van studenten
  Zorg dat je kunt uitleggen hoe beoordelingen tot stand komen en hoe persoonsgegevens worden verwerkt. Controleer of studenten hun rechten (zoals het inzagerecht) kunnen uitoefenen. Maak hierover duidelijke afspraken met de leverancier.
• Betrek docenten (OR) en studenten (SR)
  Onderzoek de gevolgen voor het werk en de positie van docenten en studenten. Betrek de ondernemingsraad bij de voorgenomen wijzigingen en vraag bij de DPIA studenten of de studentenraad om hun mening.

3. Bewaken

• Controleer het AI-model en de verwerking van persoonsgegevens
  Laat het systeem regelmatig controleren en valideren, onder andere op fouten en bias. Maak afspraken met de leverancier over de gebruikte gegevens en de werking en training van het AI-model. Controleer of persoonsgegevens worden gebruikt om het model te trainen en hoe die gegevens worden beschermd. Let daarbij ook op de privacyrisico’s van bijvoorbeeld spraakopnames.

Conclusie

AI bij examinering kan voordelen opleveren, maar die zijn niet vanzelfsprekend. Bovendien brengt de inzet van AI juridische, organisatorische en onderwijskundige risico's met zich mee. Daarom is het belangrijk om vooraf goed te onderzoeken of je AI verantwoord kunt inzetten binnen je examenproces.

Daarbij staan drie vragen centraal:

• Kun je uitleggen hoe een beoordeling tot stand komt?
• Kan de docent daadwerkelijk invloed uitoefenen op het cijfer?
• Zijn de rechten van studenten gewaarborgd?

De antwoorden op deze vragen helpen je om vanuit je onderwijsinstelling een onderbouwde keuze te maken over de inzet van AI.

Bekijk ook: Gebruik van AI bij toetsing en examinering in het mbo: landelijke richtlijn als vertrekpunt - KLIMmbo