De UvA kan het niet meer maken om proctoring in te zetten bij het afnemen van tentamens, nu duidelijk is dat de surveillance-software juist op mensen van kleur een negatieve impact heeft.
Als gevolg van de Black Lives Matter protesten vond ook de Universiteit van Amsterdam het belangrijk om een statement te maken. Op Instagram werd het beeld op zwart gezet, kwam er een solidariteitsverklaring met #blackouttuesday en werd aangegeven dat racisme niet wordt getolereerd. Toch begon de universiteit op datzelfde moment met het grootschalig uitrollen van racistische software. Om tijdens de pandemie op afstand te kunnen toetsen wordt namelijk ‘proctoring’ ingezet, surveillance-software die draait op de computer van de student thuis, en checkt of de student niet fraudeert. In de afgelopen weken is proctoring weer ruimschoots gebruikt bij tentamens op de UvA.
Studenten worden daarmee verplicht een soort spyware op hun computer te installeren die via de webcam en microfoon checkt of ze geen raar gedrag vertonen, en in de gaten houdt of er geen andere programma’s dan de tentamensoftware open staan. Nadat een student zichzelf met de camera heeft geïdentificeerd en heeft laten zien dat er in de kamer niets is dat zou kunnen helpen bij het tentamen, mag er niet meer weg worden gekeken van de computer. Even naar buiten staren om na te denken is er niet meer bij. Studenten plassen soms bijna in hun broek omdat ze tijdens het tentamen niet naar de wc mogen gaan.
Het is belangrijk om te beseffen dat de studenten bij proctoring niet door menselijke surveillanten worden gecontroleerd. De software gebruikt kunstmatige intelligentie om honderden studenten tegelijkertijd te kunnen monitoren. Een algoritmische waakhond kent aan het einde van het tentamen elke student een score toe over de mate van ‘afwijkend’ gedrag. De beelden van een student met een hoge score kunnen dan naderhand door een mens worden teruggekeken.
Het zal niet verbazen dat studenten geen fan zijn van proctoring. Een aantal studenten van de UvA zijn vorig jaar dan ook naar de rechter gestapt om het gebruik van de software stop te laten zetten. De rechtszaak ging over of de universiteit geen toestemming had moeten vragen aan de studentenraad voor het invoeren van proctoring en over of de software voldoet aan de privacyregels. Inmiddels hebben de studenten bij twee instanties hun zaak verloren.
Maar één cruciaal detail is door geen van de betrokken partijen in de rechtszaak aangedragen: wordt iedereen wel gelijk behandeld door de proctoringsoftware? Zou het niet zo kunnen zijn dat sommige mensen door het algoritme eerder worden beschuldigd als potentiële fraudeur dan anderen?
In de media zijn er al veel anekdotes opgetekend over studenten met een donkere huidskleur die extra stress ervaren bij een toets omdat ze door de proctoringsoftware niet worden herkend als mens. De New Yorker schrijft bijvoorbeeld over de student Femi Yemi-Ese bij wie Proctorio – de proctoringsoftware die ook door de UvA wordt gebruikt – geen van de zeven keer dat hij online een tentamen heeft gemaakt meteen zijn gezicht herkende in het beeld. Dit ondanks dat hij een ringlicht achter zijn laptop heeft staan en dus tijdens de hele toets rechtstreeks in het licht moet kijken. Zijn witte medestudenten hebben nergens last van.
Het blijft niet bij anekdotes. Onderzoeker Lucy Satheesan heeft ontdekt dat Proctorio gebruikt maakt van OpenCV, een vrij te gebruiken softwarebibliotheek voor het herkennen van gezichten. Met een ingenieus experiment toonde Satheesan aan dat OpenCV slechter is in het herkennen van gezichten met een donkere huidskleur dan witte gezichten. Daarmee heeft Proctorio dus een racistische impact op studenten.
Van een onderwijsinstelling mag je verwachten dat ze al hun studenten gelijkwaardig behandelen. Dat doen ze niet als ze Proctorio gebruiken. Je kunt als instelling niet aan de ene kant beloftes doen om racisme tegen te gaan, terwijl je tegelijkertijd software gebruikt die bewezen racistisch is. Het kan toch niet zo zijn dat UvA geen alternatief kan vinden voor een ‘oplossing’ die een deel van hun studenten ontmenselijkt?
Deze opinie stond op 6 juli 2021 in Het Parool. Beeld: Examination door Thomas Galves, Creative Commons BY 2.0