Student Robin Pocornie moest tijdens de coronapandemie tentamens maken met een lamp direct op haar gezicht. Haar witte medestudenten hoefden dat niet. De surveillance-software van de VU heeft haar gediscrimineerd, daarom dient ze vandaag een klacht in bij het College voor de Rechten van de Mens.
In een interview in de Volkskrant beschrijft Pocornie hoe ze thuis tentamens moest maken met Proctorio, surveillance-software die algoritmisch probeert te controleren of er niet wordt gefraudeerd. Bij de start van elk tentamen moest haar gezicht worden herkend en dat lukte steeds niet: ze werd niet gezien. Pas toen ze – op een klaarlichte middag – een lamp direct in haar gezicht scheen kon de software zien dat ze er was. “De software herkende me niet als mens,” zegt Pocornie tegen de Volkskrant.
Volgens Naomi Appelman van het Racism and Technology Center is het al langer bekend dat gezichtsherkenning vaak minder goed werkt bij mensen van kleur: “Onderzoekers van MIT en Microsoft toonden in 2018 al aan dat bij drie grote aanbieders van gezichtsherkenningssoftware zwarte vrouwen in bijna 35% van de gevallen niet werden herkend, terwijl dit bij witte mannen in minder dan 1% van de gevallen fout ging. In de bredere maatschappelijke discussie is dit helaas nog steeds niet doorgedrongen en wordt de software op steeds meer plekken ingezet.”
Bij Proctorio specifiek is aangetoond dat de software gebruik maakt van gezichtsherkenningstechnologie die significant minder goed werkt bij mensen met een donkere huidskleur dan bij mensen met een lichtere huidskleur. In buitenlandse media is er al geschreven over studenten met vergelijkbare ervaringen als die van Pocornie. Toch wordt de software nog altijd gebruikt door onder meer de VU, de UvA, de TU Eindhoven en de Universiteit Twente.
“Als het doel is om de integriteit en eerlijkheid van de examens te waarborgen, dan kun je dat natuurlijk niet doen met technologie die een bepaald deel van de studenten benadeelt,” aldus Appelman. “Er is door onderwijsinstellingen vaak wel gekeken naar de privacy-implicaties van het inzetten van de proctoring-software, maar de vraag of iedereen wel gelijk behandeld wordt door de software is eigenlijk bijna nooit gesteld.”
Pocornie heeft in eerste instantie een officiële klacht ingediend bij de VU en de universiteit gevraagd om direct te stoppen met het gebruik van de surveillance-software. Daarnaast wilde ze de garantie dat er maatregelen worden getroffen om dit soort problemen in de toekomst te voorkomen. Tot slot verwacht ze dat de VU publieke excuses aanbiedt aan de studenten die last hebben gehad van het gebruik van deze software.
Omdat volgens Pocornie de VU met de reactie op haar klacht nog steeds weigert om verantwoordelijkheid te nemen voor de inzet van racistische software stapt ze nu naar het College voor de Rechten van de Mens. Zij hoopt dat het daardoor duidelijk wordt dat publieke instellingen de plicht hebben vóórdat dit soort technologie wordt ingezet zich ervan te verzekeren dat deze niet discrimineert.
Studenten die een vergelijkbare ervaring als die van Robin Pocornie hebben gehad kunnen als ze dat willen (vertrouwelijk) hun verhaal delen met het Racism and Technology Center via proctoring@racismandtechnology.center.