Vandaag heeft het College van de Rechten van de Mens geoordeeld dat de VU de student bioinformatica Robin Pocornie niet heeft gediscrimineerd op basis van ras door de inzet van antispieksoftware. Wel heeft de VU verboden onderscheid op grond van ras gemaakt bij de klachtbehandeling.
Read this press release in English
College negeert het feit dat de software discrimineert
Pocornie diende in juli 2022 een klacht in tegen de VU omdat de antispieksoftware die zij verplicht thuis moest gebruiken tijdens Covid haar niet als mens herkende vanwege haar donkere huidskleur. Zij was niet de enige student van kleur met dit probleem, wereldwijd moesten studenten met een lamp direct in hun gezicht tentamen doen om herkend te worden.
In haar eerdere tussenoordeel vond het College dat Pocornie voldoende aannemelijk had gemaakt dat de software discriminerend is. In het eindoordeel kijkt het College echter alleen naar Pocornie’s individuele ervaring. Het College is daarbij van oordeel dat de VU “in deze zaak niet hoeft aan te tonen dat er in het geheel – jegens geen enkele student – geen sprake was van onderscheid op grond van ras bij het gebruik van de software van Proctorio.”
Wetenschappelijk bewijs van discriminatie was er wel, juridisch bewijs niet
“Het oordeel laat zien hoe moeilijk het is om ook juridisch te bewijzen dat een algoritme discrimineert,” aldus Naomi Appelman, jurist en voorzitter van het Racism and Technology Center dat Pocornie ondersteunde in haar zaak. “Er is een overweldigende hoeveelheid wetenschappelijk bewijs dat gezichtsdetectie minder goed werkt voor mensen met een donkere huidskleur, zie ook het recente onderzoek van RTL Nieuws.” Dit inzicht deelt het College. Hoewel volgens het College in dit specifieke geval niet onomstotelijk bewezen is dat er gediscrimineerd zou zijn, sluit dit volgens het College niet uit “dat het gebruik van Proctorio of vergelijkbare AI-software in andere situaties wel tot discriminatie kan leiden.”
Robin Pocornie blijft werken aan de bewustwording over technologie en discriminatie
Robin Pocornie is teleurgesteld: “Ik had een andere uitkomst verwacht. De feiten blijven namelijk staan zoals ze zijn: ik moest met een lamp in mijn gezicht mijn tentamens maken, terwijl mijn witte medestudenten dat niet hoefden te doen. Het College heeft ook aangegeven dat ik gediscrimineerd ben door mijn eigen universiteit in hoe ze mijn klacht hebben behandeld en dat is pijnlijk. Wel ben ik blij met alle aandacht die de zaak heeft gekregen. Ik heb de afgelopen maanden namelijk gemerkt dat onderwijsinstellingen door mijn zaak een stuk bewuster zijn gaan nadenken over of de technologie die ze gebruiken wel voor iedereen hetzelfde werkt. Daar ben ik trots op.”
Pocornie gaat door met haar strijd tegen racisme, ook binnen de technologie: “Als computerwetenschapper en als persoon van kleur begrijp ik heel goed hoe institutioneel racisme zich kan manifesteren in technologie. Ik blijf me dus hard maken voor een samenleving waarin iedereen gelijk behandeld wordt.”