VU student Robin Pocornie diende een klacht in bij het College van de Rechten van de Mens. De door de VU ingezette antispieksoftware had moeite haar te herkennen als mens en dat kwam door haar huidskleur. Na een zitting oordeelt het College dat Pocornie voldoende bewijzen heeft aangedragen voor een vermoeden van discriminatie. Het is nu aan de VU om het technisch controleerbare bewijs te leveren dat dit niet het geval is geweest.
“Ik ben heel blij dat de wet aan mijn kant staat,” zegt Robin Pocornie. “Dit soort discriminatie is moeilijk zichtbaar te maken en het College heeft dat goed begrepen. Ik kijk vol vertrouwen uit naar het definitieve oordeel. Verder ben ik benieuwd naar de reactie van al die andere universiteiten en hogescholen die deze software ook hebben gebruikt, ook zij hebben immers studenten van kleur in de collegebanken.”
Het is een primeur dat het College zich uitspreekt over algoritmische discriminatie. “Met deze uitspraak schrijft het College geschiedenis: het is de eerste keer dat aangegeven wordt dat technologie racistisch kan zijn,” aldus Naomi Appelman, voorzitter van het Racism and Technology Center. “We hopen dat dit een les is voor alle organisaties die gezichtsdetectie of -herkenning in (willen) zetten in hun bedrijfsprocessen: je kunt dat alleen doen als je zelf zeker weet dat je geen mensen discrimineert. Garanties van de leverancier van de technologie zijn daarbij niet genoeg.”
Beeld: Hans de Zwart, Robin Pocornie en Naomi Appelman bij het College voor de Rechten van de Mens, CCO