Laat ik de vraag specificeren voor mijn vakgebied: zijn besluiten die door technologie worden genomen rechtvaardig? Verdien je de beslissing die uit de machine rolt?
Technologie wordt vaak voorgesteld als neutraal, maar is dat niet: het weerspiegelt en vergroot wat al in de maatschappij bestaat. Sociale ongelijkheid, racisme en discriminatie druppelen door in technologie als kunstmatige intelligentie of zogenaamde slimme camera’s. We zien dat steeds meer besluitvorming wordt geautomatiseerd, waarmee de vraag hoe technologie ongelijkheid reproduceert of discrimineert steeds belangrijker wordt.
Een goed voorbeeld is de zaak van Robin Pocornie, die wij als het Racism en Technology Center samen met haar naar het College voor de Rechten van de Mens hebben gebracht. Tijdens corona werd voor online tentamens op universiteiten de surveillancesoftware Proctoring gebruikt. Hiermee werden de gezichten van studenten gedetecteerd en werd gecontroleerd of er niet meerdere mensen in de ruimte waren. Deze software herkent de gezichten van donkere mensen slechter dan die van witte mensen. Pocornie studeerde aan de Vrije Universiteit en kwam meerdere malen haar tentamen niet goed in omdat haar gezicht niet werd geregistreerd. Uiteindelijk heeft het College geoordeeld dat Pocornie “erin geslaagd is voldoende feiten aan te dragen voor een vermoeden van discriminatie”.
Het College voor de Rechten van de Mens stelde dat publieke instellingen voortaan moeten aantonen dat de technologie die ze gebruiken niet discrimineert. Zíj gebruiken de technologie en mogen de verantwoordelijkheid niet afschuiven op producenten. Dat is een belangrijke stap om de reproductie van sociale ongelijkheid en discriminatie door technologie tegen te gaan. Er is geen quick fix van maatschappelijke problemen door middel van technologie, hoezeer sommigen dan ook willen. Wel kunnen we voorkomen dat technologie wordt gebruikt om onrechtvaardigheid te vergroten.
Deze tekst verscheen eerder bij Vrij Nederland. Het beeld is een uitsnede van Arno Senoner.