De complexe relatie tussen AI en discriminatie: een kritische blik op algoritmen

Vorige week verwelkomde Dounia Maakor, AI-ethicus en data scientist Oumaima Hajri in Suhoor Stories. De uitzending stond in het teken van kunstmatige intelligentie (AI) en discriminatie, een onderwerp dat steeds urgenter wordt in onze samenleving. Hajri deelde inzichten over algoritmen en hun impact op racisme en discriminatie.

By Dounia Maakor and Oumaima Hajri for NPO Radio 1 on April 2, 2024

Hoger onderwijs blijft software inzetten die zwarte studenten minder herkent

Hogescholen en universiteiten blijven tentamensoftware Proctorio gebruiken, ondanks zorgen over discriminatie. Dat blijkt uit een rondgang van RTL Nieuws langs onderwijsinstellingen die het programma hebben ingezet. Acht van de twaalf nemen er geen afstand van. Het College voor de Rechten van de Mens en een stichting die hun zorgen uitspraken over discriminatie, reageren teleurgesteld: “Onbegrijpelijk en roekeloos.”

By Naomi Appelman and Stan Hulsen for RTL Nieuws on February 2, 2024

Raciale data houden de machtsverdeling in stand, maar kunnen haar ook omverwerpen

Het registreren van etniciteit is in Nederland bij wet verboden. Maar het verzamelen van gerelateerde kenmerken, zoals land van herkomst, mag wel. Met als gevolg dat raciale data steeds weer een rol spelen in allerlei discriminatie-affaires, waaronder het toeslagenschandaal. Dit maakt het verleidelijk om tegen dataverzameling te zijn, maar zouden we het ook kunnen omkeren? Kunnen we raciale data ook inzetten om discriminatie en racisme te bestrijden? Lilith-onderzoeker Meike Schipper sprak met verschillende experts en zocht het uit.

By Gerwin van Schie, Jill Toh and Meike Schipper for Lilith on December 5, 2023

Late Night Talks: Studenten slepen universiteit voor de rechter vanwege discriminerende AI-software

Vrije Universiteit Amsterdam student Robin Pocornie en Naomi Appelman, co-founder van non-profitorganisatie Racism and Technology Center, gaan met elkaar in gesprek over discriminatie binnen kunstmatige intelligentie (artificial intelligence). Wat zijn de voor- en nadelen van kunstmatige intelligentie en in hoeverre hebben we grip en hoe kunnen we discriminatie tegengaan in de snelle ontwikkelingen van technologie?

By Charisa Chotoe, Naomi Appelman and Robin Pocornie for YouTube on December 3, 2023

Zwarte mensen vaker niet herkend door antispieksoftware Proctorio

Gezichten van mensen met een zwarte huidskleur worden veel minder goed herkend door tentamensoftware Proctorio, blijkt uit onderzoek van RTL Nieuws. De software, die fraude moet herkennen, zoekt bij online tentamens naar het gezicht van een student. Dat zwarte gezichten beduidend slechter worden herkend, leidt tot discriminatie, zeggen deskundigen die het onderzoek van RTL Nieuws beoordeelden.

By Stan Hulsen for RTL Nieuws on October 7, 2023

Does AI perpetuate human bias?

AI bias is not new. Rather it is a problem that is escalating as newer AI technologies are being deployed in various parts of our lives. Who does AI discriminate against and why? Dutch student Robin Pocornie tells us why she submitted a claim against her university using an AI exam supervision system. New York-based data reporter Lam Thuy Vo points out insufficient and inadequate datasets that AI is trained on, while Berlin-based tech expert Nakeema Stefflbauer talks about systemic biases entrenched into AI design. When talking about AI chatbots like ChatGPT, Vanderbilt University’s Jules White argues that bias is rather brought out by users themselves. And with the co-founder of Racism and Technology Center in Amsterdam, Naomi Appelman, we discuss the idea of technological objectivity that persists in our society.

By Jules White, Lam Thuy Vo, Nakeema Stefflbauer, Naomi Appelman, Robin Pocornie and Samantha Johnson for YouTube on September 26, 2023

Met het Oog op Morgen: Gezichtsherkenning herkent zwarte vrouw niet

Een opmerkelijke zaak in de Verenigde Staten: een vrouw wordt gearresteerd voor beroving en diefstal van een auto. Maar de vrouw is hoogzwanger en heeft het helemaal niet gedaan. Zij komt in beeld omdat een computer haar door gezichtsherkenning eruit pikt. Zij wordt in bijzijn van haar kinderen in de boeien geslagen. Later blijkt dus: zij was het niet.

By Naomi Appelman and Rob Trip for NPO Radio 1 on August 9, 2023

Procederen tegen de overheid, The Big Lebowski en de strijd tegen digitaal racisme met Hans de Zwart

Hans de Zwart is onderzoeker en docent aan de Hogeschool van Amsterdam en is een van de oprichters van het ‘Racism and Technology Center’. Hij heeft ervaring met juridische strijd met de overheid en helpt anderen deze zo goed mogelijk te voeren. Bijvoorbeeld als een zwarte student moeite heeft examens af te leggen omdat de anti-spieksoftware niet herkent dat er een mens in beeld is.

By Hans de Zwart, Randal Peelen and Ruurd Sanders for Met Nerds om Tafel on April 26, 2023

De strijd van een student tegen discriminerende antispieksoftware van de VU en de tol die het eist

“Het scannen van mijn studentenpas en bureau ging goed, maar bij mijn gezicht kreeg ik de melding dat de ruimte te donker was”, vertelt de 26-jarige Robin Pocornie over het maken van haar eerste examen in september 2020 met – door de Vrije Universiteit (VU) verplichte – online antispieksoftware Proctorio. Wanneer ze een lamp in haar gezicht schijnt, wordt ze wel herkend en toegelaten tot haar examens. Ze vermoedt daarom dat de software discrimineert, maar voelt zich door de VU niet gehoord als ze een klacht indient en klopt daarom aan bij Het College voor de Rechten van de Mens (CvRM). Dat gaf haar op 7 december 2022 in een tussenoordeel gelijk, waarna de VU weer met tegenbewijs kon komen. Deze zaak is een historische gebeurtenis, met alle gevolgen van dien.

By Ariela Slakhorst, Naomi Appelman and Robin Pocornie for Lilith on April 11, 2023

Breken we de macht van Big Tech?

In deze aflevering gaat host Inge in gesprek met beleidsadviseur Lotje over de Digital Markets Act. Evelyn, vaste tafelgast en directeur van Bits of Freedom, dook in een lyric-site rabbit hole en vond er liedjes over wetgeving en fout gehoorde liedteksten. We bellen in met Robin Pocornie, die een klacht indiende bij het College voor de Rechten van de Mens, over racistische antispieksoftware die gebruikt wordt door haar universiteit.

By Evely Austin, Inge Wannet, Lotje Beek and Robin Pocornie for Bits of Freedom on December 16, 2022

Antispieksoftware op de VU discrimineert

Antispieksoftware checkt voorafgaand aan een tentamen of jij wel echt een mens bent. Maar wat als het systeem je niet herkent, omdat je een donkere huidskleur hebt? Dat overkwam student Robin Pocornie, zij stapte naar het College voor de Rechten van de Mens. Samen met Naomi Appelman van het Racism and Technology Centre, die Robin bijstond in haar zaak, vertelt ze erover.

By Naomi Appelman, Natasja Gibbs and Robin Pocornie for NPO Radio 1 on December 12, 2022

Eerste keer vermoeden van algoritmische discriminatie succesvol onderbouwd

Een student is erin geslaagd voldoende feiten aan te dragen voor een vermoeden van algoritmische discriminatie. De vrouw klaagt dat de Vrije Universiteit haar discrimineerde door antispieksoftware in te zetten. Deze software maakt gebruik van gezichtsdetectiealgoritmes. De software detecteerde haar niet als ze moest inloggen voor tentamens. De vrouw vermoedt dat dit komt door haar donkere huidskleur. De universiteit krijgt tien weken de tijd om aan te tonen dat de software niet heeft gediscrimineerd. Dat blijkt uit het tussenoordeel dat het College publiceerde.  

From College voor de Rechten van de Mens on December 9, 2022

College voor de Rechten van de Mens oordeelt dat VU student het vermoeden van algoritmische discriminatie succesvol heeft onderbouwd: antispieksoftware is racistisch

VU student Robin Pocornie diende een klacht in bij het College van de Rechten van de Mens. De door de VU ingezette antispieksoftware had moeite haar te herkennen als mens en dat kwam door haar huidskleur. Na een zitting oordeelt het College dat Pocornie voldoende bewijzen heeft aangedragen voor een vermoeden van discriminatie. Het is nu aan de VU om het technisch controleerbare bewijs te leveren dat dit niet het geval is geweest. 

Continue reading “College voor de Rechten van de Mens oordeelt dat VU student het vermoeden van algoritmische discriminatie succesvol heeft onderbouwd: antispieksoftware is racistisch”

#DecidimFest22: Internet regulation as a battleground

50 years after the birth of the Internet, the existing battles in the legal field seeking to regulate this great global space are multiple and increasingly complex. Regulation and legal times always operate much slower than the speed of technological development, and even more so in aspects as complex as the development of artificial intelligence, automatic data processing, or the impact of social networks and large platforms on society as a whole. In this roundtable we will address from different perspectives, the legal battles that are taking place in Europe around digital technologies and the role of lobbies, the challenges and risks of regulation in the field of AI and discrimination, and the main lines of action for the defense of digital rights.

By Andrea G. Rodríguez, Jill Toh and Simona Levi for YouTube on October 13, 2022

Lang verhaal kort – Discrimineert antispieksoftware studenten?

Tijdens corona leek antispieksoftware dé oplossing. Ondanks de lockdowns en online colleges konden studenten zo toch hun tentamens maken. Maar op die software is ook kritiek, er ligt zelfs een klacht over discriminatie bij het College voor de rechten van de mens. Hoe dat zit legt Jasper je deze aflevering uit.

By Jasper Stads, Robin Pocornie and Sophie Frankenmolen for NPO 3FM on October 13, 2022

Vrije Universiteit belooft discriminatie door spieksoftware te beperken

Leveranciers van antispieksoftware moeten het risico beperken dat die software discrimineert op basis van huidskleur. Dat gaan de Vrije Universiteit Amsterdam (VU) en andere universiteiten voortaan van die bedrijven eisen. Toch blijft de VU ontkennen dat ze fouten heeft gemaakt rond de klacht van een masterstudente met een donkere huidskleur.

By Afran Groenewoud for NU.nl on October 12, 2022

Dutch student files complaint with the Netherlands Institute for Human Rights about the use of racist software by her university

During the pandemic, Dutch student Robin Pocornie had to do her exams with a light pointing straight at her face. Her fellow students who were White didn’t have to do that. Her university’s surveillance software discriminated her, and that is why she has filed a complaint (read the full complaint in Dutch) with the Netherlands Institute for Human Rights.

Continue reading “Dutch student files complaint with the Netherlands Institute for Human Rights about the use of racist software by her university”

Proudly powered by WordPress | Theme: Baskerville 2 by Anders Noren.

Up ↑