Met het Oog op Morgen: Gezichtsherkenning herkent zwarte vrouw niet

Een opmerkelijke zaak in de Verenigde Staten: een vrouw wordt gearresteerd voor beroving en diefstal van een auto. Maar de vrouw is hoogzwanger en heeft het helemaal niet gedaan. Zij komt in beeld omdat een computer haar door gezichtsherkenning eruit pikt. Zij wordt in bijzijn van haar kinderen in de boeien geslagen. Later blijkt dus: zij was het niet.

By Naomi Appelman and Rob Trip for NPO Radio 1 on August 9, 2023

Procederen tegen de overheid, The Big Lebowski en de strijd tegen digitaal racisme met Hans de Zwart

Hans de Zwart is onderzoeker en docent aan de Hogeschool van Amsterdam en is een van de oprichters van het ‘Racism and Technology Center’. Hij heeft ervaring met juridische strijd met de overheid en helpt anderen deze zo goed mogelijk te voeren. Bijvoorbeeld als een zwarte student moeite heeft examens af te leggen omdat de anti-spieksoftware niet herkent dat er een mens in beeld is.

By Hans de Zwart, Randal Peelen and Ruurd Sanders for Met Nerds om Tafel on April 26, 2023

De strijd van een student tegen discriminerende antispieksoftware van de VU en de tol die het eist

“Het scannen van mijn studentenpas en bureau ging goed, maar bij mijn gezicht kreeg ik de melding dat de ruimte te donker was”, vertelt de 26-jarige Robin Pocornie over het maken van haar eerste examen in september 2020 met – door de Vrije Universiteit (VU) verplichte – online antispieksoftware Proctorio. Wanneer ze een lamp in haar gezicht schijnt, wordt ze wel herkend en toegelaten tot haar examens. Ze vermoedt daarom dat de software discrimineert, maar voelt zich door de VU niet gehoord als ze een klacht indient en klopt daarom aan bij Het College voor de Rechten van de Mens (CvRM). Dat gaf haar op 7 december 2022 in een tussenoordeel gelijk, waarna de VU weer met tegenbewijs kon komen. Deze zaak is een historische gebeurtenis, met alle gevolgen van dien.

By Ariela Slakhorst, Naomi Appelman and Robin Pocornie for Lilith on April 11, 2023

Breken we de macht van Big Tech?

In deze aflevering gaat host Inge in gesprek met beleidsadviseur Lotje over de Digital Markets Act. Evelyn, vaste tafelgast en directeur van Bits of Freedom, dook in een lyric-site rabbit hole en vond er liedjes over wetgeving en fout gehoorde liedteksten. We bellen in met Robin Pocornie, die een klacht indiende bij het College voor de Rechten van de Mens, over racistische antispieksoftware die gebruikt wordt door haar universiteit.

By Evely Austin, Inge Wannet, Lotje Beek and Robin Pocornie for Bits of Freedom on December 16, 2022

Antispieksoftware op de VU discrimineert

Antispieksoftware checkt voorafgaand aan een tentamen of jij wel echt een mens bent. Maar wat als het systeem je niet herkent, omdat je een donkere huidskleur hebt? Dat overkwam student Robin Pocornie, zij stapte naar het College voor de Rechten van de Mens. Samen met Naomi Appelman van het Racism and Technology Centre, die Robin bijstond in haar zaak, vertelt ze erover.

By Naomi Appelman, Natasja Gibbs and Robin Pocornie for NPO Radio 1 on December 12, 2022

Eerste keer vermoeden van algoritmische discriminatie succesvol onderbouwd

Een student is erin geslaagd voldoende feiten aan te dragen voor een vermoeden van algoritmische discriminatie. De vrouw klaagt dat de Vrije Universiteit haar discrimineerde door antispieksoftware in te zetten. Deze software maakt gebruik van gezichtsdetectiealgoritmes. De software detecteerde haar niet als ze moest inloggen voor tentamens. De vrouw vermoedt dat dit komt door haar donkere huidskleur. De universiteit krijgt tien weken de tijd om aan te tonen dat de software niet heeft gediscrimineerd. Dat blijkt uit het tussenoordeel dat het College publiceerde.  

From College voor de Rechten van de Mens on December 9, 2022

College voor de Rechten van de Mens oordeelt dat VU student het vermoeden van algoritmische discriminatie succesvol heeft onderbouwd: antispieksoftware is racistisch

VU student Robin Pocornie diende een klacht in bij het College van de Rechten van de Mens. De door de VU ingezette antispieksoftware had moeite haar te herkennen als mens en dat kwam door haar huidskleur. Na een zitting oordeelt het College dat Pocornie voldoende bewijzen heeft aangedragen voor een vermoeden van discriminatie. Het is nu aan de VU om het technisch controleerbare bewijs te leveren dat dit niet het geval is geweest. 

Continue reading “College voor de Rechten van de Mens oordeelt dat VU student het vermoeden van algoritmische discriminatie succesvol heeft onderbouwd: antispieksoftware is racistisch”

#DecidimFest22: Internet regulation as a battleground

50 years after the birth of the Internet, the existing battles in the legal field seeking to regulate this great global space are multiple and increasingly complex. Regulation and legal times always operate much slower than the speed of technological development, and even more so in aspects as complex as the development of artificial intelligence, automatic data processing, or the impact of social networks and large platforms on society as a whole. In this roundtable we will address from different perspectives, the legal battles that are taking place in Europe around digital technologies and the role of lobbies, the challenges and risks of regulation in the field of AI and discrimination, and the main lines of action for the defense of digital rights.

By Andrea G. Rodríguez, Jill Toh and Simona Levi for YouTube on October 13, 2022

Lang verhaal kort – Discrimineert antispieksoftware studenten?

Tijdens corona leek antispieksoftware dé oplossing. Ondanks de lockdowns en online colleges konden studenten zo toch hun tentamens maken. Maar op die software is ook kritiek, er ligt zelfs een klacht over discriminatie bij het College voor de rechten van de mens. Hoe dat zit legt Jasper je deze aflevering uit.

By Jasper Stads, Robin Pocornie and Sophie Frankenmolen for NPO 3FM on October 13, 2022

Vrije Universiteit belooft discriminatie door spieksoftware te beperken

Leveranciers van antispieksoftware moeten het risico beperken dat die software discrimineert op basis van huidskleur. Dat gaan de Vrije Universiteit Amsterdam (VU) en andere universiteiten voortaan van die bedrijven eisen. Toch blijft de VU ontkennen dat ze fouten heeft gemaakt rond de klacht van een masterstudente met een donkere huidskleur.

By Afran Groenewoud for NU.nl on October 12, 2022

Dutch student files complaint with the Netherlands Institute for Human Rights about the use of racist software by her university

During the pandemic, Dutch student Robin Pocornie had to do her exams with a light pointing straight at her face. Her fellow students who were White didn’t have to do that. Her university’s surveillance software discriminated her, and that is why she has filed a complaint (read the full complaint in Dutch) with the Netherlands Institute for Human Rights.

Continue reading “Dutch student files complaint with the Netherlands Institute for Human Rights about the use of racist software by her university”

Hoogtepunten uit podcast #18: Kunstmatige intelligentie

Kunstmatige intelligentie wordt een steeds groter onderdeel van ons leven. Het speelt een rol in onze opleiding, in ons werk, maar ook in ons dagelijks leven. Soms zelfs zonder dat we het door hebben. Maar wat zijn de voor- en nadelen van kunstmatige intelligentie? En hoe kan het bijdragen aan gelijke kansen?

By Robin Pocornie, Sander Heithuis and Xanne Visser for WOMEN Inc. on April 25, 2022

Het ANP is moreel laakbaar vanwege partnership met auteursrechtentrol Permission Machine

Hoewel de ‘normen en waarden’ van het internet soms anders doen vermoeden, mag je foto’s waarop auteursrecht berust niet zomaar overal gebruiken. Het Algemeen Nederlands Persbureau, oftewel ANP, maakt daarom gebruik van een Belgische auteursrechtentrol – Permission Machine – om illegaal gebruik op te sporen en direct te beboeten. Hans de Zwart, bestuurslid van het Racism and Technology Center, ondervond dat zelf. We spreken met hem én Edouard van Arem, manager foto bij ANP.

By Edouard van Arem, Hans de Zwart and Joe van Burik for BNR Nieuwsradio on March 23, 2022

Centering social injustice, de-centering tech

The Racism and Technology Center organised a panel titled Centering social injustice, de-centering tech: The case of the Dutch child benefits scandal and beyond at Privacy Camp 2022, a conference that brings together digital rights advocates, activists, academics and policymakers. Together with Merel Koning (Amnesty International), Nadia Benaissa (Bits of Freedom) and Sanne Stevens (Justice, Equity and Technology Table), the discussion used the Dutch child benefits scandal as an example to highlight issues of deeply rooted racism and discrimination in the public sector. The fixation on algorithms and automated decision-making systems tends to obscure these fundamental problems. Often, the use of technology by governments functions to normalise and rationalise existing racist and classist practices.

Continue reading “Centering social injustice, de-centering tech”

Big Brother Awards: Naomi over Predictive Policing

In het kader van de Big Brother Awards van 2021 legt Naomi Appelman uit hoe predictive policing in Nederland ingezet wordt (voor zover we dat weten) en wat daar de problematische kanten van zijn.

By Inge Wannet, Lotte Houwing and Naomi Appelman for Big Brother Awards 2021 on December 13, 2021

Hoe tem je de Big Five?

De Big Five: Google, Amazon, Facebook, Apple en Microsoft. Deze vijf machtige digitale platformen beheersen onze levens met slimme algoritmes en aanhoudende monopolies. Maar we kunnen ook niet meer zonder: door een storing zaten we vorige week allemaal urenlang zonder Facebook, Whatsapp en Instagram. En dat betekende; paniek. Hoe tem je de Big Five?

By Naomi Appelman for NPO Start on October 13, 2021

Designing Cities for All #15: Fellow #3: Galit Ariel

The kickoff of the 3rd DCFA Fellowship with technofuturist Galit Ariel, Katerina Makrogamvraki of Civic AI Lab, and Hans de Zwart of Racism and Technology Center about fair Artificial Intelligence.

By Galit Ariel, Hans de Zwart and Katerina Makrogamvraki for Pakhuis de Zwijger on September 13, 2021

Technology can be racist and we should talk about that

The past year has been filled with examples of technologies being racist. Yet, how we can fight this is hardly part of societal debate in the Netherlands. This must change, Jill Toh and Naomi Appelman write. Making these racist technologies visible is the first step towards acknowledging that technology can indeed be racist.

By Jill Toh and Naomi Appelman for Lilith on July 13, 2021

Proudly powered by WordPress | Theme: Baskerville 2 by Anders Noren.

Up ↑