Een opmerkelijke zaak in de Verenigde Staten: een vrouw wordt gearresteerd voor beroving en diefstal van een auto. Maar de vrouw is hoogzwanger en heeft het helemaal niet gedaan. Zij komt in beeld omdat een computer haar door gezichtsherkenning eruit pikt. Zij wordt in bijzijn van haar kinderen in de boeien geslagen. Later blijkt dus: zij was het niet.
By Naomi Appelman and Rob Trip for NPO Radio 1 on August 9, 2023
In this session, we explored how the EU Charter right to non-discrimination can be (and has been) used to fight back against discriminatory e-proctoring systems.
By Naomi Appelman and Robin Pocornie for Digital Freedom Fund on May 31, 2023
Hans de Zwart is onderzoeker en docent aan de Hogeschool van Amsterdam en is een van de oprichters van het ‘Racism and Technology Center’. Hij heeft ervaring met juridische strijd met de overheid en helpt anderen deze zo goed mogelijk te voeren. Bijvoorbeeld als een zwarte student moeite heeft examens af te leggen omdat de anti-spieksoftware niet herkent dat er een mens in beeld is.
By Hans de Zwart, Randal Peelen and Ruurd Sanders for Met Nerds om Tafel on April 26, 2023
“Het scannen van mijn studentenpas en bureau ging goed, maar bij mijn gezicht kreeg ik de melding dat de ruimte te donker was”, vertelt de 26-jarige Robin Pocornie over het maken van haar eerste examen in september 2020 met – door de Vrije Universiteit (VU) verplichte – online antispieksoftware Proctorio. Wanneer ze een lamp in haar gezicht schijnt, wordt ze wel herkend en toegelaten tot haar examens. Ze vermoedt daarom dat de software discrimineert, maar voelt zich door de VU niet gehoord als ze een klacht indient en klopt daarom aan bij Het College voor de Rechten van de Mens (CvRM). Dat gaf haar op 7 december 2022 in een tussenoordeel gelijk, waarna de VU weer met tegenbewijs kon komen. Deze zaak is een historische gebeurtenis, met alle gevolgen van dien.
By Ariela Slakhorst, Naomi Appelman and Robin Pocornie for Lilith on April 11, 2023
Mandatory face-recognition tools have repeatedly failed to identify people with darker skin tones. One Dutch student is fighting to end their use.
By Morgan Meaker and Robin Pocornie for WIRED on April 5, 2023
De Chinese overheid gebruikt de modernste technieken om burgers goed in de gaten te houden. Hier in Nederland omarmen we dezelfde technieken geheel vrijwillig. ‘Ik denk dat verschillen met China soms kleiner zijn dan we denken.’
By Hans de Zwart, Jialing Zhang and Nienke Schipper for Trouw on March 29, 2023
Het College voor de Rechten van de Mens roept burgers op om het te melden als zij last hebben van discriminerende algoritmes. Softwareprogramma’s waar belangrijke instanties gebruik van maken werken namelijk niet altijd bij mensen van kleur.
By Leonie van Noort and Robin Pocornie for EenVandaag on February 25, 2023
The current wave of reporting on the AI-bubble has one advantage: it also creates a bit of space in the media to write about how AI reflects the existing inequities in our society.
Continue reading “Work related to the Racism and Technology Center is getting media attention”
Robin Pocornie was featured in the Dutch current affairs programme EenVandaag. Professor Sennay Ghebreab and former Member of Parliament Kees Verhoeven provided expertise and commentary.
Continue reading “First Dutch citizen proves that an algorithm discriminated against her on the basis of her skin colour”
In een tijd waarin data en algoritmes ons gedrag sturen moeten we gezamenlijk op zoek naar een nieuwe rechtsopvatting, schrijft Maxim Februari.
By Maxim Februari for NRC on February 17, 2023
The secret services’ reign of confusion, rogue mayors and algorithm oversight (or not): a quick read through the most interesting developments at the intersection of human rights and technology from the Netherlands.
By Evelyn Austin for Bits of Freedom on February 2, 2023
Laat ik de vraag specificeren voor mijn vakgebied: zijn besluiten die door technologie worden genomen rechtvaardig? Verdien je de beslissing die uit de machine rolt?
Continue reading “Uit Vrij Nederland: Krijgen we wat we verdienen?”
In a roundtable on artificial intelligence in the Dutch Parliament, Quirine Eijkman spoke on behalf of the Netherlands Institute for Human Rights about Robin Pocornie’s case against the discriminatory use of Proctiorio at the VU university.
Continue reading “Dutch Institute for Human Rights speaks about Proctorio at Dutch Parliament”
Ophef: Software die aan gezichtsherkenning doet, kan discrimineren. Hoe zit dat bij de VU?
By Sjoerd de Jong for NRC on December 15, 2022
In deze aflevering gaat host Inge in gesprek met beleidsadviseur Lotje over de Digital Markets Act. Evelyn, vaste tafelgast en directeur van Bits of Freedom, dook in een lyric-site rabbit hole en vond er liedjes over wetgeving en fout gehoorde liedteksten. We bellen in met Robin Pocornie, die een klacht indiende bij het College voor de Rechten van de Mens, over racistische antispieksoftware die gebruikt wordt door haar universiteit.
By Evely Austin, Inge Wannet, Lotje Beek and Robin Pocornie for Bits of Freedom on December 16, 2022
Antispieksoftware checkt voorafgaand aan een tentamen of jij wel echt een mens bent. Maar wat als het systeem je niet herkent, omdat je een donkere huidskleur hebt? Dat overkwam student Robin Pocornie, zij stapte naar het College voor de Rechten van de Mens. Samen met Naomi Appelman van het Racism and Technology Centre, die Robin bijstond in haar zaak, vertelt ze erover.
By Naomi Appelman, Natasja Gibbs and Robin Pocornie for NPO Radio 1 on December 12, 2022
De Vrije Universiteit Amsterdam (VU) moet aantonen dat haar antispieksoftware een studente niet heeft gediscrimineerd vanwege haar donkere huidskleur. Zij heeft namelijk voldoende aannemelijk gemaakt dat dit wel gebeurde.
By Afran Groenewoud for NU.nl on December 9, 2022
Een student is erin geslaagd voldoende feiten aan te dragen voor een vermoeden van algoritmische discriminatie. De vrouw klaagt dat de Vrije Universiteit haar discrimineerde door antispieksoftware in te zetten. Deze software maakt gebruik van gezichtsdetectiealgoritmes. De software detecteerde haar niet als ze moest inloggen voor tentamens. De vrouw vermoedt dat dit komt door haar donkere huidskleur. De universiteit krijgt tien weken de tijd om aan te tonen dat de software niet heeft gediscrimineerd. Dat blijkt uit het tussenoordeel dat het College publiceerde.
From College voor de Rechten van de Mens on December 9, 2022
Het is ‘aannemelijk’ dat het algoritme van antispieksoftware een student aan de Vrije Universiteit (VU) discrimineerde, zegt het College voor de Rechten van de Mens. Het is nu aan de VU om het tegendeel aan te tonen.
By Fleur Damen for Volkskrant on December 9, 2022
VU student Robin Pocornie diende een klacht in bij het College van de Rechten van de Mens. De door de VU ingezette antispieksoftware had moeite haar te herkennen als mens en dat kwam door haar huidskleur. Na een zitting oordeelt het College dat Pocornie voldoende bewijzen heeft aangedragen voor een vermoeden van discriminatie. Het is nu aan de VU om het technisch controleerbare bewijs te leveren dat dit niet het geval is geweest.
Continue reading “College voor de Rechten van de Mens oordeelt dat VU student het vermoeden van algoritmische discriminatie succesvol heeft onderbouwd: antispieksoftware is racistisch”
50 years after the birth of the Internet, the existing battles in the legal field seeking to regulate this great global space are multiple and increasingly complex. Regulation and legal times always operate much slower than the speed of technological development, and even more so in aspects as complex as the development of artificial intelligence, automatic data processing, or the impact of social networks and large platforms on society as a whole. In this roundtable we will address from different perspectives, the legal battles that are taking place in Europe around digital technologies and the role of lobbies, the challenges and risks of regulation in the field of AI and discrimination, and the main lines of action for the defense of digital rights.
By Andrea G. Rodríguez, Jill Toh and Simona Levi for YouTube on October 13, 2022
Een gesprek met Naomi Appelman over online uitsluiting en hoe grote tech-platforms fundamenteel moeten veranderen. Alleen als we die zelf gaan ontwikkelen en modereren, zo betoogt ze, creëren we ruimte voor iedereen in de digitale publieke ruimte.
By Gijs Boerwinkel, Naomi Appelman and Tonya Sudiono for Waag on November 10, 2022
Tijdens corona leek antispieksoftware dé oplossing. Ondanks de lockdowns en online colleges konden studenten zo toch hun tentamens maken. Maar op die software is ook kritiek, er ligt zelfs een klacht over discriminatie bij het College voor de rechten van de mens. Hoe dat zit legt Jasper je deze aflevering uit.
By Jasper Stads, Robin Pocornie and Sophie Frankenmolen for NPO 3FM on October 13, 2022
Leveranciers van antispieksoftware moeten het risico beperken dat die software discrimineert op basis van huidskleur. Dat gaan de Vrije Universiteit Amsterdam (VU) en andere universiteiten voortaan van die bedrijven eisen. Toch blijft de VU ontkennen dat ze fouten heeft gemaakt rond de klacht van een masterstudente met een donkere huidskleur.
By Afran Groenewoud for NU.nl on October 12, 2022
During the pandemic, Dutch student Robin Pocornie had to do her exams with a light pointing straight at her face. Her fellow students who were White didn’t have to do that. Her university’s surveillance software discriminated her, and that is why she has filed a complaint (read the full complaint in Dutch) with the Netherlands Institute for Human Rights.
Continue reading “Dutch student files complaint with the Netherlands Institute for Human Rights about the use of racist software by her university”
Een student aan de Vrije Universiteit dient vrijdag een klacht in bij het College voor de Rechten van de Mens. De universiteit had van tevoren moeten informeren of de antispieksoftware net zo goed werkt voor zwarte studenten, vindt zij.
By Fleur Damen, Hans de Zwart, Maud Effting and Robin Pocornie for Volkskrant on July 15, 2022
Kunstmatige intelligentie wordt een steeds groter onderdeel van ons leven. Het speelt een rol in onze opleiding, in ons werk, maar ook in ons dagelijks leven. Soms zelfs zonder dat we het door hebben. Maar wat zijn de voor- en nadelen van kunstmatige intelligentie? En hoe kan het bijdragen aan gelijke kansen?
By Robin Pocornie, Sander Heithuis and Xanne Visser for WOMEN Inc. on April 25, 2022
Our own Jill Toh recently presented at a symposium on the use of technology and how it intersects with racism in the context of housing and policing. She spoke on a panel organised in the contex of the World Roma Day 2022 titled Technolution: Yearned-for Hopes or Old Injustices?.
Continue reading “Technology, Racism and Justice at Roma Day 2022”
Hoewel de ‘normen en waarden’ van het internet soms anders doen vermoeden, mag je foto’s waarop auteursrecht berust niet zomaar overal gebruiken. Het Algemeen Nederlands Persbureau, oftewel ANP, maakt daarom gebruik van een Belgische auteursrechtentrol – Permission Machine – om illegaal gebruik op te sporen en direct te beboeten. Hans de Zwart, bestuurslid van het Racism and Technology Center, ondervond dat zelf. We spreken met hem én Edouard van Arem, manager foto bij ANP.
By Edouard van Arem, Hans de Zwart and Joe van Burik for BNR Nieuwsradio on March 23, 2022
The Racism and Technology Center co-signed an open letter asking the EU member states to make sure that the upcoming Digital Services Act will abolish so-called ‘dark patterns’ and advertising that is based on tracking and harvesting personal data.
Continue reading “72 civil society organisations to the EU: “Abolish tracking-based online advertising””
The Racism and Technology Center organised a panel titled Centering social injustice, de-centering tech: The case of the Dutch child benefits scandal and beyond at Privacy Camp 2022, a conference that brings together digital rights advocates, activists, academics and policymakers. Together with Merel Koning (Amnesty International), Nadia Benaissa (Bits of Freedom) and Sanne Stevens (Justice, Equity and Technology Table), the discussion used the Dutch child benefits scandal as an example to highlight issues of deeply rooted racism and discrimination in the public sector. The fixation on algorithms and automated decision-making systems tends to obscure these fundamental problems. Often, the use of technology by governments functions to normalise and rationalise existing racist and classist practices.
Continue reading “Centering social injustice, de-centering tech”
In het kader van de Big Brother Awards van 2021 legt Naomi Appelman uit hoe predictive policing in Nederland ingezet wordt (voor zover we dat weten) en wat daar de problematische kanten van zijn.
By Inge Wannet, Lotte Houwing and Naomi Appelman for Big Brother Awards 2021 on December 13, 2021
Our very own Naomi Appelman was interviewed for Atlas, a Dutch television show about science and current affairs. She talked about her research into what laws and regulations democracies should develop to ensure that large technology companies don’t unnecessarily exclude people.
Continue reading “Regulating big tech to make sure nobody is excluded”
De Big Five: Google, Amazon, Facebook, Apple en Microsoft. Deze vijf machtige digitale platformen beheersen onze levens met slimme algoritmes en aanhoudende monopolies. Maar we kunnen ook niet meer zonder: door een storing zaten we vorige week allemaal urenlang zonder Facebook, Whatsapp en Instagram. En dat betekende; paniek. Hoe tem je de Big Five?
By Naomi Appelman for NPO Start on October 13, 2021
The kickoff of the 3rd DCFA Fellowship with technofuturist Galit Ariel, Katerina Makrogamvraki of Civic AI Lab, and Hans de Zwart of Racism and Technology Center about fair Artificial Intelligence.
By Galit Ariel, Hans de Zwart and Katerina Makrogamvraki for Pakhuis de Zwijger on September 13, 2021
The past year has been filled with examples of technologies being racist. Yet, how we can fight this is hardly part of societal debate in the Netherlands. This must change, Jill Toh and Naomi Appelman write. Making these racist technologies visible is the first step towards acknowledging that technology can indeed be racist.
By Jill Toh and Naomi Appelman for Lilith on July 13, 2021
Surveillancesoftware benadeelt mensen van kleur, blijkt uit onderzoek. Waarom gebruikt de UvA het dan nog, vragen Naomi Appelman, Jill Toh en Hans de Zwart.
By Hans de Zwart, Jill Toh and Naomi Appelman for Het Parool on July 6, 2021
A newly-launched Racism and Technology Center will analyse and highlight how technology perpetuates racism and racist practices in Dutch society, as part of an effort to “help in fighting systemic injustices and oppression,” say its founders.
From Statewatch on April 9, 2021
Proudly powered by WordPress | Theme: Baskerville 2 by Anders Noren.