Werk je aan beleid of publieke dienstverlening en wil je bijdragen aan een overheid die iedereen gelijkwaardig behandelt? De Discriminatietoets helpt je daarbij.
From Discriminatietoets
Ga van start met de Discriminatietoets
Hoe test de overheid of algoritmes onbedoeld discrimineren? Het CPB bouwde er een tool voor
Kunstmatige intelligentie: Overheden gebruiken steeds vaker algoritmes. Maar toetsen of de programma’s (indirect) discrimineren is ingewikkeld door de privacywet. Een nieuwe tool van het Centraal Planbureau moet dat dilemma oplossen.
By Luuk van der Sterren for NRC on December 16, 2025
Dutch responses to the DUO scandal miss the point: technical fixes won’t solve the fundamental problems of predictive optimisation
The DUO discrimination scandal, where more than 10.000 students were discriminated against, has led to multiple initiatives that aim to prevent this from happening again. None of these addresses the core problems of “predictive optimisation”.
Continue reading “Dutch responses to the DUO scandal miss the point: technical fixes won’t solve the fundamental problems of predictive optimisation”Racist Technology in Action: Dutch banks racially profile Muslims and Palestinian activists, alleging “terrorist activity”
In another example of racial profiling in the Netherlands, banks such as ING, Rabobank, and ABN Amro have subjected Muslims and Palestinian activists to intrusive, discriminatory checks based on allegations of “terrorist financing.”
Continue reading “Racist Technology in Action: Dutch banks racially profile Muslims and Palestinian activists, alleging “terrorist activity””Racist Technology in Action: The algorithm that was supposed to match asylum seekers to places with jobs doesn’t work and is discriminatory
For many years and for many people, GeoMatch by the Immigration Policy Lab was a shining example of ‘AI for Good’: instead of using algorithms to find criminals or fraud, why don’t we use it to allocate asylum seekers to regions that give them the most job opportunities? Only the naive can be surprised that this didn’t work out as promised.
Continue reading “Racist Technology in Action: The algorithm that was supposed to match asylum seekers to places with jobs doesn’t work and is discriminatory”Big data belooft statushouder betere baankans, maar tegenovergestelde blijkt
Eind 2024 begon het Centraal Orgaan opvang asielzoekers (COA) met het testen van een algoritme. Vluchtelingen zouden daarmee makkelijker werk vinden in hun nieuwe woonplaats: een win-win voor iedereen. Maar het systeem werkt contraproductief en discrimineert. Hoewel er al grote zorgen waren, zette het COA de proef toch door.
By David Davidson and Evaline Schot for Follow the Money on December 3, 2025
Nederlandse universiteiten werken samen met bedrijven die leveren aan het Israëlische leger
Nog steeds werken Nederlandse universiteiten samen met bedrijven uit het Israëlische militair-industrieel complex. Volgens deskundigen zouden hun kennis en technologie direct op het slagveld van Gaza kunnen belanden.
By Emiel Woutersen, Machteld Veen, and Sofyan El Bouchtili for De Groene Amsterdammer on September 30, 2025
Opinie: Zolang de overheid een onstilbare datahonger heeft, hebben kinderen alle reden zich onveilig te voelen
De Nederlandse overheid haalt alles uit de kast om fraude te bestrijden en criminaliteit te voorkomen, inclusief onrechtmatige middelen. Dat gaat zelfs zo ver dat ook kinderen het doelwit worden van overheidssurveillance.
By Nadia Benaissa for Volkskrant
The entanglement of the (Dutch) government and Big Tech when it comes to AI
De Balie organised an evening with Madhumita Murgia about her recent book Code-Dependent. Our own Naomi Appelman was asked to reflect on the book.
Continue reading “The entanglement of the (Dutch) government and Big Tech when it comes to AI”50% of the profiling algorithms used by the Dutch tax office are discriminatory and therefore unlawful according to the Data Protection Authority
The Dutch tax office is plagued by one problem after another. The Child Benefits Scandal was supposed to be a wake-up call, but apparently, their system use is so atrophied that they can’t seem to do what is needed. Follow the Money reports on a letter from the Dutch data protection authority to the Minister of Finance, which argues that the tax office uses 50 algorithms that use discriminatory profiling and are therefore potentially unlawful.
Continue reading “50% of the profiling algorithms used by the Dutch tax office are discriminatory and therefore unlawful according to the Data Protection Authority”Hoe banken moslims tot verdachten maken: ‘Heeft u ooit positief gestaan tegenover Hamas?’
Banken die vragen naar je mening over Hamas. Moslims die keer op keer op het matje worden geroepen, niet vanwege verdachte transacties, maar om hun naam, geloof of activisme. Wat is bedoeld als wapen tegen terrorisme, verandert in een systeem dat hele groepen wantrouwt en mogelijk discrimineert.
By David Davidson and Jan-Hein Strop for Follow the Money on September 6, 2025
Dutch police and military secretly work with evil tech giant Palantir
Recent investigative reporting by Follow the Money has revealed significant concerns regarding the Netherlands’ extensive reliance on the immoral American data analytics firm Palantir Technologies for both police and military operations since 2010.
Continue reading “Dutch police and military secretly work with evil tech giant Palantir”Ook Nederlandse politie gebruikt omstreden software van Palantir
Nederland blijkt al jaren terug in het geheim de omstreden software van Palantir te hebben aangeschaft. Demissionair premier Dick Schoof was hier in 2011 als directeur-generaal van de politie bij betrokken. Dit blijkt uit documenten die via een beroep op de Wet open overheid (Woo) onlangs openbaar zijn gemaakt.
By Peter Olsthoorn for Volkskrant on August 22, 2025
Dangerous Criminals and Beautiful Prostitutes? Investigating Harmful Representations in Dutch Language Models
While language-based AI is becoming increasingly popular, ensuring that these systems are socially responsible is essential. Despite their growing impact, large language models (LLMs), the engines of many language-driven applications, remain largely in the black box. Concerns about LLMs reinforcing harmful representations are shared by academia, industries, and the public. In professional contexts, researchers rely on LLMs for computational tasks such as text classification and contextual prediction, during which the risk of perpetuating biases cannot be overlooked. In a broader society where LLM-powered tools are widely accessible, interacting with biased models can shape public perceptions and behaviors, potentially reinforcing problematic social issues over time. This study investigates harmful representations in LLMs, focusing on ethnicity and gender in the Dutch context. Through template-based sentence construction and model probing, we identified potentially harmful representations using both automated and manual content analysis at the lexical and sentence levels, combining quantitative measurements with qualitative insights. Our findings have important ethical, legal, and political implications, challenging the acceptability of such harmful representations and emphasizing the need for effective mitigation strategies.
By Claes de Vreese, Gabriela Trogrlic, Natali Helberger, and Zilin Lin for ACM Digital Library on June 23, 2025
Excuses van ING aan klanten vanwege discriminatie bij antiwitwasaanpak: ‘De toon was te wantrouwend’
Peter Jacobs | ceo ING Nederland: ING Nederland concludeert dat klanten zich terecht door haar gediscrimineerd voelen bij haar antiwitwasaanpak. Door onpersoonlijke brieven en onvoldoende kennis. „Weet je, als jij niet weet wanneer de ramadan plaatsvindt, dan ben je verbaasd als een moskee opeens heel veel meer contant geld inlevert.”
By Eva Smal for NRC on May 26, 2025
Racist Technology in Action: How the municipality of Amsterdam tried to roll out a ‘fair’ fraud detection algorithm. Spoiler alert: it was a disaster
Amsterdam officials’ technosolutionist way of thinking struck once again: they believed they could build technology that would prevent fraud while protecting citizens’ rights through their “Smart Check” AI system.
Continue reading “Racist Technology in Action: How the municipality of Amsterdam tried to roll out a ‘fair’ fraud detection algorithm. Spoiler alert: it was a disaster”Navigeren in niemandsland
De Wetenschappelijke Adviesraad Politie (WARP) adviseert de korpschef van de politie over zeven urgente uitdagingen rondom digitalisering en AI in politiewerk.
From Wetenschappelijke Adviesraad Politie on June 5, 2025
Negen Nederlandse universiteiten doen gezamenlijk onderzoek met defensie-industrie van Israël
Nederlandse universiteiten werken met Europese subsidies aan ten minste 28 nieuwe technologieën en producten die ten goede kunnen komen aan het Israëlische leger. Volgens Europese regels is militaire inzet verboden, maar controle daarop is er niet. Voor individuele wetenschappers is het vrijwel onmogelijk uit lopende onderzoeken te stappen.
By Fernande van Tets, Leonie Coppes, and Zuza Nazaruk for Follow the Money on June 5, 2025
Amsterdam wilde met AI de bijstand eerlijker en efficiënter maken. Het liep anders
Al vaker ging de overheid de mist in met algoritmes bedoeld om uitkeringsfraude te bestrijden. De gemeente Amsterdam wilde het allemaal anders doen, maar kwam erachter: een ethisch algoritme is een illusie.
By Hans de Zwart and Jeroen van Raalte for Trouw on June 6, 2025
Amnesty report (yet again) exposes racist AI in UK police forces
Amnesty International UK’s report Automated Racism (from last February, PDF), reveals that almost three-quarters of UK police forces use discriminatory predictive policing systems that perpetuate racial profiling. At least 33 deploy AI tools that predict crime locations and profile individuals as future criminals based on biased historical data, perpetuating and entrenching racism and inequality.
Continue reading “Amnesty report (yet again) exposes racist AI in UK police forces”Join the (Dutch) Masterclass Net Politics!
To successfully govern our information society in the years to come, a solid understanding of technological developments is crucial. The Masterclass Net Politics is a series of meetings with speakers from Amnesty International, Bits of Freedom, Internet Society Netherlands, Open State Foundation, PublicSpaces, SetUp, Waag Futurelab, and yours truly: The Racism and Technology Center.
Continue reading “Join the (Dutch) Masterclass Net Politics!”Dutch Institute for Human Rights creates an evaluation framework for risk profiling and urges organisations to do more to prevent discrimination based on race and nationality
The Dutch Institute for Human Rights has published an evaluation framework for risk profiling intending to prevent discrimination based on race or nationality.
Continue reading “Dutch Institute for Human Rights creates an evaluation framework for risk profiling and urges organisations to do more to prevent discrimination based on race and nationality”Racist Technology in Action: The Dutch Belastingdienst’s ‘Risk Analysis Model’
For about 20 years, the Dutch tax office used a home-brewed computer system (RAM) that brought the information about millions of taxpayers into one model. KPMG has looked at how the Belastingdienst used this system, and their findings are shocking.
Continue reading “Racist Technology in Action: The Dutch Belastingdienst’s ‘Risk Analysis Model’”Van prostituees tot Belgische pensionado’s: in het privacyschendende RAM-systeem van de Belastingdienst heerste de willekeur
Fiscale controle: Voor toezicht op belastingbetalers was het RAM-systeem van de Belastingdienst cruciaal. Maar van controle of beveiliging was nauwelijks sprake. Donderdag debatteert de Tweede Kamer over de situatie bij de dienst.
By Derk Stokmans and Stefan Vermeulen for NRC on March 12, 2025
Toetsingskader risicoprofilering – Normen tegen discriminatie op grond van ras en nationaliteit
Instanties die risicoprofilering gebruiken moeten meer doen om discriminatie op grond van ras en nationaliteit te voorkomen. Met die boodschap publiceert het College voor de Rechten van de Mens een nieuw Toetsingskader risicoprofilering. Overheidsinstanties, zoals de Belastingdienst en DUO maar ook private bedrijven zoals banken, zijn de laatste decennia steeds meer gebruik gaan maken van risicoprofilering. Risicoprofilering geeft echter grote risico’s op discriminatie. Het nieuwe Toetsingskader helpt instanties om deze discriminatie te voorkomen.
From Publicaties College voor de Rechten van de Mens on January 28, 2025
Opinie: ‘Plan van minister Van Weel om online te surveilleren zal moslims onevenredig hard raken’
De Nederlandse politie en veiligheidsdiensten kennen een traditie van moslimdiscriminatie, schrijft Evelyn Austin, directeur van Bits of Freedom. Zij vreest dat moslims wederom de dupe zijn als politie meer bevoegdheden krijgt om online te surveilleren.
By Evelyn Austin for Het Parool on February 8, 2025
Amnesty demands the Dutch government stop using any and all risk profiling
Amnesty takes a deep dive into the shameful racial and socio-economic discrimination against students in the DUO case (about which we’ve written here, here, and here) in their briefing titled Profiled Without Protection: Students in the Netherlands Hit By Discriminatory Fraud Detection System.
Continue reading “Amnesty demands the Dutch government stop using any and all risk profiling”D66 wil opheldering over discriminerende antispieksoftware
D66 wil het fijne weten over Proctorio. De antispieksoftware herkende een studente niet vanwege haar donkere huidskleur. Daarop besloot ze om een klacht wegens discriminatie in te dienen bij het College voor de Rechten van de Mens. D66 wil weten hoe het kabinet ervoor gaat zorgen dat het hoger onderwijs in de toekomst geen discriminerende software of technologie gaat gebruiken. Dat blijkt uit schriftelijke vragen van Jeanet van der Laan (D66) aan de minister van Onderwijs, Cultuur en Wetenschap Robbert Dijkgraaf.
By Anton Mous for VPNGids.nl on July 19, 2022
Kabinet moet alle risicoprofilering stopzetten
DUO gebruikte een discriminerend risicoprofileringssysteem om studenten te selecteren voor controle op misbruik van de uitwonendenbeurs.
From Amnesty International (NL) on November 21, 2024
Fragment: Zijn witwascontroles van de banken kleurenblind?
In de uitzending van 27 mei 2024 kijkt Radar naar banken die controleren op afkomst of Niet-Nederlandse achternamen. We weten uit de toeslagenaffaire dat er op die manier is geprofileerd door de Belastingdienst. Maar hoe zit dat bij financiële instellingen, zoals banken? En wat als je alleen vanwege je achternaam of je geboorteplaats geen gebruik kan maken van je betaalrekening, of zelfs je rekening wordt opgeheven?
From Radar on May 27, 2024
Gecontroleerde (oud-)studenten met uitwonendenbeurs krijgen geld terug
Het kabinet betaalt boetes en teruggevorderde studiefinanciering terug aan (oud-)studenten die de uitwonendenbeurs ontvingen. Dat doet het kabinet omdat in het selectieproces van de controles op de uitwonendenbeurs sprake was van indirecte discriminatie. Het bewijs dat bij deze controles is verkregen om te besluiten of iemand wel of niet uitwonend was, had niet gebruikt mogen worden. Dat maakt de besluiten onrechtmatig en deze worden daarom teruggedraaid, schrijft minister Bruins (Onderwijs, Cultuur en Wetenschap) aan de Tweede Kamer. Hij reserveert € 61 miljoen om de zaak recht te zetten.
From Dienst Uitvoering Onderwijs (DUO) on November 11, 2024
Fraudeaanpak DUO discriminerend en illegaal
Dienst Uitvoering Onderwijs (DUO) gebruikte een algoritme om te controleren of studenten misbruik maakten van de uitwonendenbeurs. De manier waarop DUO dat deed was discriminerend en daarom onrechtmatig, concludeert de Autoriteit Persoonsgegevens (AP) na onderzoek.
From Autoriteit Persoonsgegevens on November 11, 2024
Dutch government’s toxic relation with using data to detect social welfare fraud
The latest episode in the twisted series titled ‘The Dutch government is wildly discriminatory, using citizen’s data to seek out social welfare fraud’ has just come out.
Continue reading “Dutch government’s toxic relation with using data to detect social welfare fraud”Dutch government has to pay back 61 million euros to students who were discriminated against through DUO’s fraud profiling operation
We’ve written twice before about the racist impact of DUO’s student fraud detection efforts. The Dutch government has now decided to pay back all the fines and the study financing they held back for all students that were checked between 2012 and 2023.
Continue reading “Dutch government has to pay back 61 million euros to students who were discriminated against through DUO’s fraud profiling operation”Racist Technology in Action: Anti-money laundering efforts by Dutch banks disproportionately affect people with a non-Western migration background
Banks have a requirement to ‘know their customers’ and to look for money laundering and the financing of terrorism. Their vigilante efforts lead to racist outcomes.
Continue reading “Racist Technology in Action: Anti-money laundering efforts by Dutch banks disproportionately affect people with a non-Western migration background”Bij ‘voorspellen’ fraude in arme wijken hield de overheid geen rekening met discriminatie
Bij sleepnetonderzoeken naar fraude in wijken deed de overheid te weinig om discriminatie te voorkomen, concludeert een extern onderzoeksbureau. De gewraakte opsporingsmethode is vorig jaar stilgelegd en wordt volgens minister Van Hijum pas weer toegepast als de problemen zijn opgelost.
By David Davidson for Follow the Money on November 8, 2024
Discriminatie door financiële instellingen veelvoorkomend probleem zonder gerichte maatregelen: wat gaat er mis en wat moet er gebeuren?
Eén op de elf Nederlanders (9%) vermoedt discriminatie te hebben ervaren door financiële instellingen in de afgelopen twee jaar. Onder mensen met een niet-westerse migratieachtergrond is dit met 32% drie keer zo hoog. Het bewustzijn van risico’s op discriminatie bij banken lijkt toe te nemen, maar structurele en gerichte maatregelen om discriminatie te voorkomen ontbreken. Bancaire uitsluiting is een ernstig en omvangrijk probleem maar er wordt nog te weinig tegen gedaan. Waar zit het probleem precies, en wat moet er gebeuren om risico’s op discriminatie en andere mensenrechtenschendingen effectief te verminderen?
From College voor de Rechten van de Mens on May 27, 2024
Als je bank denkt dat je een fraudeur bent, mag je niet weten waarom
Bunq kende een klant een verhoogd frauderisico toe en bevroor zijn bankrekening. Maar de bank wil niet zeggen waarom hij werd gevlagd. Nu eist de klant in een rechtszaak dat Bunq hem tekst en uitleg geeft. Als Bunq dat mag weigeren, blijft geautomatiseerde fraudesignalering bij de banken een black box, waartegen je je niet kunt verweren. Krijgt de klant gelijk, dan moet die black box open: ‘Banken hebben nu te veel macht.’
By Jan-Hein Strop and Sebastiaan Brommersma for Follow the Money on July 27, 2024
In the Netherlands, algorithmic discrimination is everywhere according to the Dutch Data Protection Authority
In its 2023 annual report, the Autoriteit Persoonsgegevens (the Dutch Data Protection Authority) is dismayed by how much algorithmic discrimination it encounters while doing its oversight.
Continue reading “In the Netherlands, algorithmic discrimination is everywhere according to the Dutch Data Protection Authority”Overheid gebruikt nog steeds volop discriminerende algoritmes
Ondanks de toeslagenaffaire gingen vorig jaar overheidsorganisaties door met het gebruik van ‘ondoordachte algoritmes’, schrijft de Autoriteit Persoonsgegevens.
By Jeroen Piersma for Het Financieele Dagblad on July 2, 2024