For about 20 years, the Dutch tax office used a home-brewed computer system (RAM) that brought the information about millions of taxpayers into one model. KPMG has looked at how the Belastingdienst used this system, and their findings are shocking.
Continue reading “Racist Technology in Action: The Dutch Belastingdienst’s ‘Risk Analysis Model’”
Fiscale controle: Voor toezicht op belastingbetalers was het RAM-systeem van de Belastingdienst cruciaal. Maar van controle of beveiliging was nauwelijks sprake. Donderdag debatteert de Tweede Kamer over de situatie bij de dienst.
By Derk Stokmans and Stefan Vermeulen for NRC on March 12, 2025
Instanties die risicoprofilering gebruiken moeten meer doen om discriminatie op grond van ras en nationaliteit te voorkomen. Met die boodschap publiceert het College voor de Rechten van de Mens een nieuw Toetsingskader risicoprofilering. Overheidsinstanties, zoals de Belastingdienst en DUO maar ook private bedrijven zoals banken, zijn de laatste decennia steeds meer gebruik gaan maken van risicoprofilering. Risicoprofilering geeft echter grote risico’s op discriminatie. Het nieuwe Toetsingskader helpt instanties om deze discriminatie te voorkomen.
From Publicaties College voor de Rechten van de Mens on January 28, 2025
De Nederlandse politie en veiligheidsdiensten kennen een traditie van moslimdiscriminatie, schrijft Evelyn Austin, directeur van Bits of Freedom. Zij vreest dat moslims wederom de dupe zijn als politie meer bevoegdheden krijgt om online te surveilleren.
By Evelyn Austin for Het Parool on February 8, 2025
Amnesty takes a deep dive into the shameful racial and socio-economic discrimination against students in the DUO case (about which we’ve written here, here, and here) in their briefing titled Profiled Without Protection: Students in the Netherlands Hit By Discriminatory Fraud Detection System.
Continue reading “Amnesty demands the Dutch government stop using any and all risk profiling”
D66 wil het fijne weten over Proctorio. De antispieksoftware herkende een studente niet vanwege haar donkere huidskleur. Daarop besloot ze om een klacht wegens discriminatie in te dienen bij het College voor de Rechten van de Mens. D66 wil weten hoe het kabinet ervoor gaat zorgen dat het hoger onderwijs in de toekomst geen discriminerende software of technologie gaat gebruiken. Dat blijkt uit schriftelijke vragen van Jeanet van der Laan (D66) aan de minister van Onderwijs, Cultuur en Wetenschap Robbert Dijkgraaf.
By Anton Mous for VPNGids.nl on July 19, 2022
DUO gebruikte een discriminerend risicoprofileringssysteem om studenten te selecteren voor controle op misbruik van de uitwonendenbeurs.
From Amnesty International (NL) on November 21, 2024
In de uitzending van 27 mei 2024 kijkt Radar naar banken die controleren op afkomst of Niet-Nederlandse achternamen. We weten uit de toeslagenaffaire dat er op die manier is geprofileerd door de Belastingdienst. Maar hoe zit dat bij financiële instellingen, zoals banken? En wat als je alleen vanwege je achternaam of je geboorteplaats geen gebruik kan maken van je betaalrekening, of zelfs je rekening wordt opgeheven?
From Radar on May 27, 2024
Het kabinet betaalt boetes en teruggevorderde studiefinanciering terug aan (oud-)studenten die de uitwonendenbeurs ontvingen. Dat doet het kabinet omdat in het selectieproces van de controles op de uitwonendenbeurs sprake was van indirecte discriminatie. Het bewijs dat bij deze controles is verkregen om te besluiten of iemand wel of niet uitwonend was, had niet gebruikt mogen worden. Dat maakt de besluiten onrechtmatig en deze worden daarom teruggedraaid, schrijft minister Bruins (Onderwijs, Cultuur en Wetenschap) aan de Tweede Kamer. Hij reserveert € 61 miljoen om de zaak recht te zetten.
From Dienst Uitvoering Onderwijs (DUO) on November 11, 2024
Dienst Uitvoering Onderwijs (DUO) gebruikte een algoritme om te controleren of studenten misbruik maakten van de uitwonendenbeurs. De manier waarop DUO dat deed was discriminerend en daarom onrechtmatig, concludeert de Autoriteit Persoonsgegevens (AP) na onderzoek.
From Autoriteit Persoonsgegevens on November 11, 2024
The latest episode in the twisted series titled ‘The Dutch government is wildly discriminatory, using citizen’s data to seek out social welfare fraud’ has just come out.
Continue reading “Dutch government’s toxic relation with using data to detect social welfare fraud”
We’ve written twice before about the racist impact of DUO’s student fraud detection efforts. The Dutch government has now decided to pay back all the fines and the study financing they held back for all students that were checked between 2012 and 2023.
Continue reading “Dutch government has to pay back 61 million euros to students who were discriminated against through DUO’s fraud profiling operation”
Banks have a requirement to ‘know their customers’ and to look for money laundering and the financing of terrorism. Their vigilante efforts lead to racist outcomes.
Continue reading “Racist Technology in Action: Anti-money laundering efforts by Dutch banks disproportionately affect people with a non-Western migration background”
Bij sleepnetonderzoeken naar fraude in wijken deed de overheid te weinig om discriminatie te voorkomen, concludeert een extern onderzoeksbureau. De gewraakte opsporingsmethode is vorig jaar stilgelegd en wordt volgens minister Van Hijum pas weer toegepast als de problemen zijn opgelost.
By David Davidson for Follow the Money on November 8, 2024
Eén op de elf Nederlanders (9%) vermoedt discriminatie te hebben ervaren door financiële instellingen in de afgelopen twee jaar. Onder mensen met een niet-westerse migratieachtergrond is dit met 32% drie keer zo hoog. Het bewustzijn van risico’s op discriminatie bij banken lijkt toe te nemen, maar structurele en gerichte maatregelen om discriminatie te voorkomen ontbreken. Bancaire uitsluiting is een ernstig en omvangrijk probleem maar er wordt nog te weinig tegen gedaan. Waar zit het probleem precies, en wat moet er gebeuren om risico’s op discriminatie en andere mensenrechtenschendingen effectief te verminderen?
From College voor de Rechten van de Mens on May 27, 2024
Bunq kende een klant een verhoogd frauderisico toe en bevroor zijn bankrekening. Maar de bank wil niet zeggen waarom hij werd gevlagd. Nu eist de klant in een rechtszaak dat Bunq hem tekst en uitleg geeft. Als Bunq dat mag weigeren, blijft geautomatiseerde fraudesignalering bij de banken een black box, waartegen je je niet kunt verweren. Krijgt de klant gelijk, dan moet die black box open: ‘Banken hebben nu te veel macht.’
By Jan-Hein Strop and Sebastiaan Brommersma for Follow the Money on July 27, 2024
In its 2023 annual report, the Autoriteit Persoonsgegevens (the Dutch Data Protection Authority) is dismayed by how much algorithmic discrimination it encounters while doing its oversight.
Continue reading “In the Netherlands, algorithmic discrimination is everywhere according to the Dutch Data Protection Authority”
Ondanks de toeslagenaffaire gingen vorig jaar overheidsorganisaties door met het gebruik van ‘ondoordachte algoritmes’, schrijft de Autoriteit Persoonsgegevens.
By Jeroen Piersma for Het Financieele Dagblad on July 2, 2024
Automated decision-making systems contain hidden discriminatory prejudices. We’ll explain the causes, possible consequences, and the reasons why existing laws do not provide sufficient protection against algorithmic discrimination.
By Pie Sombetzki for AlgorithmWatch on June 26, 2024
The New York Times published a fascinating overview of the American census forms since the late 18th century. It shows how the form keeps trying to ‘capture’ the country’s demographics, “creating and reshaping the ever-changing views of racial and ethnic identity.”
Continue reading “The datafication of race and ethnicity”
Our own Hans de Zwart was a guest in the ‘Met Nerds om Tafel’ podcast. With Karen Palmer (creator of Consensus Gentium, a film about surveillance that watches you back), they discussed the role of art and storytelling in getting us ready for the future.
Continue reading “Podcast: Art as a prophetic activity for the future of AI”
Last year, Investico revealed how DUO, the Dutch organization for administering student grants, was using a racist algorithm to decide which students would get a home visit to check for fraudulent behaviour. The Minister of Education immediately stopped the use of the algorithm.
Continue reading “Students with a non-European migration background had a 3.0 times higher chance of receiving an unfounded home visit from the Dutch student grants fraud department”
For more than a year now, the Dutch Ministry of Foreign Affairs has ignored advice from its experts and continued its use of discriminatory risk profiling of visa applicants.
Continue reading “Dutch Ministry of Foreign Affairs dislikes the conclusions of a solid report that marks their visa process as discriminatory so buys a shoddy report saying the opposite”
The Dutch Institute for Human Rights has commissioned research exploring the possible risks for discrimination and exclusion relating to the use of algorithms in education in the Netherlands.
Continue reading “Dutch Institute of Human Rights tells the government: “Test educational tools for possible discriminatory effects””
DUO heeft de onafhankelijke stichting Algorithm Audit vervolgonderzoek laten doen naar de manier waarop DUO tussen 2012 en 2023 controleerde of een student terecht studiefinanciering ontving voor uitwonende studenten of niet. De conclusies van het vervolgonderzoek bevestigen dat studenten met een migratieachtergrond hierbij indirect zijn gediscrimineerd.
From Dienst Uitvoering Onderwijs (DUO) on May 21, 2024
Het was te mooi om waar te zijn: een algoritme om fraude in de bijstand op te sporen. Ondanks waarschuwingen bleef de gemeente Rotterdam er bijna vier jaar lang in geloven. Een handjevol ambtenaren, zich onvoldoende bewust van ethische risico’s, kon jarenlang ongestoord experimenteren met de data van kwetsbare mensen.
By Romy van Dijk and Saskia Klaassen for Vers Beton on October 23, 2023
Discriminerend algoritme: Volgens een onderzoek discrimineerde het algoritme dat Buitenlandse Zaken gebruikt om visumaanvragen te beoordelen. Uit onvrede met die conclusie vroeg het ministerie om een second opinion.
By Carola Houtekamer and Merijn Rengers for NRC on May 1, 2024
On the International Day against Racism and Discrimination, Amnesty International Netherlands published their new research on the lack of protection by the Dutch government against racial profiling. Amnesty calls for immediate action to address the pervasive issue of ethnic profiling in law enforcement practices.
Continue reading “Ethnic profiling is a problem in all of the Dutch government”
Dat de overheid Nederlanders profileert met geheime algoritmes is ‘naar alle waarschijnlijkheid’ in strijd met de privacywet. Dat blijkt uit een advies van de landsadvocaat dat gisteren naar de Tweede Kamer is gestuurd. ‘Deze conclusies hebben in potentie vergaande impact,’ melden de staatssecretarissen van Financiën. Toch zegt de Belastingdienst niet te stoppen met de werkwijze.
By David Davidson and Jan-Hein Strop for Follow the Money on March 14, 2024
Banken controleren Nederlanders met een niet-westerse achtergrond vaker op mogelijk criminele geldstromen dan autochtone Nederlanders. Dat is het gevolg van wetgeving waar banken zich aan te houden hebben, zegt koepelorganisatie NVB.
By Dirk Waterval for Trouw on March 8, 2024
Bij de controles op fraude met de basisbeurs was inderdaad sprake van indirecte discriminatie, staat in een rapport over de praktijken van de Dienst Uitvoering Onderwijs. Het kabinet biedt excuses aan.
From Vox on March 4, 2024
“It could happen again tomorrow” is one of the main devastating conclusions of the parlementary inquiry following the child benefits scandal.
Continue reading “The child benefits scandal: no lessons learned”
Robin Aisha Pocornie’s case should by now be familiar for regular readers of our Center’s work. Robin has now told this story in her own voice at TEDxAmsterdam.
Continue reading “Robin Aisha Pocornie’s TEDx talk: “Error 404: Human Face Not Found””
Volgens bijzonder hoogleraar digitale surveillance Marc Schuilenburg hebben wij geen geheimen meer. Bij alles wat we doen kijkt er wel iets of iemand mee die onze gangen registreert. We weten het, maar doen er gewoon aan mee. Zo diep zit digitale surveillance in de haarvaten van onze samenleving: ‘We herkennen het vaak niet eens meer.’
By Marc Schuilenburg and Sebastiaan Brommersma for Follow the Money on February 4, 2024
In October last year, RTL news showed that Proctorio’s software, used to check if students aren’t cheating during online exams, works less for students of colour. Five months later, RTL asked the twelve Dutch educational institutions on Proctorio’s client list whether they were still using the tool. Eight say they still do.
Continue reading “Dutch Higher Education continues to use inequitable proctoring software”
There is now a single point to report cases of discrimination. In a simple web form, you can make a report for yourself or somebody else, and you can do this anonymously if you want to.
Continue reading “Anti-discrimination agencies have launched a single point of contact for reporting discrimination in the Netherlands”
Ophef: Veel problemen ontstonden volgens de VU niet door de gezichtsherkenning, maar door een haperende verbinding.
By Sjoerd de Jong for NRC on January 10, 2024
Veel media en journalisten die de haat op X tegen Slimste mens-deelnemer Akwasi zo ferm veroordelen, spreken met dubbele tong, vindt OneWorld-hoofdredacteur Seada Nourhussen. Jarenlang droegen ze bij aan die haat, zonder het racisme te erkennen dat eraan ten grondslag ligt.
By Seada Nourhussen for OneWorld on January 12, 2024
Heb jij of iemand uit je omgeving wel eens met discriminatie te maken? Meld het wél. Jouw ervaring telt. Wij luisteren naar jouw verhaal en helpen je. Je staat er niet alleen voor!
From Landelijk meldpunt discriminatie
Even though the Dutch tax office (the Belastingdienst) was advised to immediately stop the use of three risk profiling algorithms, the office decided to continue their use, according to this reporting by Follow the Money.
Continue reading “Dutch Tax Office keeps breaking the law with their risk profiling algorithms”Proudly powered by WordPress | Theme: Baskerville 2 by Anders Noren.