Overheid moet algoritmes doorlopend toetsen op discriminatie

Staatssecretaris Van Huffelen (Digitale Zaken) wil ambtenaren verplichten een ‘mensenrechten-impact-assessment’ uit te voeren bij nieuwe én bestaande algoritmes. Een goede ontwikkeling, vinden Quirine Eijkman en collega’s van het College voor de Rechten van de Mens. Maar dan met bindende discriminatietoets.

De laatste jaren is er een reeks misstanden aan het licht gekomen waarbij mensen werden gediscrimineerd door algoritmes die de overheid inzette. Deze onthullingen waren vaak het werk van journalisten, ngo’s of controlerende onafhankelijke partijen (zoals de Algemene Rekenkamer).

Om de misstanden tegen te gaan, kwam Alexandra van Huffelen, staatssecretaris van Koninkrijksrelaties en Digitalisering, met het plan om een zogenoemd mensenrechten-impact-assessment verplicht te stellen. Dit zou inhouden dat ambtenaren, voordat ze algoritmes gaan gebruiken, eerst onderzoeken wat de impact ervan is op mensenrechten.

Een belangrijk onderdeel daarvan moet een bindende discriminatietoets zijn. Daarbij worden zowel de data als het algoritme getoetst. Ambtenaren moeten dit doen voordat ze een algoritme in gebruik nemen. En ook als het algoritme al in gebruik is en zij in de praktijk de effecten ervan kunnen zien.

Misstanden

Dat de overheid haar algoritmes beter moet controleren, is wel duidelijk. Inmiddels is er sprake van een opstapeling van misstanden.

Uit onderzoek van het College in september 2022 bleek dat de harde fraudeaanpak van de Belastingdienst bij kinderopvangtoeslagen ouders met een buitenlandse achtergrond structureel vaker heeft getroffen dan ouders van Nederlandse afkomst. Recent bleek ook dat de IND een risicomodel gebruikte om fraude met verblijfsvergunningen te bestrijden waardoor bedrijven met bestuurders met een geboorteplaats buiten Nederland extra (streng) werden gecontroleerd.

In juni 2022 berichtte NRC over vier Utrechtse gemeenten die aan de hand van een omstreden ‘fraudescorekaart’ inwoners bleken te controleren op bijstandsfraude. Dankzij een beroep op de destijds geldende Wet openbaarheid van bestuur (Wob) (nu is dat de Wet open overheid) van de onderzoeksjournalisten kwam de praktijk bij de gemeenten aan het licht. Het frauderisico-systeem stond ‘vol vooroordelen’. Uit een recent rapport van de Algemene Rekenkamer, Algoritmes getoetst (2022), bleek dat van negen getoetste algoritmes die overheidsinstanties gebruiken, er bij drie een risico op ‘vooringenomenheid’ of discriminatie was.

De onthullingen over de Utrechtse gemeenten zijn opvallend, omdat gemeenten al vaker nadrukkelijk op de vingers zijn getikt vanwege het gebruik van omstreden digitale middelen voor fraudeopsporing. Zo oordeelde de rechter begin 2020 dat het fraudeopsporingsinstrument SyRI (Systeem Risico Indicatie) dat door meerdere gemeenten werd gebruikt, strijdig was met mensenrechten. Mede omdat dit systeem moeilijk te doorgronden bleek voor zowel burgers als de gemeente zelf.

Een daaropvolgend systeem voor bijstandsfraudebestrijding voldeed volgens een rapport van de lokale Rekenkamer van Rotterdam uit 2021 ook niet, vanwege onder meer gebrekkige transparantie en eerlijkheid van het algoritme. Een Wob-verzoek van Argos en Lighthouse Reports later dat jaar legde bloot hoe Rotterdam kenmerken als leeftijd, geslacht, woonwijk en taal meenam in frauderisico-voorspellingen.

Gemeenten weten niet hoe ze digitale systemen in lijn moeten krijgen met mensenrechten

Ook de gemeente Nissewaard stopte vorig jaar met een bijstandsfraude-algoritme. TNO lichtte het systeem door, omdat de gemeente geen duidelijke antwoorden kon geven op vragen uit de gemeenteraad en tijdens een rechtszaak die de FNV had aangespannen. Uit het onderzoek bleek dat dit algoritme, dat de gemeente bij een externe partij had ingekocht, tot onbetrouwbare uitkomsten leidde.

De vraag is waarom dergelijke signalen zich blijven aandienen, ondanks de maatschappelijke schijnwerpers. Uit onderzoek van Hooghiemstra & Partners voor het College bleek dat gemeenten die algoritmes inzetten, welwillend zijn om het gebruik van digitale systemen in lijn te krijgen met mensenrechten. Maar ze weten nog niet goed hoe ze dit moeten doen. Zo zitten organisatorische knelpunten tussen afdelingen en partijen een goede samenwerking soms in de weg.

Daarnaast bleek dat de bescherming van persoonsgegevens dankzij de wettelijk verplichte DPIA (Data Protection Impact Assessment) bij gemeenten doorgaans goed op de radar staat. Maar het voorkomen van discriminatie en toetsen van impact op andere mensenrechten is nog niet structureel ingericht.

Er zijn gemeenten die hier wel nadrukkelijk mee aan de slag zijn gegaan. Amsterdam hanteert een algoritmeregister om aan inwoners uit te leggen hoe bepaalde algoritmes van de gemeente werken die als mogelijk risicovol te beschouwen zijn. In december 2022 is door het ministerie van Binnenlandse Zaken en Koninkrijksrelaties een centraal algoritmeregister gelanceerd. Hierin kunnen overheidsorganisaties, waaronder gemeenten, de door hun gebruikte algoritmes publiceren. De gemeente Rotterdam richtte zich naast het hanteren van een algoritmeregister tot het IAMA (Impact Assessment Mensenrechten en Algoritmes, zie kader).

Rotterdam is niet de enige, maar het is niet bekend hoeveel gemeenten en andere overheden een beroep doen op instrumenten als het IAMA en de Handreiking Non-discriminatie by design, die beide zijn ontwikkeld in opdracht van het ministerie van Binnenlandse Zaken en Koninkrijkrelaties.

Discriminatietoets

Het voornemen van Van Huffelen is toe te juichen. Een bindende discriminatietoets bij nieuwe en bestaande digitale systemen moet daarbij expliciet onderdeel zijn van een mensenrechten-impact-assessment. Alleen zo kan de overheid discriminerende situaties structureel voorkomen. Niet alleen discriminatie op grond van ras en nationaliteit, maar ook op andere discriminatiegronden. Denk aan handicap, geslacht of godsdienst.

Overheden moeten zo’n toets niet alleen gebruiken voor kwaliteitsanalyses van gebruikte data en algoritmische modellen. Ze moeten de toets ook toepassen op (motivaties van) het achterliggende beleid. En op het effect van een digitaal systeem in de praktijk, wanneer een ambtenaar een beslissing moet nemen op basis van door algoritmes berekende uitkomsten.

Belangrijk is dat overheden een discriminatietoets niet alleen uitvoeren bij de ontwikkeling van nieuwe systemen, maar juist ook op bestaande processen en werkwijzen. Zeker als het gaat om zelflerende algoritmes.

De inzet bijvoorbeeld van een toetsingskader kan helpen om risicoprofielen te toetsen op discriminatie. Zoals het mensenrechtelijk toetsingskader voor etnisch profileren in de praktijk, dat het College voor de Rechten van de Mens vorig jaar publiceerde. Dit biedt overheidsinstanties handvatten voor het doorlichten en beoordelen van een risicoprofiel op discriminatie specifiek op grond van ras en nationaliteit. Zo zou het beleid zoals van de Utrechtse gemeenten niet door deze toetsing heen zijn gekomen.

Verplicht mensenrechten-impact-assessment

Op 7 oktober 2022 liet Van Huffelen weten een mensenrechten-impact-assessment verplicht te willen stellen voor ambtenaren die een algoritme willen inzetten. Ze wil alleen eerst nog uitzoeken hoe een dergelijke toets zich verhoudt tot andere verplichtingen omtrent algoritmegebruik door organisaties die persoonsgegevens met een hoog risico verwerken. Verplichtingen zoals het uitvoeren van een DPIA (Data Protection Impact Assessment) en een risicoanalyse die in de Europese AI-verordening (Artificial Intelligence) zit. Deze EU-verordening is nog in ontwikkeling.

Op dit moment bestaat al het IAMA (Impact Assessment Mensenrechten en Algoritmes). Dit instrument kan een organisatie gebruiken om in de gehele levenscyclus van algoritmes risico’s en kansen met betrekking tot mensenrechten in kaart te brengen. De Universiteit Utrecht heeft dit in opdracht van de rijksoverheid gemaakt. Het gebruik was tot op heden vrijwillig.

Daarnaast worden overheidsorganisaties verplicht een algoritmeregister aan te leggen. Zo kunnen burgers hun recht halen, is de gedachte. Burgers kunnen in zo’n register namelijk zien of de overheid een algoritme heeft gebruikt om een beslissing over hen te nemen. In het algoritmeregister moeten overheidsinstanties, zoals gemeenten, beknopt uitleggen hoe het algoritme werkt en waarop het beslissingen baseert.

Quirine Eijkman, Liz van Velzen en Justin Hoegen Dijkhof werken bij het College voor de Rechten van de Mens.

 

Foto: Gerd Altmann via Pixabay