Het gebruik van algoritmen voor toezicht door de overheid blijft een heikel punt. Bij het verschijnen van het vierde en vijfde rapport over de Fraudesignaleringsvoorziening (FSV) bij de Belastingdienst liet de politiek geen kans onbenut om in krachtige termen haar ongenoegen te uiten: ‘schandalig’, ‘racistisch’, ‘woest makend’ en ‘oneerlijk’. In de Tweede Kamer werd met ruime meerderheid een motie aangenomen om impact assessments verplicht te stellen ter voorkoming van misbruik van algoritmen. Maar om tot eerlijke algoritmen te komen, is meer nodig.
Algoritmen gebruiken voor risicoprofilering
Overheden zetten fors in op digitale transformatie, ook voor haar toezichthoudende taken. Uit de I-strategie Rijk 2021-2025 en het onderzoek naar gebruik van algoritmen bij gemeenten blijkt dat het niet een kwestie is of data en algoritmen gebruikt gaan worden voor risicoprofilering in de uitvoeringspraktijk, maar vooral een vraag hoe en onder welke randvoorwaarden de overheid dit kan inzetten.
Tegelijkertijd zijn er veel kritische geluiden, zoals deze uitspraak van de Haagse rechtbank over SyRI, het rapport van de Rotterdamse Rekenkamer over ethisch gebruik van algoritmen door de gemeente en het pleidooi van Amnesty International voor een algeheel verbod op gebruik van gevoelige persoonskenmerken en algoritmen door de overheid. Met een boete van 3,7 miljoen euro maakt de Autoriteit Persoonsgegevens recentelijk onmiskenbaar duidelijk dat de fraudesignaleringsvoorziening (FSV) van de Belastingdienst een illegale verwerking is.
Voor een algoritme dat recht doet aan onze democratie is meer nodig
Maar de geest is uit de fles, zoals blijkt uit het WRR rapport ‘Opgave AI’, en er lijkt er geen weg terug. De opgave waar wij als samenleving voor staan is om AI maatschappelijk in te bedden. De overeenstemming in de kamer over verplicht gebruik van de Impact Assessment Mensenrechten en Algoritmes (IAMA) is daarvoor niet genoeg. Deze procesbenadering biedt onvoldoende houvast om bestuurlijke richtlijnen te laten matchen met de uitvoeringspraktijk voor een goed resultaat – namelijk een praktisch werkend algoritme dat recht doet aan onze wensen en eisen van een democratische rechtsstaat.
In de afgelopen paar jaar zijn verschillende procesmethodieken ontwikkeld om ethiek een plaats te geven in de ontwikkeling van algoritmen. Een voorbeeld is de IAMA-methodiek. Deze wordt echter slechts ‘als ethisch begeleider en niet als beoordelaar’ ingezet.
De mystiek van en onbekendheid met algoritmen wreekt zich hier
Naast begeleidingsethiek zijn duidelijke regels nodig die inhoudelijk richting geven aan hoe algoritmen ontwikkeld en gebruikt moeten worden. Zo moet, net als bij COVID-testen, altijd een afweging gemaakt worden tussen sensitiviteit (correct voorspellen van een risico) en specificiteit (zo min mogelijk fout positieve voorspellingen). Deze afweging wordt nu nog te vaak door technische ontwikkelaars gedaan, terwijl hier juist een rol is weggelegd voor bestuurders.
Bestuurders, toezichthouders, juristen, ethici en datascientists hebben onvoldoende begrip van elkaars vakgebied
De mystiek van en onbekendheid met algoritmen wreekt zich hier. Bestuurders, toezichthouders, juristen, ethici en datascientists hebben onvoldoende begrip van elkaars vakgebied, waardoor het lastig is om concepten uit de statistiek (de kern van machine learning) te vertalen naar een inhoudelijk, bestuurlijk toetsingskader. Het probleem ligt met name ook in de emotionele en politieke beladenheid van het gebruik van bijzondere persoonsgegevens, zoals leeftijd, geslacht of nationaliteit.
Kind met het badwater weggooien
In Rotterdam bijvoorbeeld is naar aanleiding van het eerdergenoemde rapport politieke consensus ontstaan over het niet meer gebruiken van ‘gevoelige variabelen’. Bijvoorbeeld bij het controleren van bijstandsontvangers.
Elk jaar worden onder de 35.000 Rotterdamse bijstandsontvangers circa 6.000 heronderzoeken uitgevoerd om vast te stellen of zij wel rechtmatig een uitkering ontvangen. Om de beschikbare handhavingscapaciteit zo effectief mogelijk in te zetten, wil de gemeente deze heronderzoeken uitvoeren bij uitkeringsontvangers met de grootste kans op het onterecht ontvangen van een uitkering. Daarvoor is een risicomodel ontwikkeld dat onrechtmatigheden voorspelt.
Voor de voorspelling worden persoonsgegevens, zoals leeftijd en geslacht, gebruikt die een correlatie hebben met een verhoogd risico op onrechtmatig gebruik van een bijstandsuitkering. De Rotterdamse Rekenkamer stelt dat dit kan resulteren in ongewenste discriminatie en de gemeente wil daarom deze gevoelige variabelen niet meer gebruiken.
Om discriminatie door een algoritme tegen te gaan, is het zaak om alle gevoelige variabelen mee te nemen
Als deze lijn wordt doorgezet zijn we hard op weg om het kind met het badwater weg te gooien. We kunnen dan net zo goed meteen stoppen met het investeren van tijd en geld in de ontwikkeling van algoritmen voor risicoprofilering door de toezichthoudende overheid. De essentie van algoritmen is dat zij alleen goede voorspellingen kunnen geven door maximaal gebruik te maken van correlaties in de data.
Statistisch en ethisch verantwoord gebruik
Om discriminatie door een algoritme tegen te gaan, is het juist zaak om alle gevoelige variabelen mee te nemen voor het ontwikkelen van het algoritme en pas achteraf te bepalen welke variabelen uiteindelijk wel of niet gebruikt mogen worden.
Al in 1988 beschreven Schmidt en Witte een methode voor statistisch én ethisch verantwoord gebruik van algoritmen, in dit geval binnen de context van de rechtspraak. Zij laten zien hoe een technisch team tijdens de ontwikkelfase alle mogelijke variabelen gebruikt om het algoritme te ‘trainen’ om recidiverisico te bepalen. In de gebruiksfase bepalen beleidsmakers dan welke variabelen gebruikt mogen worden om dit risico te voorspellen en daadwerkelijk mee te wegen in de uitspraak.
Stel, er is een hoge correlatie tussen recidiverisico en nationaliteit. Omdat we het onwenselijk vinden dat nationaliteit een overweging is voor de rechtspraak, wordt deze variabele wel gebruikt in de ontwikkelfase van het algoritme, maar wordt hij achterwege gelaten (geblindeerd) in het berekenen van het recidiverisico. Hiermee wordt discriminatie effectief tegengegaan.
Meer concrete, inhoudelijke richtlijnen zijn nodig
Om algoritmen maatschappelijk in te bedden, zullen alle geledingen van de overheid (wetgevend, uitvoerend en controlerend) en maatschappelijke organisaties tot meer concrete, inhoudelijke richtlijnen moeten komen over hoe data en algoritmen ingezet kunnen worden voor de toezichthoudende overheid.
Er is beter begrip van de werking van algoritmen noodzakelijk om vruchtbaar debat te voeren
Dat begint met het inzicht dat persoonsgegevens zoals geslacht of nationaliteit an sich niet discriminerend zijn. Bovendien is een beter begrip van de werking van algoritmen noodzakelijk om een vruchtbaar debat te voeren over het gebruik ervan. Meer multidisciplinair onderzoek is gewenst, bijvoorbeeld via initiatieven zoals de ELSA Labs of het Civic AI Lab, opdat verschillende vakgebieden meer van elkaar gaan begrijpen.
Totdat hier meer helderheid over is, zou de overheid haar aandacht beter kunnen richten op andere thema’s binnen de digitaliseringsagenda, zoals het toepassen van AI voor ontwikkeling en beheer van de bebouwde omgeving, waar risico op discriminatie aanmerkelijk lager is.
Daniel Kapitan is Eindhoven AI Systems Institute (EAISI) Fellow en docent aan de Jheronimus Academy of Data Science.
Foto: ThisisEngineering RAEng via Unsplash.com