Voorspellende algoritmen versimpelen en maken ongelijker

Overheden en bedrijven doen steeds vaker een beroep op big data en algoritmen om menselijk gedrag te kwantificeren, voorspellen en bij te sturen. Dit nieuwe ‘data-regime’ heeft ingrijpende maatschappelijke gevolgen, in het bijzonder voor minderheden.

In haar boek Automating inequality beschrijft politiek wetenschapper Virginia Eubanks aan de hand van schrijnende voorbeelden op welke manier migranten, armen en gestigmatiseerde groepen stelselmatig door algoritmen worden benadeeld. Omdat zij intensiever worden gemonitord dan sociaaleconomisch bevoordeelde groepen, zijn er meer data over hen beschikbaar waarmee Amerikaanse overheden en bedrijven een regime van surveillance, risicoprofilering en uitsluiting hanteren.

We zijn geneigd om te denken dat in Amerika alles groter en erger is, maar ook hier ‘algoritmiseren’ overheden, bedrijven en werkgevers er uitbundig op los. Hoe kunnen we voorkomen dat ook hier ongelijkheid wordt geautomatiseerd?

Algoritmen in de polder

Technologie-ethici waarschuwen voor de toenemende inmenging van grote techbedrijven in steden. ‘Building the smart future cannot also mean paving the way for tech billionaires to fulfill their dreams of ruling over cities. If it does, that’s not a future we should want to live in’, aldus Jathan Sadowksi naar aanleiding van privacy problemen bij het Google smart city project in Toronto. In Nederland maken we ons geen zorgen over deze inmenging. Zo gaat Universiteit Utrecht samenwerken met Google om luchtvervuiling te meten, terwijl de tech-gigant publieke waarden als autonomie, inclusiviteit en privacy aan zijn laars lapt.

Met de vervagende grenzen en gedeelde kennis tussen privésector, bedrijfsleven en overheid, worden steeds ingrijpendere surveillancesystemen ontwikkeld. In Kerkrade voorspellen algoritmen welke straten kans hebben op eenzaamheid en depressies, en in Almere, Dordrecht en Zwijndrecht selecteren algoritmen straten met een risico op leefbaarheidsproblemen op basis van gegevens over werkloosheid, inkomen, eenoudergezinnen, vroegtijdig schoolverlaters, 65-plussers en koopkracht. Wijkagenten filteren de rijkere wijken er op voorhand al uit.

Een ander voorbeeld is Roermond, waar de gemeente samenwerkt met de politie en TU Eindhoven om Oost-Europese dieven te pakken voordat ze toeslaan. Camera’s met kentekenherkenning registreren auto’s op weg naar het winkelcentrum, wifi-trackers detecteren telefoons van eerder betrapte zakkenrollers, en met objectherkenning wordt vastgesteld hoeveel mensen in een auto zitten.

Algoritmische voorspellingen waarschuwen de politie tijdig: signaleert het systeem een Roemeense auto? Tien punten. Rijdt de auto naar het winkelcentrum? Tien punten erbovenop, beschrijft criminoloog Marc Schuilenburg in zijn kritische column over de werkwijze in Roermond. Ook gezondheidsdiensten zijn aan het algoritmiseren geslagen, bijvoorbeeld met een algoritme dat voorspelt welke huishoudens een verhoogd risico zouden hebben op kindermishandeling.

Net als in Amerika, worden vooral sociaal-economisch lagere klassen en achterstandswijken aan algoritmische screenings onderworpen. Sociaaleconomisch bevoordeelden worden niet alleen minder intensief gemonitord, ze kunnen ook een beroep doen op technologische snufjes die hun bevoorrechte positie versterken. Bijvoorbeeld een navigatiesysteem waarmee Mercedes-Benz rijders criminele en ‘gevaarlijke’ wijken automatisch kunnen vermijden.

Weinig toezicht op voorspellende systemen

Tot op heden is toezicht op dit type voorspellende systemen slecht geregeld. Vorig jaar sleepten burgerrechtenorganisaties de overheid voor de rechter vanwege een gebrek aan toezicht op het Systeem Risico Indicatie (SyRI) dat met algoritmen op zoek gaat naar patronen in data om risicogedrag bij burgers te voorspellen. De rechtszaak loopt nog.

SyRI kwam opnieuw in het nieuws toen bleek dat het algoritmische systeem ‘valse positieven’ genereerde waardoor inwoners van Capelle aan den IJssel onterecht werden verdacht van criminaliteit. Dat algoritmen verkeerde verbanden leggen is een structureel probleem, ze meten namelijk geen causaliteit maar correlatie: het tegelijk voorkomen van twee of meerdere verschijnselen. Als dat maar vaak genoeg gebeurt, gaat het algoritme er vanuit dat er een relatie is en neemt hij deze in het vervolg altijd mee in zijn berekening.

Behalve het leggen van verkeerde verbanden zijn er nog andere fundamentele problemen wanneer algoritmen worden ingezet om criminaliteit en risicogedrag te voorspellen: niet wat jij doet bepaalt hoe de overheid naar jou kijkt, maar een voorspelling over wat jij van plan zou kunnen zijn, terwijl die voorspelling niet altijd klopt. De gegevens die jij via jouw digitale en analoge voetsporen achterlaat zeggen niet altijd iets over jouw toekomstige keuzes en gedragingen.

Selffulfilling prophecy

Daarnaast kunnen vooroordelen over crimineel en afwijkend gedrag worden versterkt. Zo beschrijft het wetenschappelijke rapport Boeven vangen: ‘De politie creëert door de dominante manier van kijken (profileren) een werkelijkheid (bepaalde bevolkingsgroepen zijn meer crimineel dan andere) die zij bevestigt op basis van data die het resultaat zijn van die dominante manier van kijken en daaruit voortvloeiende werkelijkheid, en dat leidt weer tot een verdere eenzijdigheid in de manier van kijken.’ Een algoritmisch model kan op die manier werken als een voorspelling die zichzelf waarmaakt.

Nu de veiligheidssector aan het versmelten is met de marketingsector, worden we ook tijdens het winkelen in de smiezen gehouden. In Amerika worden klanten die binnenlopen bij dure winkelketens gescand door camera’s met algoritmische gezichtsherkenning. Het personeel krijgt een seintje als een ‘high value customer’ binnenloopt waarna zij op basis van data over eerder koopgedrag de klant adviseren.

Bedrijven menen op basis van eerder koop- kijk, en klikgedrag te kunnen voorspellen wat consumenten willen. Maar ook hier werken algoritmische voorspellingen als een selffulfilling prophecy. Als ik de suggesties van bol.com of Netflix opvolg betekent dat niet dat zij weten wat ik wil, het betekent dat zij mijn suggestielijst hebben ingeperkt en daarmee mijn keuzes konden sturen.

De ruimte om onze identiteit te herdefiniëren wordt ingeperkt

Algoritmen pinnen ons vast op een aantal kenmerken op grond waarvan wij vervolgacties, suggesties en informatiestromen krijgen opgelegd. Daardoor worden we doorlopend op onze oude identiteit aangesproken, en wordt de ruimte om onze identiteit te herdefiniëren ingeperkt.

Daarnaast verliezen we onderlinge verschillen uit het oog doordat algoritmen ons benaderen op basis van groepskenmerken. Ook hier worden mensen die afwijken van de meerderheid nadeliger getroffen; zij worden in datacategorieën geplaatst die niet bij hun identiteit passen en hun afwijkende profiel leidt sneller tot een risicoprofiel.

Zolang overheden en bedrijven mensen achtervolgen met hun digitale voetsporen en daaruit  conclusies afleiden zonder dat zij dit weten, is hun privacy niet gewaarborgd. Privacy gaat immers over meer dan gegevensbescherming. Namelijk over de mogelijkheid om je te onttrekken aan oneerlijke, onzichtbare algoritmen die jouw keuzes en kansen in het leven beïnvloeden, en over de mogelijkheid om je identiteit te herdefiniëren.

Ook werkgevers kijken mee

Als marketeers, boevenvangers en overheden niet over onze schouders meekijken, zijn het wel de werkgevers. Uit onderzoek van Investico blijkt dat ASR, ING, McKinsey, Zeeman, gemeente Den Haag en Havenbedrijf Rotterdam gedetailleerde gegevens verzamelen over de gemoedstoestand, gezondheid en bevlogenheid van hun personeel. Werknemers zouden hier bij baat bij hebben omdat het leidt tot een efficiëntere werkwijze.

Het verhaal van Ellen die bij postNL wordt opgezadeld met een werk-app die haar overal volgt, geeft een aardig beeld van deze zogenaamde efficiëntie. Algoritmen berekenen hoe lang ze over haar krantenwijk mag doen en stippelen de routes uit die ze verplicht moet lopen. De app stuurt haar door smalle steegjes waar haar tassen niet doorheen passen, en de wegtikkende minuten op haar scherm jagen haar op waardoor ze minder op het verkeer let.

De algoritmische modellen waarmee werknemers worden gemonitord zorgen niet alleen voor onveilige verkeerssituaties, ze rammelen ook aan alle kanten. Uit het Investico onderzoek blijkt dat de meeste werkgevers niet geïnteresseerd zijn in kloppende cijfers. Voor hen zijn data slechts een breekijzer om ontslagen makkelijker te maken of indrukwekkende kwartaalcijfers te laten zien.

Menselijk gedrag is niet te vatten in algoritmische simplificaties

Dat menselijk gedrag bestaat uit een complex samenspel van variabelen die niet in algoritmische formules passen, vergeten overheden, bedrijven, en werkgevers maar al te graag. Zij vinden het wel handig dat algoritmen de werkelijkheid reduceren tot overzichtelijke zwart-wit tegenstellingen en lijden niet onder de gevolgen van deze algoritmische simplificaties.

Siri Beerends is cultuursocioloog.

 Voor iedereen die wil weten welk algoritmisch oordeel ons te wachten staat én hoe we hiertegen in verzet kunnen komen spreekt Virginia Eubanks op 16 januari in TivoliVredenburg over de sociale gevolgen van voorspellende algoritmen. Zorgt deze technologie voor een nieuwe verdeling in de samenleving, gebaseerd op statistische risicoprofielen?

De Virginia Eubanks Privacyrede wordt georganiseerd door SETUP en SURF, in samenwerking met TivoliVredenburg.

Foto: Marcokalmann (Flickr Creative Commons)

Dit artikel is 7959 keer bekeken.

Reacties op dit artikel (4)

  1. De validiteit van de data is het probleem. Maar wat weten politici (lokaal) daar van ?
    Verder zijn algoritmen ( = Grieks voor ‘berekening’) niets anders of beter dan statistische methoden die al veel langer bekend zijn. Kortom: De keizer en de kleren nogmaals.

  2. De validiteit van de data is niet het enige probleem. Algoritmen reflecteren niet alleen onze vooroordelen en ongelijkheden, ze leggen deze vast in systemen waardoor ze ook nog eens op grotere schaal worden verspreid.

    De oplossing lijkt simpel: we moeten ‘goede’ waarden in het algoritme programmeren door gevarieerde datasets te gebruiken en de juiste variabelen op de juiste manier te wegen. Maar zelfs als dat lukt (wie bepaalt wat een goede weging is en welke variabelen in het model thuis horen?), lossen we daarmee het daadwerkelijke probleem niet op. Het probleem is namelijk dat veel aspecten van menselijk gedrag -überhaupt niet- in een algoritmisch model passen. Dat los je ook niet met valide data. Algoritmen zijn goed in rigide taken zoals schaken en Go. Maar mensen zijn minder rechtlijnig dan een schaakbord of een spelletje Go. Meten = Vergeten.

    Verder: het probleem zit vooral in de mens. Het is namelijk de mens die zijn oordeel en keuzes zo makkelijk laat sturen door foutieve algoritmen. Het is de mens die er zo heilig van overtuigd is dat algoritmen betere, ‘objectievere’ en efficiëntere beslissingen kunnen maken. Je kunt zeggen: mens en algoritme moeten samenwerken en elkaar versterken. In de praktijk blijkt dat complex. In hoeverre durven agenten, overheidsmedewerkers af te wijken van een algoritmische uitkomst? Als een algoritme aangeeft: deze wijk is meer crimineel dan andere wijken, deze burger heeft een verhoogd risico op kindermishandeling, gaan zij er vanuit dat dit klopt, en gaan zij rechtlijnig naar dat inzicht handelen. Het algoritme wordt behandeld als een orakel.

  3. Het monitoren van veiligheid en risico’s heeft zeer grote voordelen. In wijken waar mishandeling plaatsvind kunnen meer hulpverleners en wijkagenten worden ingezet.
    Door het monitoren van buitenlandse kentekens kunnen diefstal en woninginbraak vermeden worden.

    Camerabewaking, want daar praten we hier over, is nodig omdat er geen enkel effectief oogtoezicht meer door de bewoners is. Bewoners zien het wel, maar weten niet wanneer zij alert moeten zijn en de politie zullen bellen. De kans dat zij een valse melding doen is hoog. Ik ben uit de wijk veiligheidsapp gestapt omdat er erg veel vervuiling met onzin was. Dan werken dingen dus niet. Algoritmen filteren die vals positief waarnemingen er uit. Dat is louter gunstig.

    Het Systeem Risico Indicatie (SyRI) levert 50% vals positieve meldingen op. De andere 50% klopt dus. Dat is een hoog percentage dat alleen maar hoger zal worden naarmate er ervaring met het systeem wordt opgedaan. Ik ben daar wel blij mee. Het vergroot de pakkans van dieven en boeven. De arrestatie van de verkeerde chauffeur in Tilburg laat zien dat vals positieve meldingen nooit onvermijdbaar zijn.

    Ook buren doen vals positieve meldingen van misbruik van sociale wetgeving. Soms zelfs met opzet.

    Maakt het artikel ons duidelijk hoe effectieve controle in een versnipperde en gefragmenteerde samenleving er uit moet zien? Nee, dus heeft het geen enkele waarde.

  4. Je had ze al zien lopen. Langs de ramen van je huis. Je had ze al zien staan. Voor de ramen van je huis. Vele mensen. Met een masker voor hun gezicht. Op een dag staat er een tent in de tuin. Rond de tent lopen vele mensen. Met een masker voor hun gezicht. Ze dragen vreemde spullen die je niet kent. Die niet jouw eigendom zijn. Je denkt: het is buiten! De deuren zijn op slot. De ramen zijn gesloten. Je trekt de gordijnen dicht en gaat slapen. — In de vroege ochtenduurtjes wordt de deur ingetrapt. Het is de politie. Je wordt gearresteerd. Afgevoerd naar het politiebureau en een cel ingegooid. Je bent schuldig tot het tegendeel bewezen is. Maar er is geen tegendeel. Er is niets. Het systeem weet precies wie jij bent. Wie je was. En wie je gaat worden. Jij hoeft dat zelf niet te weten. Als zij het allemaal maar weten! De vele mensen met het masker voor hun gezicht!

Geef een antwoord

Het e-mailadres wordt niet gepubliceerd.