In haar boek Automating inequality beschrijft politiek wetenschapper Virginia Eubanks aan de hand van schrijnende voorbeelden op welke manier migranten, armen en gestigmatiseerde groepen stelselmatig door algoritmen worden benadeeld. Omdat zij intensiever worden gemonitord dan sociaaleconomisch bevoordeelde groepen, zijn er meer data over hen beschikbaar waarmee Amerikaanse overheden en bedrijven een regime van surveillance, risicoprofilering en uitsluiting hanteren.
We zijn geneigd om te denken dat in Amerika alles groter en erger is, maar ook hier ‘algoritmiseren’ overheden, bedrijven en werkgevers er uitbundig op los. Hoe kunnen we voorkomen dat ook hier ongelijkheid wordt geautomatiseerd?
Algoritmen in de polder
Technologie-ethici waarschuwen voor de toenemende inmenging van grote techbedrijven in steden. ‘Building the smart future cannot also mean paving the way for tech billionaires to fulfill their dreams of ruling over cities. If it does, that’s not a future we should want to live in’, aldus Jathan Sadowksi naar aanleiding van privacy problemen bij het Google smart city project in Toronto. In Nederland maken we ons geen zorgen over deze inmenging. Zo gaat Universiteit Utrecht samenwerken met Google om luchtvervuiling te meten, terwijl de tech-gigant publieke waarden als autonomie, inclusiviteit en privacy aan zijn laars lapt.
Met de vervagende grenzen en gedeelde kennis tussen privésector, bedrijfsleven en overheid, worden steeds ingrijpendere surveillancesystemen ontwikkeld. In Kerkrade voorspellen algoritmen welke straten kans hebben op eenzaamheid en depressies, en in Almere, Dordrecht en Zwijndrecht selecteren algoritmen straten met een risico op leefbaarheidsproblemen op basis van gegevens over werkloosheid, inkomen, eenoudergezinnen, vroegtijdig schoolverlaters, 65-plussers en koopkracht. Wijkagenten filteren de rijkere wijken er op voorhand al uit.
Een ander voorbeeld is Roermond, waar de gemeente samenwerkt met de politie en TU Eindhoven om Oost-Europese dieven te pakken voordat ze toeslaan. Camera’s met kentekenherkenning registreren auto’s op weg naar het winkelcentrum, wifi-trackers detecteren telefoons van eerder betrapte zakkenrollers, en met objectherkenning wordt vastgesteld hoeveel mensen in een auto zitten.
Algoritmische voorspellingen waarschuwen de politie tijdig: signaleert het systeem een Roemeense auto? Tien punten. Rijdt de auto naar het winkelcentrum? Tien punten erbovenop, beschrijft criminoloog Marc Schuilenburg in zijn kritische column over de werkwijze in Roermond. Ook gezondheidsdiensten zijn aan het algoritmiseren geslagen, bijvoorbeeld met een algoritme dat voorspelt welke huishoudens een verhoogd risico zouden hebben op kindermishandeling.
Net als in Amerika, worden vooral sociaal-economisch lagere klassen en achterstandswijken aan algoritmische screenings onderworpen. Sociaaleconomisch bevoordeelden worden niet alleen minder intensief gemonitord, ze kunnen ook een beroep doen op technologische snufjes die hun bevoorrechte positie versterken. Bijvoorbeeld een navigatiesysteem waarmee Mercedes-Benz rijders criminele en ‘gevaarlijke’ wijken automatisch kunnen vermijden.
Weinig toezicht op voorspellende systemen
Tot op heden is toezicht op dit type voorspellende systemen slecht geregeld. Vorig jaar sleepten burgerrechtenorganisaties de overheid voor de rechter vanwege een gebrek aan toezicht op het Systeem Risico Indicatie (SyRI) dat met algoritmen op zoek gaat naar patronen in data om risicogedrag bij burgers te voorspellen. De rechtszaak loopt nog.
SyRI kwam opnieuw in het nieuws toen bleek dat het algoritmische systeem ‘valse positieven’ genereerde waardoor inwoners van Capelle aan den IJssel onterecht werden verdacht van criminaliteit. Dat algoritmen verkeerde verbanden leggen is een structureel probleem, ze meten namelijk geen causaliteit maar correlatie: het tegelijk voorkomen van twee of meerdere verschijnselen. Als dat maar vaak genoeg gebeurt, gaat het algoritme er vanuit dat er een relatie is en neemt hij deze in het vervolg altijd mee in zijn berekening.
Behalve het leggen van verkeerde verbanden zijn er nog andere fundamentele problemen wanneer algoritmen worden ingezet om criminaliteit en risicogedrag te voorspellen: niet wat jij doet bepaalt hoe de overheid naar jou kijkt, maar een voorspelling over wat jij van plan zou kunnen zijn, terwijl die voorspelling niet altijd klopt. De gegevens die jij via jouw digitale en analoge voetsporen achterlaat zeggen niet altijd iets over jouw toekomstige keuzes en gedragingen.
Selffulfilling prophecy
Daarnaast kunnen vooroordelen over crimineel en afwijkend gedrag worden versterkt. Zo beschrijft het wetenschappelijke rapport Boeven vangen: ‘De politie creëert door de dominante manier van kijken (profileren) een werkelijkheid (bepaalde bevolkingsgroepen zijn meer crimineel dan andere) die zij bevestigt op basis van data die het resultaat zijn van die dominante manier van kijken en daaruit voortvloeiende werkelijkheid, en dat leidt weer tot een verdere eenzijdigheid in de manier van kijken.’ Een algoritmisch model kan op die manier werken als een voorspelling die zichzelf waarmaakt.
Nu de veiligheidssector aan het versmelten is met de marketingsector, worden we ook tijdens het winkelen in de smiezen gehouden. In Amerika worden klanten die binnenlopen bij dure winkelketens gescand door camera’s met algoritmische gezichtsherkenning. Het personeel krijgt een seintje als een ‘high value customer’ binnenloopt waarna zij op basis van data over eerder koopgedrag de klant adviseren.
Bedrijven menen op basis van eerder koop- kijk, en klikgedrag te kunnen voorspellen wat consumenten willen. Maar ook hier werken algoritmische voorspellingen als een selffulfilling prophecy. Als ik de suggesties van bol.com of Netflix opvolg betekent dat niet dat zij weten wat ik wil, het betekent dat zij mijn suggestielijst hebben ingeperkt en daarmee mijn keuzes konden sturen.
De ruimte om onze identiteit te herdefiniëren wordt ingeperkt
Algoritmen pinnen ons vast op een aantal kenmerken op grond waarvan wij vervolgacties, suggesties en informatiestromen krijgen opgelegd. Daardoor worden we doorlopend op onze oude identiteit aangesproken, en wordt de ruimte om onze identiteit te herdefiniëren ingeperkt.
Daarnaast verliezen we onderlinge verschillen uit het oog doordat algoritmen ons benaderen op basis van groepskenmerken. Ook hier worden mensen die afwijken van de meerderheid nadeliger getroffen; zij worden in datacategorieën geplaatst die niet bij hun identiteit passen en hun afwijkende profiel leidt sneller tot een risicoprofiel.
Zolang overheden en bedrijven mensen achtervolgen met hun digitale voetsporen en daaruit conclusies afleiden zonder dat zij dit weten, is hun privacy niet gewaarborgd. Privacy gaat immers over meer dan gegevensbescherming. Namelijk over de mogelijkheid om je te onttrekken aan oneerlijke, onzichtbare algoritmen die jouw keuzes en kansen in het leven beïnvloeden, en over de mogelijkheid om je identiteit te herdefiniëren.
Ook werkgevers kijken mee
Als marketeers, boevenvangers en overheden niet over onze schouders meekijken, zijn het wel de werkgevers. Uit onderzoek van Investico blijkt dat ASR, ING, McKinsey, Zeeman, gemeente Den Haag en Havenbedrijf Rotterdam gedetailleerde gegevens verzamelen over de gemoedstoestand, gezondheid en bevlogenheid van hun personeel. Werknemers zouden hier bij baat bij hebben omdat het leidt tot een efficiëntere werkwijze.
Het verhaal van Ellen die bij postNL wordt opgezadeld met een werk-app die haar overal volgt, geeft een aardig beeld van deze zogenaamde efficiëntie. Algoritmen berekenen hoe lang ze over haar krantenwijk mag doen en stippelen de routes uit die ze verplicht moet lopen. De app stuurt haar door smalle steegjes waar haar tassen niet doorheen passen, en de wegtikkende minuten op haar scherm jagen haar op waardoor ze minder op het verkeer let.
De algoritmische modellen waarmee werknemers worden gemonitord zorgen niet alleen voor onveilige verkeerssituaties, ze rammelen ook aan alle kanten. Uit het Investico onderzoek blijkt dat de meeste werkgevers niet geïnteresseerd zijn in kloppende cijfers. Voor hen zijn data slechts een breekijzer om ontslagen makkelijker te maken of indrukwekkende kwartaalcijfers te laten zien.
Menselijk gedrag is niet te vatten in algoritmische simplificaties
Dat menselijk gedrag bestaat uit een complex samenspel van variabelen die niet in algoritmische formules passen, vergeten overheden, bedrijven, en werkgevers maar al te graag. Zij vinden het wel handig dat algoritmen de werkelijkheid reduceren tot overzichtelijke zwart-wit tegenstellingen en lijden niet onder de gevolgen van deze algoritmische simplificaties.
Siri Beerends is cultuursocioloog.
Voor iedereen die wil weten welk algoritmisch oordeel ons te wachten staat én hoe we hiertegen in verzet kunnen komen spreekt Virginia Eubanks op 16 januari in TivoliVredenburg over de sociale gevolgen van voorspellende algoritmen. Zorgt deze technologie voor een nieuwe verdeling in de samenleving, gebaseerd op statistische risicoprofielen?
De Virginia Eubanks Privacyrede wordt georganiseerd door SETUP en SURF, in samenwerking met TivoliVredenburg.
Foto: Marcokalmann (Flickr Creative Commons)