Begin dit jaar verscheen Schuilenburgs boek Making Surveillance Public: Why You Should Be More Woke About AI and Algorithms. Daarin citeert hij de Britse socioloog Anthony Giddens: surveillance is een van de vier institutionele ontwikkelingen van de moderne tijd - naast industrialisatie, kapitalistische economie en militaire macht.
In haar klassieke betekenis staat surveillance voor ‘het oog houden op’. Aanvankelijk was surveillance een fysieke, uiterst arbeidsintensieve werkwijze waarbij relatief weinig data werd bijgehouden.
Surveillance is volgens Schuilenburg geleidelijk veranderd in ‘zichtbaar en voorspelbaar maken’. Dat wil zeggen dat nu met AI en algoritmes grote hoeveelheden data worden verzameld, die vervolgens worden geanalyseerd en geïnterpreteerd binnen het kader van veiligheidsbeleid.
‘Surveillance graaft dieper dan ooit in het privéleven van burgers
Een ander verschil met de klassieke surveillance, zegt Schuilenburg, is dat de dataverzameling, voor het grote publiek, zelf steeds onzichtbaarder wordt. ‘Doordat data steeds meer deel uitmaken van vernetwerkte datastromen, is surveillance vloeibaar en continu geworden. De digitalisering via AI en algoritmes komt daar nog eens overheen.’
De inzet van AI en algoritmes bij (big data) policing, ofwel het veilig maken van de samenleving, heeft geleid tot een intensivering van omvang en diepgang van surveillance. ‘Surveillance graaft dieper dan ooit in het privéleven van burgers. Ze worden van alle kanten en door iedereen bekeken.’
Op scherp
Dat bekijken gebeurt overigens niet alleen door politie en gemeenten; maar ook naast (private techbedrijven), boven (EuroJust, Europol) en onder de politie, door burgers zélf. Illustratief voor dat laatste, aldus Schuilenburg, is de do-it-yourself-surveillance met luxe gadgets zoals de Apple Watch en Fitbit. ‘Beide zitten boordevol sensoren waarmee je zelf je hartritme, reactievermogen, slaap en activiteiten kunt monitoren.’
Gebruik van een digitale deurbel is allesbehalve onschuldig
Een van de partijen die steeds vaker en indringender de Nederlandse veiligheidszorg faciliteren, is Amazon. Ruim 1,2 miljoen Nederlandse huishoudens hebben een digitale deurbel van deze voormalige boekhandel: de Amazon Ring Bel. Dit apparaat bevat een camera waardoor je met smartphone of tablet kunt zien wie er voor de deur staat.
Gebruik van een digitale deurbel is allesbehalve onschuldig, zegt Schuilenburg. Integendeel, ‘het zet de verhoudingen en de grenzen tussen privé en publieke belangen op scherp’.
Publiek maken
Zowel Amazon als de politie kan door de Amazon Ring Bel meekijken wat er gebeurt rond een woning. Is dat wenselijk? Om die vraag te beantwoorden, moeten we, stelt Schuilenburg, ‘publiek maken wat tot dan onzichtbaar is gebleven’.
Publiek maken is synoniem voor het zichtbaar maken van wat wij niet (meer) als surveillance zien of ervaren. ‘We moeten dieper nadenken over zelfsurveillance van burgers met luxeproducten als de Apple Watch en Fitbit, waarbij dataverzameling en analyse automatisch plaatsvinden. Ook moeten we meer aandacht hebben voor algoritmes die werken op basis van machine learning (computers leren zelf hoe ze moeten leren zonder expliciet geprogrammeerd te worden, red.) en zelf een weg zoeken door de datastromen heen waarbij zij niet alleen zich onttrekken aan het zicht van buitenstaanders, maar ook door de gebruikers zelf niet meer worden begrepen of kunnen worden uitgelegd.’
‘Niet goed doordachte AI-toepassingen kunnen leiden tot onnodig verscherpt politietoezicht’
Het lijdt volgens Schuilenburg weinig twijfel dat met AI een belangrijke efficiëntieslag kan worden gemaakt in de preventie en opsporing van criminaliteit en het maken van veiligheidsbeleid door gemeenten en de landelijke overheid.
Echter, niet goed doordachte AI-toepassingen kunnen nare gevolgen hebben. ‘De bias en zelfversterkende effecten van een toegepaste technologie kunnen bijvoorbeeld leiden tot onnodig verscherpt politietoezicht op bepaalde buurten of groepen.’
Elite
Hoe kunnen de publieke waarden beschermd worden? Volgens Schuilenburg is het cruciaal dat we ‘meer stemmen betrekken bij AI-kwesties die burgers aangaan. Ook dat is publiek maken.’ Aansluitend daarop zou er meer aandacht moeten komen voor het feit dat techniek als een mal werkt. ‘Een model waarbinnen de kennis van bepaalde groepen, de coding elite in het bijzonder, de overhand heeft en die van andere groepen wordt vergeten of als niet waardevol wordt gezien.’
De expertise van deze elite bemoeilijkt strikte controle
Onder de coding elite verstaat Schuilenburg ‘een overwegend witte, mannelijke en heteroseksuele groep van dataprofessionals die al in het ontwerp- en ontwikkelproces van AI en algoritmes belangrijke keuzes maakt. De expertise van deze elite bemoeilijkt strikte controle.’
Dit alles kan ertoe leiden dat deze elite handelt ‘zonder oog te hebben voor de eigen geprivilegieerde positie en zonder rekening te houden met eventueel ongewenste neveneffecten, waaronder discriminatie, privacyschending of andere risico’s die samenhangen met AI en algoritmes.’
Diverser
Er is kortom sterke behoefte aan democratische oefening bij de ontwikkeling en toepassing van AI. Ofwel: ‘Vanuit het oogpunt van transparantie en accountability is het verstandig om een zo divers en inclusief mogelijk team in termen van gender, leeftijd en achtergrond mee te nemen bij het ontwerp van AI-toepassingen. Aldus kan een stem worden gegeven aan de silenced voices van zwakke, kwetsbare of gemarginaliseerde groepen als jongeren en minderheden.’
Dit aspect van publiek maken, kan zo ver gaan dat ook de natuur een plek aan de ontwerptafel krijgt. ‘Immers, de infrastructuur van AI, van het trainen van algoritmes tot de apps op een Iphone, kan niet functioneren zonder energie slurpende servers in datacenters, waarop computerprogramma’s draaien en gegevens worden bewaard van sociale media als X en Instagram en de software van Microsoft Windows. Kijken we naar de ecologische voetafdruk van AI, dan zijn datacenters verantwoordelijk voor een kleine 4 procent van de wereldwijde CO2-uitstoot – en daarmee vormen zij een grote bedreiging voor het klimaat.’
Afstand
Volgens Schuilenburg is het hoog tijd om afstand te nemen van het dominante denken over AI en algoritmes, waarbij ‘de veronderstelde technisch-economische voordelen prevaleren en sociologische aspecten als macht, kennis en ervaringen onderbelicht blijven.’
De praktijk laat zien dat niet al het mogelijke wenselijk is
Hoe snel zeer grote hoeveelheden data kunnen worden verzameld en na analyse en interpretatie worden toegepast, blijven belangrijke maatstaven om AI en algoritmes in te zetten. De praktijk laat evenwel zien dat niet al het mogelijke wenselijk is. ‘Je kunt je bijvoorbeeld afvragen of het oogmerk van een AI-toepassing altijd opweegt tegen de risico’s ervan. Wat als er veel eenvoudigere en menselijkere oplossingen gewoon onder onze neus liggen?’
Schuilenburg pleit voor ‘een sociologie die zich actief mengt in het debat over AI en algoritmes, ‘ook en misschien wel vooral met inzichten die pijn doen en niet in de smaak vallen bij de politiek en de kapitaalkrachtige techbedrijven.’
Jan van Dam is freelance-journalist
Foto: Jakub Zerdzicki via Pexels.com