Algoritmes versterken genderongelijkheid

Gezichtsherkenningssoftware werkt vaak beter bij mannen dan bij vrouwen. Vacaturewebsites bevelen goed betaalde banen vaker aan bij mannen dan bij vrouwen. Algoritmes die sollicitatiebrieven beoordelen, selecteren soms alleen maar brieven van mannelijke sollicitanten. Wat is hier aan de hand: hoe komt het dat deze algoritmes seksistisch zijn?

In de afgelopen jaren is de inzet van algoritmes sterk gegroeid. Hierbij gaat het vaak om zelflerende algoritmes, gebaseerd op technieken uit kunstmatige intelligentie. Deze algoritmes worden getraind met data en leren zo om bestaande patronen in die data te herkennen en te herhalen. Een van de oorzaken van benadeling van vrouwen door algoritmes is dat mannen veel sterker vertegenwoordigd zijn in data dan vrouwen.

Door gebrek aan data worden vrouwen systematisch genegeerd

In haar boek Invisible women beschrijft Caroline Criado-Perez de gender data gap: het fenomeen dat een groot deel van de data in de wereld is gebaseerd op het lichaam en het levenspatroon van de gemiddelde man. Met een schat aan voorbeelden laat zij zien dat door een gebrek aan data over vrouwenlichamen en vrouwenlevens, de helft van de bevolking systematisch genegeerd wordt.

Zo wordt de veiligheid van auto’s getest met crash dummy’s met het gewicht en de afmetingen van een gemiddeld mannenlichaam, waardoor auto’s dus minder veilig zijn voor vrouwen. Veel medische kennis is gebaseerd op onderzoek naar mannenlichamen, terwijl mannen- en vrouwenlichamen niet altijd gebaat zijn bij dezelfde behandeling. Ook over het werk dat veel vrouwen doen zijn minder data beschikbaar dan over werk dat veel mannen doen. Er is bijvoorbeeld ooit voor gekozen om onbetaald werk niet op te nemen in de berekening van het bruto nationaal product, waardoor huishoudelijk werk en zorg voor kinderen en ouderen, werk dat voornamelijk door vrouwen wordt gedaan, veelal onzichtbaar blijft.

Vooringenomenheid in data versterkt genderongelijkheid

In beschikbare data is dus sprake van vooringenomenheid (bias) ten opzichte van gender. Een algoritme trainen met vooringenomen data resulteert in uitkomsten met dezelfde vooringenomenheid, soms zelfs in versterkte vorm. Veel spraak- en gezichtsherkenningssoftware werkt bijvoorbeeld beter bij mannen dan bij vrouwen, omdat mannenstemmen en -gezichten sterker vertegenwoordigd waren in de data waarmee de algoritmes zijn getraind. De vooringenomenheid van gezichtsherkenningssoftware geldt al helemaal voor vrouwen van kleur: witte mannen worden door state of the art algoritmes voor nagenoeg honderd procent correct herkend, bij vrouwen van kleur ligt dat percentage een stuk lager, soms zelfs maar op vijfenzestig procent.

Een ander voorbeeld is een algoritme van Amazon dat bij het filteren van sollicitaties alleen maar cv’s van mannen aanbeval. Het algoritme was getraind met data uit het verleden, en mannen hadden tot dan toe vaker carrière gemaakt binnen het bedrijf dan vrouwen. Hiermee wordt een bestaande vooringenomenheid in de data (er werken meer mannen bij het bedrijf) niet alleen herhaald, maar ook nog eens versterkt (er komen alleen maar nieuwe mannen bij). In nieuwe werknemersdata van het bedrijf zullen mannen vervolgens nog sterker vertegenwoordigd zijn dan voorheen. Zonder expliciet ingrijpen door mensen is het niet mogelijk om uit zo’n zichzelf versterkende feedback loop te komen.[1]

De witte, hoogopgeleide mannen in techbedrijven nemen zichzelf als uitgangspunt

Het tegengaan van discriminatie door algoritmes vereist bewustzijn over de omvang en de impact van het probleem en de wil en de kennis om er iets aan te doen. Dit bewustzijn is niet of slechts ten dele aanwezig bij veel mensen die werken in de techindustrie. Veel banen bij techbedrijven worden vervuld door een homogene groep mensen, grotendeels bestaande uit witte, hoogopgeleide mannen.

In grote techbedrijven vervullen vrouwen slechts 20 tot 23 procent van technische banen vervullen. Ontwerpers en ontwikkelaars nemen zichzelf vaak als uitgangspunt bij het ontwikkelen van nieuwe technologie. Doordat veel techwerkers persoonlijk minder vaak de nadelige gevolgen van de gender data gap ondervinden, onderschatten zij vaker het probleem ervan en zien ze gendergerelateerde kwesties vaker over het hoofd.

Uit onderzoek blijkt bijvoorbeeld dat vrouwen op Twitter stelselmatig meer te maken krijgen met intimidatie, dreigementen en discriminatie dan mannen, al helemaal als zij lesbisch, transseksueel of zwart zijn. Voor vrouwen werkzaam in de journalistiek of politiek is het vaak geen optie om niet actief te zijn op Twitter. Toch is het platform, waar voornamelijk mannelijke techwerkers werken, vooralsnog niet ingegaan op verzoeken om inhoudsmoderatie toe te passen.

Vrouwen zouden niet in de bedrijfscultuur passen

Een argument dat techbedrijven vaak geven voor de ongelijke man-vrouw-verdeling in hun bedrijf is dat ze geen geschikte vrouwen kunnen vinden. Er zijn inderdaad meer mannen dan vrouwen met een technische opleiding, maar dat verklaart niet volledig de ondervertegenwoordiging van vrouwen. Uit onderzoek blijkt dat de cultuur bij veel techbedrijven vrouwonvriendelijk is.

Sara Wachter-Boettcher beschrijft in haar boek Technically wrong meerdere gevallen waarbij vrouwen met uitstekende technische kwaliteiten zijn afgewezen ‘omdat ze niet in de bedrijfscultuur passen’. Zo geeft ze het voorbeeld van een vrouw die is afgewezen met de reden dat ze niet past binnen het bedrijf omdat ze niet van bierdrinken en pingpong houdt.

Er is actie nodig op meerdere vlakken

Om de systematische vooringenomenheid van data en algoritmes te veranderen is actie nodig op meerdere vlakken. Ten eerste moeten kennishiaten worden gevuld door meer data te verzamelen over de lichamen en leefpatronen van vrouwen.

Ten tweede moet er bij het ontwikkelen van algoritmes rekening worden gehouden met het feit dat historische data vooringenomen zijn en dat, om deze patronen te doorbreken, correcties moeten worden toegepast. Ten derde moet de techcultuur toegankelijker worden gemaakt voor vrouwen en (andere) minderheidsgroepen, zodat technologie wordt ontwikkeld door teams met grotere diversiteit.

Deze veranderingen zullen leiden tot een gelijkwaardigere wereld, een betere benutting van intellectueel potentieel en meer creativiteit. Dat is niet alleen in het voordeel van vrouwen, maar van de volledige wereldbevolking.

Maaike Harbers is lector Artificial Intelligence & Society aan de Hogeschool Rotterdam.

 

Noot:

[1] Amazon heeft het algoritme direct buiten werking gesteld toen duidelijk werd dat vrouwen hierdoor benadeeld werden.

 

Foto: Darrell Miller (Flickr Creative Commons)