Technologische ontwikkelingen, waaronder in het bijzonder Artificial Intelligence (AI), zullen in de nabije toekomst ongelooflijke vooruitgang bieden voor de hele samenleving. Desalniettemin roept de introductie en implementatie van AI in ons dagelijks leven vele verschillende vragen en zorgen op en binnen deze context is er dan ook aanzienlijke ruimte voor verbetering, waaronder ook op het gebied van diversiteit. De afgelopen jaren zijn er in het kader hiervan met name zorgen geuit over zogeheten Automated Gender Recognition Systems (AGRS), AI-systemen die iemands gender (en seksuele geaardheid) voorspellen. Deze AI-systemen worden als fundamenteel gebrekkig ervaren omdat zij slechts tussen twee categorieën onderscheid kunnen maken - mannelijk en vrouwelijk - en ten gevolge hiervan diegenen die niet binnen deze binaire categorieën passen, buitensluiten. Juridisch gezien heeft dit alles velen ertoe aangezet zich af te vragen hoe deze systemen zich het best voor diversiteit kunnen verantwoorden en of dat überhaupt mogelijk is?  

Algoritmes bepalen ons gender
Vandaag de dag maken organisaties over de hele wereld gebruik van zogeheten ‘inferentiële data-analysemethoden’ om gebruikerskenmerken en voorkeuren van individuen op een zeer nauwkeurige wijze te achterhalen en voorspellen, waaronder ook gevoelige kenmerken zoals geslacht en seksuele geaardheid. Hoewel de meeste mensen waarschijnlijk nog nooit van geautomatiseerde gender-herkenning hebben gehoord, is het tegenwoordig desalniettemin een opmerkelijk gebruikelijke praktijk. Zo hebben top technologiebedrijven al grootschalig geïnvesteerd in technologie die foto's van gezichten kan voorzien van binaire labels zoals 'mannelijk' en 'vrouwelijk', maar ook van vele andere persoonlijke kenmerken.[1] Geautomatiseerde gender-herkenning vindt zijn oorsprong is academisch onderzoek dat aan het eind van de jaren tachtig werd verricht en werd in eerste instantie omgeven door een bijzonder dystopische visie op de toekomst die het creëerde.[2] Hoewel erg complex van aard en geavanceerd in hun werking, bevatten deze AGRS dan ook een fundamentele tekortkoming: de manier waarop zij naar gender kijken, komt niet altijd overeen met de manier waarop een mens dit concept bevat. AGRS berusten over het algemeen op een beperkt en achterhaald begrip van gender, ten gevolge waarvan degenen die niet gemakkelijk binnen het door AGRS gecreëerde begrippenkader passen - zoals dat voornamelijk bij trans- en niet-binaire individuen het geval is - het risico lopen een verkeerd gender toegewezen te krijgen.[3] Het probleem hier is dus niet zozeer dat deze systemen simpelweg het bestaan van verschillende gender-groepen negeren, ze kunnen deze verschillende groepen vaak überhaupt niet herkennen.  

De maatschappelijke en juridische implicaties van geautomatiseerde gender-herkenning
De implicaties en diepgeworteldheid van gender- en diversiteitsoverwegingen in de praktijk worden tot op de dag van vandaag grotendeels genegeerd bij de ontwikkeling van algoritmen. Zo botsen AGRS bijvoorbeeld met het idee dat gender subjectief en intern is, wat vaak leidt tot een misrepresentatie van de feiten en dit kan uitkomsten hebben die nadelig kunnen uitpakken, voornamelijk voor minderheden binnen de samenleving. Vragen omtrent de gevolgen hiervan worden over het algemeen bijzonder slecht begrepen en vaak onderschat, en hoewel wetenschappelijk onderzoek steeds vaker rekening houdt met concepten als ‘geslacht’ en ‘gender’ omdat het betere wetenschap zou moeten opleveren,[4] benadrukt onderzoek op het gebied van queer media onderzoek dat ‘geslacht’, ‘gender’ en ‘seksualiteit’ vaak op overlappende manieren worden gebruikt door zowel leken alsook experts.[5] Zo wordt vanuit computer wetenschappelijk perspectief meestal het concept ‘geslacht’ als uitgangspunt genomen bij de ontwikkeling van AGRS, zonder daarbij rekening te houden met de binaire aard van dit concept en zonder andere relevante concepten in overweging te nemen. Ten gevolge hiervan worden AGRS getraind aan de hand van data die gender-stereotype kenmerken bevatten (denk bijvoorbeeld aan lichaamsbewegingen, fysiologische en gedragskenmerken, gelaat strekkingen en taalgebruik). Zo worden vrouwelijke namen bijvoorbeeld eerder geassocieerd met familie dan met carrière, met kunst meer dan met wiskunde en wetenschap. Ook zijn er onderzoekers die melden dat het werkwoord 'koken' sterk bevooroordeeld blijkt te zijn ten opzichte van vrouwen.6 Dit leidt er enkel toe dat bestaande gendervooroordelen worden versterkt en dit kan op de lange termijn tot discriminatie en buitensluiting van bepaalde bevolkingsgroepen leiden, hetgeen grondwettelijk en op basis van internationale (mensenrechten)verdragen verboden is.  

Neem bijvoorbeeld Giggle, de sociale media app die alleen voor meisjes toegankelijk is. Om af te dwingen dat enkel meisjes daadwerkelijk toegang tot de app krijgen, eist het bedrijf dat gebruikers een selfie uploaden om zich te kunnen registreren, waarna Giggle gezichtsherkenningstechnologie van derden gebruikt om - zo beweert het bedrijf - met een zekere mate van precisie de waarschijnlijkheid te bepalen dat het betreffende individu van het vrouwelijke geslacht is. Hoe het ook zij, talloze onderzoeken en audits hebben aangetoond dat gezichtsherkenning op basis van geautomatiseerde gender-herkenning voor veel mensen niet accuraat is, met als gevolg dat het bedrijf het risico loopt een deel van haar doelgroep zonder rechtvaardiging buiten te sluiten.[7]

In dit verband benadrukt dr. Eduard Fosch-Villaronga – universitair docent aan het eLaw Centre for Law and Digital Technologies aan de Universiteit Leiden – dat het wereldwijde landschap van ethische richtlijnen voor AI geen adequate handvatten biedt om de potentiële implicaties van ontbrekende gender- en inclusiviteitsoverwegingen in de ontwikkeling van algoritmes te verzachten.[3] Daarnaast stelt hij dat hoewel verschillende gemeenschappen zich weliswaar richten op het belang van diversiteit en inclusiviteit in de ontwikkeling van AI-technologieën,  onderzoek hiernaar nog steeds erg verspreid is en slechts beperkt is gebleven ten opzichte van onderzoek op het gebied van veiligheid en gegevensbescherming.[3] Bovendien blijft het vooralsnog onduidelijk hoe dergelijk onderzoek überhaupt het juridische landschap beïnvloed. Een voorbeeld hiervan is te vinden in het recente Europese wetsontwerp over de regulering van AI in Europa.[8] Hoewel het voorstel erop gericht is bescherming te bieden tegen risicovolle en schadelijke AI-systemen, zoals gezichtsherkenningssystemen, bevat het wetsontwerp geen verbod op systemen die gender, seksualiteit, ras of handicap pogen te achterhalen en voorspellen.  

Het is precies om deze reden dat Daniel Leufer, een beleidsanalist bij Access Now, een non-profitorganisatie gericht op het verdedigen en uitbreiden van digitale burgerrechten, heeft benadrukt dat geautomatiseerde gender-herkenning onverenigbaar is met de mensenrechten waar binnen de EU zoveel waarde aan wordt gehecht. Access Now heeft daarom, samen met meer dan 60 andere NGO's, een brief gestuurd naar de Europese Commissie met het verzoek deze technologie te verbieden.[7] De campagne, die wordt ondersteund door de internationale LHBT+ belangengroep All Out, komt op het moment dat de EU nieuwe EU-brede regelgeving voor AI overweegt. Volgens Leufer betekent dit dat er juist nu een uniek moment is waarop we onze stem kunnen horen en hij neemt dan ook zeker de gelegenheid om daar gebruik van te maken.[9]

Is een algeheel verbod de beste oplossing?
De vraag die resteert is of een algeheel verbod op AGRS wel daadwerkelijk de beste oplossing is? Hoewel verschillende onderzoekers werken aan oplossingen om de door AGRS veroorzaakte problematiek tegen te gaan, zien zij nog altijd het meest fundamentele aspect van gender over het hoofd: dat gender subjectief is en niet in een objectieve vorm kan worden vastgesteld. Zoals Johnston in zijn werk stelt : “modern problems cannot be reduced to mere engineering solutions over the long term; human goals are diverse and constantly changing.” Vanuit het perspectief van beleidsvorming is het van belang dat we goed nadenken over de risico’s die door geautomatiseerde gender-herkenning in het leven worden geroepen. Tegelijkertijd is het - zoals dr. Eduard Fosch-Villaronga benadrukt - ook van uiterst belang dat wij onszelf afvragen of we überhaupt wel willen leven in een samenleving die wordt geleid door algoritmen die in het voordeel werken van de overgrote meerderheid van de bevolking, maar tegelijkertijd het risico lopen om bepaalde groepering binnen precies diezelfde bevolking buiten te sluiten.[3]      

Om weer terug te komen op hetgeen waarmee dit stuk van start ging, AI biedt veel potentieel in het kader van de verdere positieve ontwikkeling van onze samenleving. We moeten de toekomst om deze reden dan ook niet met een dystopische visie tegemoet gaan, maar juist goed nadenken over de prioriteiten die de mensheid het beste dienen en dit als het nieuwe basisuitgangspunt nemen bij de ontwikkeling van nieuwe technologieën.  


1. R. Metz, ‘AI software defines people as male or female. That's a problem’, CNN 21 november 2019.
2. O. Keyes, ‘The Body Instrumental’, Logic 7 december 2018.
3. H.G. Drukarch, 'The Impact Of Automated Gender Recognition Systems W/ Eduard Fosch-Villaronga' (podcast), The Law Of Tech februari 2021.
4. K.A. McLemore, 'Experiences with misgendering: Identity misclassification of transgender spectrum individuals', Self and Identity (14) 2014, afl. 1, p. 51-74.
5. E. Fosch-Villaronga, A. Poulsen, R.A. Søraa & B.H.M. Custers, 'A little bird told me your gender: Gender inferences in social media', Information Processing & Management (58) 2021, afl. 3, 102541.
6. J. Zhao, T. Wang, M. Yatskar, V. Ordonez, & K.W. Chang, 'Men also like shopping: Reducing gender bias amplification using corpus-level constraints', arXiv preprint arXiv:1707.09457.
7. D. Leufer, ‘Computers are binary, people are not: how AI systems undermine LGBTQ identity’, Access Now 6 april 2021.
8. Europese Commissie, ‘Voorstel
voor een Verordening van het Europees Parlement en de Raad tot vaststelling van geharmoniseerde regels betreffende artificiële intelligentie (wet op de artificiële intelligentie) en tot wijziging van bepaalde wetgevingshandelingen van de Unie’, COM(2021) 206 final.
9. J. Vincent, ‘Automatic gender recognition tech is dangerous, say campaigners” it’s time to ban it’, The Verge 14 april 2021.