Algoritmes en nieuwe digitale technologieën kunnen vooringenomenheden van mensen herhalen, verbreden en zelfs verdiepen. Daar wordt ook voor gewaarschuwd in een recent rapport van de speciaal VN-rapporteur E. Tendayi Achiume over hedendaagse vormen van racisme. In dit vierde artikel gaan we dieper in op hoe algoritmes bestaande vooroordelen en discriminatie kunnen verergeren.
Discriminatie op de arbeidsmarkt en algoritmes
In een achttal artikelen brengen we een belangrijk onderwerp in kaart, discriminatie op de arbeidsmarkt en de rol van algoritmes bij het wervingsproces. In het derde artikel in deze serie gingen we dieper in op bias in het algoritme, door bijvoorbeeld — al dan niet onbewuste — vooroordelen van de algoritmebouwer. Ook bespraken we bias in de data waarmee het zelflerende algoritme getraind wordt, want ook daar kunnen problemen ontstaan. Het rapport ‘Recruiter of computer? Zo voorkom je als werkgever discriminatie door algoritmes bij werving en selectie’ van het College van Rechten van de Mens heeft aan de basis gestaan van deze serie.
Vier risico’s op verergeren van discriminatie door het gebruik van zelflerende algoritmes
Hoewel mensen natuurlijk ook kunnen discrimineren en discriminatie uiteindelijk ‘bij mensen vandaan komt’, brengt de aard van zelflerende algoritmes vier risico’s met zich mee die discriminatie kunnen verergeren.
1. Onduidelijk en niet transparant
Het is vaak onduidelijk en niet transparant hoe algoritmes tot besluiten komen. Algoritmes zijn hiervoor nogal eens te complex. Daarnaast willen bedrijven niet altijd het algoritme openbaar maken vanwege commerciële belangen. Deze ondoorzichtigheid (ook wel de black box genoemd) van algoritmes heeft als gevolg dat sollicitanten vaak niet kunnen achterhalen waarom ze zijn afgewezen. Het is hoe dan ook vaak al lastig om discriminatoire bedoelingen te achterhalen. Door het gebruik van algoritmes zal dit nog lastiger zijn, omdat er nog een ‘extra laag’ overheen is gegaan. Ook tast de black box de effectiviteit van rechtsmiddelen aan om discriminatie aan te kaarten en zo nodig te veroordelen. Het is dus moeilijker om je recht te halen, omdat discriminatie lastiger is aan te tonen. Dit is problematisch, omdat discriminatie strafrechtelijk wel degelijk vervolgbaar is en de black box de toepassing van de gelijkebehandelings-wetgeving op algoritmes bemoeilijkt (over de mogelijkheden toch je recht te halen verderop in dit artikel meer).
Een voorbeeld, stel dat door een werkgever chauffeurs worden geselecteerd door een complex algoritme waarvan de afzonderlijke afwegingen niet meer te achterhalen zijn (een black box). En het blijkt dat opvallend veel mensen met een niet-Nederlandse afkomst worden afgewezen. De werkgever moet nu een objectieve rechtvaardiging hiervoor aandragen. Wat is het legitieme doel van het onderscheid? Is het middel passend? Is het noodzakelijk? Zonder inzicht in het algoritme zijn deze vragen vrijwel niet meer te beantwoorden. Met een simpel als-dan algoritme zou wel kunnen worden aangetoond wat de criteria waren.
2. Automation bias
Ten tweede versterken biased algoritmes discriminatie, omdat mensen onterecht denken dat juist door wiskundige berekeningen objectiviteit wordt bereikt. Computers worden vaak geassocieerd met rationaliteit en foutloosheid. Bovendien proberen mensen nogal eens hun verantwoordelijkheid te minimaliseren door deze af te schuiven op de computer. Daarbij wordt dan vergeten dat hoewel een algoritme wiskundig gezien objectief is, de gebruikte variabelen en data menselijke keuzes zijn. In de literatuur wordt het hierboven beschreven fenomeen automation bias genoemd.
Ook uit gesprekken met HR-professionals ontstaat nogal eens de indruk dat organisaties wel erg veel vertrouwen hebben in recruitmenttechnologie en zich niet altijd bewust zijn van de risico’s op discriminatie. Een recruiter zei in een interview zelfs een ‘bijna blind’ vertrouwen te hebben in selectiealgoritmes. Bovendien vindt werving en selectie vaak onder flinke tijdsdruk plaats, waardoor de neiging om blind te vertrouwen op het hulpmiddel recruitmentsoftware – en dus het risico op discriminatie – toeneemt. Juist bij werving en selectie zal het risico op automation bias dus reëel zijn.
3. Discriminatie systematiseren
Ten derde hebben algoritmes de potentie om bias – en daarmee discriminatie – te systematiseren. Hoewel mensen natuurlijk niet vrij zijn van vooroordelen, hebben ze wel keuzevrijheid en intuïtie. Intuïtie bijvoorbeeld om zich bewust te worden van vooroordelen en de keuzevrijheid deze af te leren. Echter, algoritmes kunnen bias niet zomaar afleren en biased algoritmes kunnen op grote schaal toegepast worden, waardoor discriminatie zich verspreidt. Immers, wanneer besluiten worden genomen op basis van parameters in een algoritme waarin bias voorkomt, zullen deze parameters in beginsel op alle besluiten worden toegepast.
Zo kan een algoritme dat is getraind op basis van data uit een bepaalde regio waar veel racisme voorkomt, gebruikt worden in een omgeving waar racisme minder vaak plaatsvindt. De bias die het algoritme vertoont, wordt dan eigenlijk geëxporteerd naar een andere regio.
Bovendien hebben zelflerende algoritmes met bias eerder de neiging om die bias te bevestigen en te versterken dan te ontkrachten. Zo kan een biased algoritme bijvoorbeeld mannen een hogere ranking geven bij een sollicitatie. Waarschijnlijk worden er dan ook meer mannen aangenomen. Een zelflerend algoritme dat leert van de keuzes van recruiters zal vervolgens mannen een nog hogere ranking geven, waardoor er een vicieuze cirkel ontstaat. Bovendien is het effect dat werkgevers minder in contact komen met werknemers uit minderheidsgroepen. Waardoor de werkgevers minder gelegenheid hebben om de prestaties van deze minderheidsgroepen te observeren en minder redenen hebben om te twijfelen aan het algoritme.
Nog een ander voorbeeld, platformdiensten zoals Uber en Airbnb kunnen bij de beoordelingen te maken krijgen met discriminerende input en vervolgens, als niet wordt ingegrepen, discriminatie in de hand werken. Onderzoek laat bijvoorbeeld zien dat op deze platformen mensen met een donkere huidskleur en vrouwen slechtere of minder beoordelingen krijgen dan (witte) mannen. Algoritmes die de beoordelingsdata in het zoeksysteem ongefilterd of onbewerkt verder verwerken, kunnen vervolgens discriminerende data op deze platformen versterken.
Met andere woorden: het inzetten van algoritmes kan een alternatieve realiteit creëren en vervolgens versterken.
4. Zeer veel complexe verbanden
Tot slot kunnen algoritmes, in samenhang met nieuwe technieken om data te verzamelen, zeer veel complexe verbanden leggen. Waardoor de mogelijkheden om tussen mensen te differentiëren (en dus ook te discrimineren) toenemen. Onderzoekers zijn daarom bezorgd dat algoritmes niet alleen direct of indirect onderscheid maken als het gaat om de klassieke verboden kenmerken uit het gelijkebehandelingsrecht. Maar daarnaast ook dubieus onderscheid maken op basis van andere persoonskenmerken. Persoonskenmerken die onder de huidige wetgeving – nog – niet beschermd worden. Zo zou een algoritme bijvoorbeeld onderscheid kunnen maken op basis van de sociale status van mensen of het hebben van een huisdier. Ook deze vormen van willekeurig onderscheid moeten voorkomen worden, zeker als ze niet relevant zijn voor de baan. Kortom, algoritmes kunnen om vele reden differentiëren en dus ook discrimineren.
Juridische mogelijkheden, omkering bewijslast
Sollicitanten die gediscrimineerd worden, hebben wel wat wapens in handen, ook in deze ‘algoritmetijden’. De wetgever biedt hen namelijk verlichting van de bewijslast. Om hen zo te helpen hun recht op gelijke behandeling te beschermen. Want, als iemand die meent ongelijk behandeld te zijn feiten aanvoert die verboden onderscheid doen vermoeden, dient de wederpartij te bewijzen dat niet in strijd met de wet is gehandeld. Dat er dus geen sprake was van verboden onderscheid.
De sollicitant hoeft slechts vermoeden van verboden onderscheid aan te tonen. Wel dient de sollicitant hiervoor hulpfeiten aan te dragen, die het vermoeden dat de sollicitant ongelijk wordt behandeld aannemelijk maken. Bijvoorbeeld de omstandigheid dat aanzienlijk meer mannen dan vrouwen worden aangenomen. Als dat aannemelijk maken lukt, verschuift de bewijslast naar de werkgever. Die moet dan bewijzen dat er geen sprake is van discriminatie of een rechtvaardiging aanvoeren voor het gemaakte onderscheid. De black box zal in dat geval juist tegen de werkgever werken. Want als die niet kan duidelijk maken dat de gehanteerde selectiecriteria geen verboden onderscheid maken, dan zal worden geoordeeld dat er verboden onderscheid heeft plaatsgevonden.
Voorzichtigheid en awareness zijn dus geboden bij het gebruik van algoritmes, vooral als het gaat om werving en selectie van kandidaten.
In het volgende artikel in deze reeks gaan we dieper in op het gebruik van social media bij recruitmenttechnologie.
