De valse magie van algoritmes

We staan in een druk toeristenstraatje vlak bij de Dam in Amsterdam. Wiskundige, voormalig hedgefondsmedewerker en tech-kritische schrijver Cathy O’Neil poseert serieus en wat terughoudend voor de fotograaf. Als mensen hun pas inhouden om niet door de foto te lopen, gebaart ze hen door te lopen. Het is duidelijk. O’Neil houdt niet van aandacht. Maar ze heeft een boodschap. En ze voelt dat ze die moet verkondigen: de computersystemen die een steeds grotere rol spelen in de samenleving zijn niet zonder risico. Daarom is ze vandaag, 12 juni, in Amsterdam. Om over dat gevaar een lezing te houden, bij de uitreiking van de Nederlandse Data Science Prijzen.

Na een paar jaar op Wall Street liet O’Neil de financiële wereld gedesillusioneerd achter zich en sloot zich aan bij de protestbeweging Occupy. Ze begon een blog, waar ze zich kritisch uitlaat over computersystemen. Ze schreef een boek, Weapons of Math Destruction (2016). Het gaat van algoritmes die suggesties doen voor films en muziek tot computerprogramma’s die bepalen of je een hypotheek af mag sluiten.

„I love your hair!”, roept een passerende toerist. O’Neils felblauwe haar valt op. „Ik krijg er veel complimenten over”, zegt ze. „Ik heb het vooral gedaan om meer contact te hebben met tieners, die willen alleen met je praten als je opvalt.”

Uit de drukte, met een kop koffie in een restaurant, praten we verder. O’Neil spreekt kalm en bedachtzaam.

Waarom ging u wiskunde studeren?

O’Neil glimlacht. „Priemgetallen. Dat was kunst. Wiskunde had een artistieke aantrekkingskracht op me. Het effect dat muziek van Bach kan hebben op mensen.

„Zodra je iets wiskundig bewezen hebt, kan niemand erover met je in discussie gaan, want je hebt bewijs. Bij andere vakgebieden bestaat die discussie wel. Je weet dan niet meer wie gelijk heeft. Dat trok me absoluut niet. Al op mijn dertiende had ik een bijna autistisch verlangen om dingen zeker te weten. Wiskunde geeft die zekerheid.”

Waarom stopte u als wiskundehoogleraar aan het Barnard College in New York en ging u werken bij hedgefondsbedrijf D.E. Shaw?

„De belangrijkste reden was dat ik wilde dat mijn organisatorische vermogen en ambities meer effect hadden en beloond werden. De wiskundige-afdeling van de universiteit is bijna helemaal gevuld met wiskundigen. Bijna allemaal mannen. Die zijn hun hele carrière lang beloond voor het onderzoek dat ze doen en niet voor het begeleiden van studenten, lesgeven en andere organisatorische taken. Ik had het gevoel dat er misbruik werd gemaakt van mijn vaardigheden op dat gebied. Bij de wiskundefaculteit kun je oneindig veel van dat werk doen, zonder ervoor beloond of gewaardeerd te worden. Het is onzichtbaar werk.

„Ik ging dus níet weg omdat ik in de financiële wereld wilde werken. Ik wist niet waar ik aan begon en was naïef. Ik dacht dat ik daar meer invloed kon hebben op de wereld. Maar ik vergat te kijken of die invloed ook goed was.”

U ging werken als quant, iemand die modellen maakt om financiële risico’s te analyseren. Wanneer kwam u erachter wat de impact was van dit soort werk op Wall Street?

„Bijna meteen. Ik startte juni 2007 en in augustus begonnen de problemen. Pas een jaar later drong de kredietcrisis echt door in de rest van de wereld, maar die zomer zagen we in de financiële wereld al dat het mis ging. En toen realiseerde ik me dat onze rol als quants niet per se een goede was. Sterker nog, dat wiskunde had bijgedragen aan het probleem. Want mensen vertrouwden de kredietratings, omdat er wiskunde achter zat. De impact, waar ik zo graag onderdeel van wilde zijn, bleek iets slechts.”

Hoe kan het dat wiskunde, die zekerheid biedt, tot problemen leidt?

„Die zekerheid verdwijnt als je wiskunde toepast in de echte wereld. In een sociale context zijn er geen zekerheden. Daarom moet statistiek niet blind vertrouwd worden.

„Toch vertrouwen mensen blind op wiskunde, omdat ze erdoor geïntimideerd zijn. Daar gaat het mis. Bedrijven maken misbruik van dat vertrouwen. Wiskunde wordt gebruikt als machtsvorm, algoritmes worden gepresenteerd als een soort magie. Het vertrouwen in algoritmes komt ook doordat men denkt dat computers geen intenties hebben. Dat klopt. Maar de ménsen die computers programmeren, en definiëren wat het doel van een computersysteem is, hebben wel intenties.

„Facebook probeert bijvoorbeeld het nieuwsoverzicht zo te optimaliseren dat je zo lang mogelijk op hun website blijft. Dat is het doel. Daarop selecteren ze berichten die op je nieuwsoverzicht verschijnen, niet op of ze waar zijn of niet. Dat is niet in hun belang.

Lees ook De Formule: hoe algoritmes ons dagelijks leven sturen

„Een ander probleem is dat de metingen die computers gebruiken om te leren, ingevoerd zijn door mensen. Dus de vooroordelen die mensen bewust of onbewust invoeren in de data, worden onderdeel van de computer. Stel dat je een computer wilt laten bepalen wie het meest geschikt is om de volgende president te worden. Dan kun je informatie over alle mensen die ooit een land bestuurd hebben invoeren. In die data zie je een patroon: het zijn bijna allemaal mannen. De computer zal bijna zeker een man kiezen als volgende president. Dat is niet een seksistische intentie van de computer, maar de conclusie die het algoritme trekt uit de data.

„Dat soort vooroordelen zullen altijd terug te vinden zijn in data. En de meeste mensen die werken met de algoritmes vinden die vooroordelen niet erg. Want het heeft tot nu toe altijd in hun voordeel gewerkt.”

Wat kunnen we doen tegen problemen die ontstaan door algoritmes?

„Om te beginnen moeten we proberen mensen op een gezonde en verstandige manier sceptisch te maken. Zodat mensen kritisch naar algoritmes kijken, vragen stellen en van bedrijven en overheden eisen dat ze kunnen aantonen dat de algoritmes die ze gebruiken eerlijk zijn.

„Maar niet iedereen heeft de opleiding, tijd en energie om die vragen te stellen. Daarom zouden er ook wetten moeten komen om de mensen te beschermen, door makers en gebruikers van algoritmes te verplichten om te controleren of hun systemen eerlijk zijn. Dit soort wetten zijn er nu nog niet.

„Voor de duidelijkheid: ik ben niet tegen het gebruik van algoritmes en computersystemen in de samenleving. Ze hebben ook positieve kanten en ik denk dat ze niet meer zullen verdwijnen. Google Maps is bijvoorbeeld een geweldig systeem. En dankzij programma’s die op basis van eerdere keuzes suggesties doen heb ik nieuwe muziek en films leren kennen. Die algoritmes zijn niet perfect. Ze zorgen ervoor dat je in een bubbel leeft. Maar we hoeven ze niet passief te accepteren en we hoeven ze ook niet tegen te houden. We kunnen ze aanpassen en verbeteren.”