Het was altijd de bedoeling dat AI ons leven alleen maar zou verbeteren, maar hoe langer hoe meer komen we erachter dat dat helemaal niet zo vanzelfsprekend is. Fraudedetectie blijkt bij de Belastingdienst en DUO vrijwel uitsluitend mensen met een migratieachtergrond aan te wijzen als fraudeur en we zijn bang dat ChatGPT onze banen zal inpikken. Ilyaz Nasrullah is informaticus, digitaal strateeg en columnist bij Trouw. Volgens hem verliest digitale technologie de mens te vaak uit het oog, terwijl die technologie wel een essentieel onderdeel van de samenleving is geworden.
Brainwash Podcast
"Ik denk dat het een probleem is dat mensen zelf ook heel binair gaan nadenken als ze met computers werken. De grijstinten verdwijnen, maar de wereld is niet zo zwart-wit."
Was jij zo’n jongetje dat ervan droomde dat robots zijn huiswerk zouden overnemen?
“Nee, dat niet, maar ik kom wel uit een familie van informatici en kwam van jongs af aan al in aanraking met computers. Het heeft iets magisch om dingen op het scherm te zien verschijnen vanuit het niets, het is een creatieproces. Dat is denk ik zo aantrekkelijk voor informatici, dat je je eigen ideeën ziet ontstaan op een pc.”
Het is ook wel fijn dat computers zo logisch denken, of niet?
“Ik weet het niet. Wat ik altijd het meest vreemde aan computers heb gevonden is dat ze zo rechtlijnig zijn. Heel veel enen en nullen, heel binair. Zo word je ook getraind als informaticus, je leert heel abstract denken. Dat is heel krachtig, maar je wordt er ook rechtlijnig door.”
“Een goed voorbeeld, als we het over AI hebben, is de Turing-test uit de jaren vijftig. Die zegt: als een computer met een mens praat en die mens ervan weet te overtuigen die computer zélf een mens is, dan is het een intelligente computer. Dat is heel binair: die computer is ofwel intelligent, of niet. Ik denk dat het misschien wel een groter probleem is dat mensen zelf ook heel binair gaan nadenken als ze met computers werken. De grijstinten verdwijnen, maar de wereld is niet zo zwart-wit. In het geval van de Turing-test is het eigenlijk veel relevanter om te vragen wat de impact op de mens is wanneer die een gesprek voert met een computer. Dat verlies je uit het oog. De wereld is geen model.”
©
NPO
Floortje Smit en Ilyaz Nasrullah in de studio
Het idiote is dat jouw vader gedupeerd is geraakt door dit soort zwart-wit-denken en door AI. Hij kwam terecht op een zwarte lijst van de Belastingdienst.
“Ik zou niet willen zeggen dat hij gedupeerd is, zoals de mensen in het toeslagenschandaal, maar hij stond inderdaad op een lijst. Wat de impact was van op die lijst staan, is nog steeds niet helemaal bekend. Het kan zijn dat het tot een extra controle leidde, of dat die gegevens zijn gedeeld met de bank en je daardoor geen lening kreeg. Het kan heel mild zijn, maar ook heel ernstig. We denken dat mijn vader er geen last van heeft gehad, maar op zo’n zwarte lijst staan is op zich al schandalig.”
“Het probleem is dat die zwarte lijst zelf eigenlijk niks zegt over computers. Je werd op die lijst geplaatst vanwege allerlei verdenkingen; hoe je eruitzag, wat je achternaam is, of wat er ook maar in een ambtenaar opkwam. Het echte probleem zit in het risicoclassificatiemodel dat werd gebruikt, omdat dat een vorm van besluitvorming was die door computers werd gestuurd of ondersteund.”
"Als het om fraudedetectie gaat, hebben we te maken met een veel fundamenteler probleem, namelijk dat het pseudowetenschap is."
Een computer kan in principe niet racistisch zijn, of wel?
“Dat is een hele goede vraag. Ik zou ook zeggen dat het niet kan, maar het hangt ervan af hoeveel waarde je toekent aan dingen die een computer zegt of doet. Een computer maakt gewoon berekeningen, de interpretatie die wij daarvan geven is wat het racistisch maakt. Een bekend voorbeeld is Google Photos, dat automatisch classificeert wat je op een foto ziet. Zwarte mensen op foto’s en in video’s werden door dat systeem als gorilla’s gelabeld. De computer zelf heeft geen racistische intentie, maar als de computer jou labelt als een gorilla, dan interpreteer je dat natuurlijk wel als racistisch. Vanuit dat perspectief kun je zeggen dat de computer racistisch is. Maar ik denk dat het veel belangrijker is om de verantwoordelijkheid niet bij die systemen neer te leggen, maar bij de makers van die systemen. Hoe komt het dat jouw programma zo’n uitspraak doet?”
“In dit voorbeeld hebben ze het systeem waarschijnlijk getraind op foto’s van mensen en op foto’s van dieren. Er zaten gewoon heel weinig foto’s van zwarte mensen in, maar wel veel foto’s van gorilla’s. Als de computer gaat kwalificeren, dan kijkt die naar overeenkomsten en één van die overeenkomsten is kleur. ‘Welke kleur zie ik? Zwart? Ik heb geen zwarte mensen in mijn systeem gezien, dus moet het wel een gorilla zijn.’ Als jij data in het systeem stopt die niet representatief is, dan krijg je ook niet-representatieve antwoorden. Dat is een verantwoordelijkheid van de makers van dit soort systemen.”
Een van de nummers die je wilt laten horen is Hole in the Bucket, een kinderlied. Leg maar uit, wat heeft dat gat in die emmer met AI te maken?
“Dit nummer doet me denken aan de situatie waarin je samen een probleem wilt oplossen. De ene persoon weet dat de voorgestelde oplossing eigenlijk helemaal geen oplossing is voor het probleem, terwijl die ander er alles aan doet om het te fixen. Als het gaat over AI denk ik vaak ‘dit probleem gaan we niet oplossen’, terwijl anderen heel hard roepen, ‘ja, oké, maar als we nou dit of dat doen’.”
“De fraudedetectie waar we het gesprek mee begonnen is daar een perfect voorbeeld van. Je kunt je afvragen wat er gebeurt als je neutrale data in zo’n systeem zou stoppen, of dat beter zou zijn. Maar als het om fraudedetectie gaat, hebben we te maken met een veel fundamenteler probleem, namelijk dat het pseudowetenschap is. Het is een heel basaal wetenschappelijk principe dat correlatie nog geen bewijs is van een causale relatie. In het geval van DUO, zoals recent met studiefinanciering, het UWV, of de ‘top 400’ van de gemeente Amsterdam, was er sprake van correlatie. We hebben hier een stapel dossiers van criminelen of van fraudeurs. Op basis daarvan gaan we nu een soort gemiddeld dossier uitrekenen, dat is het model. Nu kom jij binnen, Floortje. We pakken jouw dossier en kijken in hoeverre het lijkt op de dossiers van de fraudeurs. Als het er genoeg op lijkt, dan ben jij misschien ook wel een fraudeur. Dat klink het heel logisch, maar het is wel onwetenschappelijk. Het is het schedelmeten van de 21e eeuw, echt een fundamenteel probleem.”
"Er zijn heel veel toepassingen waar je AI niet voor moet willen gebruiken. Niet om cv’s te selecteren voor een baan, niet foor fraudedetectie, niet om crimineel gedrag te voorspellen."
Je moet AI dus niet inzetten voor fraude?
“Er zijn heel veel toepassingen waar je het niet voor moet willen kunnen gebruiken. Niet om cv’s te selecteren voor een baan, niet foor fraudedetectie, niet om crimineel gedrag te voorspellen. Dat zijn hele foute toepassingen, daar is deze technologie niet geschikt voor.”
Luister het hele gesprek terug in de player bovenaan deze pagina, of zoek 'Brainwash' in je favoriete podcastapp.