In Brainwash Talks van Human buigen journalisten, schrijvers, wetenschappers, theatermakers en filosofen zich over de grote persoonlijke en maatschappelijke vragen van nu. Deze keer techniekfilosoof Peter-Paul Verbeek over de gevolgen van technologie die slimmer wordt dan wij en de daarbijkomende ethische vragen.


De tijd waarin we nu leven, de eerste decennia van de 21e eeuw, zal de geschiedenis ingaan als de tijd waarin we opnieuw vorm zijn gaan geven aan ons denken. De vierde revolutie noemen we het wel. Na de eerste, industriële revolutie kwam de tweede, massaproductie, en de derde, informatietechniek. En nu de vierde. Intelligentie van machines vermengt zich met intelligentie van mensen. Machines gaan dingen doen die vroeger alleen maar mensen konden. Dat zal een enorme invloed hebben op de mens en de maatschappij. In Japan spreken ze al van een nieuwe samenleving; Society 5.0, de vijfde samenleving na de vierde revolutie. Dat is nogal wat. Na de jagers en verzamelaars, de agrarische samenleving, de industriële samenleving en de informatiesamenleving komt nu de 'super smart society'. De digitale wereld waarin we leven.

Wat we aan het doen zijn, is ons denken opnieuw vormgeven. Niet alleen met teksten en ideeën, maar met machines. Intelligentie in apparaten vermengt zich met die van ons. Artsen stellen diagnoses mede geïnformeerd door expertsystemen. Een rechter velt een vonnis mede door advies van een machine. Onze zoekresultaten op internet bepalen in hoge mate hoe wij de wereld begrijpen, waar we op stemmen zelfs. Ook daar zitten algoritmes achter die ons beïnvloeden. We bouwen systemen die zelfstandig kunnen handelen. Zelfrijdende auto's die ingebouwd hebben hoe ze met lastige ethische dilemma's om moeten gaan. Het idee van een ongeluk bestaat niet als in een auto van tevoren is vastgelegd wat 'ie moet gaan doen. Het gaat om nare, ethische vragen: een auto komt de bocht om en er steekt net een ouder echtpaar over. Op de achterbank twee jonge kinderen, remmen kan niet meer. Wat moet de auto doen? Tegen de muur en de kinderen het slachtoffer laten worden, of de twee oude mensen op straat?

Wat voor ethische regels kunnen we überhaupt inbouwen in onze technologie? Dit zijn hele grote maatschappelijke vragen. Je zou kunnen zeggen dat deze nieuwe ontwikkeling zowel de meest bejubelde als de meest gevreesde technologie is van dit moment. Bejubeld omdat de verwachtingen hoog zijn: intelligentie van machines zou mensen intelligenter kunnen maken. Misschien worden dokters wel beter in diagnoses en rechters veel eerlijker. Misschien geeft het ons wel een economisch voordeel. Maar ook gevreesd, want wij zijn bang dat technologieën beter worden dan wij. Zoveel beter dat wij niet meer snappen wat die techniek doet. Hoe zou een dokter nog ingaan tegen het advies van een algoritme? Hoe zou een rechter een ander vonnis durven vellen als die niet snapt wat die technologieën allemaal doen?

Het lijkt op het Frankenstein-verhaal. We scheppen een technologie die zich tegen ons zou kunnen keren. Een techniek die op ons lijkt en ons tegelijkertijd ook bang kan maken. Interessant is dan ook dat er in het afgelopen jaar veel ethische codes zijn ontwikkeld om goed om te gaan met Artificial Intelligence. Bijna elk land, elke organisatie, heeft een code ontwikkeld om richting te geven aan ons handelen met deze technologie. Die codes gaan eigenlijk allemaal uit van een strijd tussen mens en machine en willen richting geven aan die strijd om te voorkomen dat de techniek ons gaat overheersen. In al die codes spelen een beetje dezelfde soorten vragen. Ten eerste gaat het vaak over uitlegbaarheid. Kunnen die algoritmes ons uitleggen hoe ze tot hun advies, tot hun handelen komen? Want alleen dan kunnen wij verantwoordelijkheid nemen voor de keuzes die we maken op basis van die algoritmes.

Een andere vraag is of er niet stiekem vooroordelen zitten in die algoritmes. Algoritmes worden getraind met data. Als je die data niet goed kiest, kan het algoritme keuzes maken die we niet willen. Amazon is daar een bekend voorbeeld van. Daar is een algoritme mee gaan helpen om nieuwe managers te zoeken voor het bedrijf. Dat algoritme werd getraind met de huidige generatie managers: witte mannen van middelbare leeftijd. En voor ze het wisten, werden er alleen nog maar witte mannen van middelbare leeftijd uitgekozen en werd het bedrijf wel erg eenzijdig 'bemand'. Dat moeten we voorkomen, en dat kunnen we voorkomen: door transparantie af te dwingen over de data waarmee die algoritmes worden gevoerd.

© Brainwash

Een derde lijn die je vaak ziet in ethische codes voor kunstmatige intelligentie is veiligheid en betrouwbaarheid. Een robuustheid van het systeem. We moeten erop kunnen vertrouwen dat algoritmes doen wat ze moeten doen. De Europese Unie heeft misschien wel het meest invloedrijke kader geformuleerd, dat helemaal om 'vertrouwenswaardige AI' draait. Opnieuw klinkt daarin een soort strijd door tussen mens en techniek. Kunnen we vertrouwen op die techniek? En moeten we die techniek niet zo ontwikkelen dat we ons er echt aan kunnen toevertrouwen? De EU heeft dit zelfs als een soort marketinginstrument de wereld ingebracht, vanuit de logica dat er een race gaande is in de strijd om Artificial Intelligence, met name tussen de Verenigde Staten en China. In de Verenigde Staten zijn al je data van een paar grote Big Tech bedrijven die rijk worden van jouw data. In China zijn je data van de staat, die jouw gedrag kan sturen met behulp van die data.

Maar is er een derde weg? Kan de EU een alternatieve vorm van AI ontwikkelen? De Koude Oorlog lijkt weer terug. Hoe kunnen we de derde weg tussen die twee extremen vormgeven? Op zich een mooi verhaal. Ik denk dat iedereen vindt dat we ethische richtlijnen en kaders nodig hebben om verantwoord om te gaan met AI. Tegelijkertijd is het ook een verhaal waar ik huiverig voor ben, omdat het de situatie voorstelt als een wedstrijd met winnaars en verliezers. Terwijl het gaat om het denken van de hele mensheid, en ik hoop dat iedereen daarin kan winnen.

Bovendien gaat het in dit beeld alleen maar om een strijd op het noordelijk halfrond: het zuiden van de wereld komt er niet in voor. Dat kan niet de bedoeling zijn. Maar vooral, en misschien nog fundamenteler, lijkt het kader van de EU te miskennen hoe fundamenteel de invloed van Artificial Intelligence is op ons denken. Kunstmatige intelligentie is disruptiever dan we denken. Om te begrijpen hoe ons denken wordt beïnvloed door techniek, kan het helpen om te bedenken hoe dat vroeger ging. Het schrift is een eerste voorbeeld waarbij ons denken beïnvloed werd door technologie om ons heen. Schrijven doen we nog niet zo heel lang, zo'n 3500 jaar. Ons geheugen is anders gaan functioneren door het schrift: we kunnen veel minder dingen onthouden. Maar we kunnen wel dingen opzoeken, dus het verleden praat mee. Door het schrift hebben we een ander geheugen gekregen. De boekdrukkunst is ook een technische revolutie die ons denken heeft gevormd. Kennis was opeens niet meer opgesloten achter de muren van een klooster, maar werd opeens democratisch de wereld in verspreid. De wetenschappelijke revolutie was onmogelijk geweest zonder de boekdrukkunst. Ik denk dat we op dit niveau moeten nadenken over AI. Door deze technologie gaan we de wereld op een nieuwe manier begrijpen.

En dan staat veel meer op het spel dan onze eigen autonomie. Kunnen we nog verantwoordelijkheid nemen voor de keuzes die we maken? Het gaat ook om diversiteit, over genderverhoudingen, de kwaliteit van ons onderwijs. Er staat veel op het spel. Daarom vind ik het belangrijk om niet alleen een kader te maken dat van bovenaf de AI wil beoordelen of de ethiek erin wil stoppen. Zeker niet als het kader alleen maar hangt op westerse waarden rondom het individu. Maar er moet ook een kader komen dat meer van onderop denkt.

Dat probeert te snappen wat AI eigenlijk doet met de mens, met de maatschappij. Op welke manier heeft AI invloed op de culturele diversiteit van onze samenleving? Op de manier waarop we onszelf begrijpen, onze gezondheid? De manier waarop we onderwijs willen geven, genderverhoudingen? Dan zijn er opeens veel meer waarden die een plek moeten krijgen naast autonomie, veiligheid, vertrouwen op AI. En die kán je misschien niet meenemen in je maatschappij.

Een paar voorbeelden. Culturele diversiteit hangt in hoge mate samen met de cultuur die wij online aangereikt krijgen. Spotify en Netflix geven ons advies over muziek of films die wij misschien ook leuk zouden kunnen vinden. Als die adviezen ons opsluiten in onze huidige voorkeur, schiet het niet op met onze openheid voor andere samenlevingen en kunstvormen. Als we culturele diversiteit hoog willen houden, moeten we daar iets aan doen. Als de talen die we spreken op de wereld automatisch kunnen worden vertaald, wat gebeurt er dan met de minder grote talen? Als we die waardevol vinden, moeten we een plek vinden om die een rol te kunnen blijven geven. Het zit ook op het niveau van onze interactie met systemen. Spraakassistenten bijvoorbeeld. Je kunt tegenwoordig tegen je mobieltje praten en dan krijg je antwoord. Wat voor persoonlijkheid geven we die assistenten? Hoe interacteren die met ons? Uit onderzoek blijkt dat dat vaak hele seksistische ontwerpen zijn. Vaak zijn het vrouwenstemmen, eindeloos onderdanig. Je schrikt ervan hoe er tegen ze gepraat wordt. Ze worden afgesnauwd, maar blijven vriendelijk antwoorden. Hebben de ontwerpers niet de plicht om zo'n algoritme wat assertiever te ontwerpen? Om mensen te leren dat ze niet op deze manier met anderen om moeten gaan voordat dit ook in de mensenwereld een normale interactie wordt?

Doordat we ons denken eigenlijk opnieuw aan het vormgeven zijn, zijn we dus ook onze eigen mensenwereld aan het vormgeven. De vraag is niet of die algoritmes hetzelfde kunnen als wij en of we ze wel voldoende kunnen controleren, het gaat erom wat ze met ons doen. Hoe we verantwoordelijkheid kunnen nemen in onze interactie met die algoritmes. De ethiek moet AI niet niet alleen van buitenaf willen beoordelen, maar moet ook naast de techniek gaan staan: begeleiden hoe de techniek de maatschappij ingaat. Dat kan gebeuren door allereerst te onderzoeken waar techniek invloed op uitoefent: in welke domeinen speelt techniek een rol? Waar gaan er dingen veranderen? Welke waarden vinden we belangrijk in de maatschappij? Wat staat er op het spel?

En tot slot is het zaak om te kijken wat we concreet met deze inzichten kunnen doen. We kunnen ze meenemen in het ontwerp, maar ook in de manier waarop we de techniek in de maatschappij inbedden. En we kunnen ze gebruiken om gebruikers in staat te stellen kritisch naar techniek te kijken. Zo kunnen we een soort kritisch technologisch burgerschap ontwikkelen, waarin we als het ware mondig worden ten opzichte van de techniek die we zelf ontwikkelen. Pas dan denk ik dat ik echt vertrouwen zou kunnen hebben in een toekomst met AI. En alleen zo kunnen we voorkomen dat we dezelfde fout maken als Frankenstein destijds.

Want de maker van het monster, Frankenstein zelf, schrok zo van zijn monster toen het wakker werd, dat hij wegrende. Na zijn aanvankelijke enthousiasme over het maakproces waarin hij zich een soort God voelde, liet hij het monster in zijn eentje de wereld in waggelen. Het monster sprak geen taal, en had geen idee wie het was en waar het was. Hij werd niet geholpen door zijn ontwerper om een plek te vinden in de maatschappij. En juist daardoor ging het mis. Uiteindelijk kwam hij terug naar zijn maker met één vraag. Hij zei: 'Ik heb leren leven maar ik ben eenzaam. Maak voor mij een vrouw.' En toen dacht Frankenstein opeens wel na over ethiek. Hij dacht: 'Als ik dat ga doen, komen er kinderen en ontstaat er een heel nieuwe soort. Dat moet ik niet willen.' Dus hij zei 'Nee' en pas toen keerde het monster zich tegen hem. Dan moest zijn maker ook maar eenzaam worden, vond het monster, en het maakte iedereen om Frankenstein heen dood.

Frankenstein had zijn monster moeten begeleiden in de samenleving. Die vergissing moeten wij niet maken. Alleen door kunstmatige intelligentie ethisch te begeleiden, kunnen we naar een goede samenleving 5.0 toe te werken.