​Onze ‘paperclip’-economie… en het gevaar van onverschilligheid

Misschien ben je bekend met het concept van de ‘paperclip maximizer’: een extreem voorbeeld van hoe het mis kan gaan met Artificiële Intelligentie (AI) wanneer je niet voldoende morele veiligheid inbedt in een systeem. Wanneer een AI wordt geprogrammeerd om zoveel mogelijk paperclips te maken, zou het er volgens dit gedachtenexperiment op uit kunnen draaien dat de AI uiteindelijk alles op aarde zal uitroeien om de verkregen massa om te bouwen tot één grote – extreem optimale en efficiënte – paperclipfabriek. Frank Lantz van de New York Tisch School of the Arts pakte de handschoen op om dit fictieve voorbeeld om te zetten in een online game, genaamd ‘Universal PaperclipsTM’. De game geeft ons de mogelijkheid te ervaren hoe het is als exponentiële groei je zo rijk maakt, dat getallen je uiteindelijk niets meer zeggen en je de keuze krijgt om ofwel je paperclipfabrieken verder te optimaliseren ofwel zo optimaal mogelijk de planeet te vernietigen. Met deze ervaring komen twee prangende vragen samen: wat is de drijfveer van de allerrijksten op aarde en op welke manier kan AI hun expansiedrang versterken?

Universal Paperclips

Universal Paperclips is een browsergame (die ook mobiel te spelen is) die eenvoudig begint met de button ‘Make Paperclip’. Het is een variant van een incrimental game. Incrementele spellen, ook wel clickerspellen genoemd, zijn videogames waarbij de speler eenvoudige acties uitvoert, zoals het herhaaldelijk klikken op een button. Als speler merk je al snel dat het handmatig ‘maken’ van een paperclip door ergens op te klikken de nodige energie kost en je in het begin nog vrij weinig oplevert. Op het moment dat je denkt ‘kunnen we dit niet automatiseren?’ verschijnt de button ‘Autoclippers’ in beeld. Na de autoclippers volgden de ‘Megaclippers’ (nog sneller, nog groter) en na nog wat extra investeringen is er uiteindelijk steeds meer dat vanzelf gaat. De game geeft je stap voor stap steeds meer mogelijkheden om je fabrieken verder te optimaliseren en/of in de tussentijd nog wat wereldproblemen oplossen (bijvoorbeeld het tegengaan van de opwarming van de aarde). Het oplossen van dit soort problemen zorgt voor een verdere groei in vertrouwen in de AI, waardoor uiteindelijk ook je commerciële mogelijkheden weer groter worden.

Na het overnemen van je belangrijkste concurrent en een uiteindelijke werelddominantie op de paperclipmarkt merk je dat je niet alleen paperclips produceert maar ook keiharde valuta, die je kunt investeren op de beurs. Door de exponentiele groei aldaar kun je je paperclips en dollars al snel niet meer tellen: het zijn zoveel nullen geworden dat je gevoel voor getallen een beetje verwatert. Dat is het moment dat de game je introduceert met termen als sextillion, quadrillion en nonillion en met ‘Strategic Modeling’, een game-in-game die automatisch een vakje kiest uit vier opties op basis van een door jouw gekozen (en aangekochte) strategie. Je wordt weer rijker en rijker, maar nu in Yomi (een totaal willekeurig begrip). Kortom: door maar op knopjes te blijven drukken en in eenheden te handelen waarvan je de oorsprong niet eens meer van kent, word je dusdanig rijk dat je geen idee meer hebt wat dingen waard zijn: een spottende metafoor voor de moderne beurshandelaar.

Quantum Computing

Je kunt de opbrengsten van je paperclipimperium overigens ook investeren in Quantum Computing: dit is binnen de game vooral heel kostbaar en levert eigenlijk niet echt iets tastbaars op, behalve wat bewegende zwarte en witte (soms grijze) blokjes en een volstrekt willekeurige Ops-uitslag van -14 of 856. Ook dit lijkt een metafoor voor iets dat weliswaar veel potentie lijkt te hebben, maar dat we in de kern eigenlijk nog niet helemaal kunnen bevatten.

Uiteindelijk beland je in fase drie van het spel waarin je ‘HypnoDrones’ kunt lanceren die alle mensen op aarde uiteindelijk zullen doden en om zullen zetten in nog meer massa voor nóg meer paperclips. Als laatste stap voer je nog wat gevechten in de ruimte, waarna je ook daar glorieus de overwinning zult claimen door de juiste categorieën aan te klikken in het ‘Von Neumann Probe Design’, een wiskundig model om ruimteschepen te klonen en ook daar weer aan te sturen op exponentiële groei.

Het fascinerende aan de game is niet alleen dat je steeds in nieuwe werelden terecht komt, maar ook dat je niet altijd even exact lijkt te weten wat je aan het doen bent en wat de invloed daarvan is (terwijl je desondanks toch schandalig rijk aan het worden bent). Alles wat we in de huidige economie zien, ervaar je in deze game aan den lijve: de perverse prikkels om de prijs van je paperclips extreem te verlagen of verhogen (soms zelfs onafhankelijk van de vraag uit de markt). Je voelt het onderscheid tussen de have’s (jij met je paperclipjesfabriek) en de have-not’s (je medeaardbewoners die uiteindelijk glorieloos het onderspit zullen delven), je gaat nadenken over de rol van ondernemers in markten die eigenlijk niet echt een markt zijn (de huidige woningmarkt bijvoorbeeld) en ineens superrijk worden (hoe ethisch is het om huizen aan de markt te onttrekken om ze vervolgens voor een meerprijs te verhuren? En hoeveel paperclips hebben we eigenlijk nog nodig in een digitale wereld?). Maar ook over de steeds groter wordende kloof tussen arm en rijk en wat rijkdom nu eigenlijk is: 424.7 quintiljoen paperclips ten koste van een compleet verwoeste aarde?

Vervreemdend is het feit dat waar je in het begin nog blij lijkt te zijn met de steeds groter wordende aantallen, de exploratieve groei van de getallen je uiteindelijk juist compleet onverschillig maakt. Dit gebeurt al zodra je het aantal nullen niet meer kunt tellen en je moet gaan Googelen naar de namen van grote getallen, die zo abstract zijn dat je ze, omwille van de grootte, haast niet meer in verhouding tot elkaar kunt zien. Op het moment dat je bezit zó groot is, maakt een miljoentje winst of verlies ook niets meer uit. En kun je je gekke dingen gaan veroorloven, zoals uiterst risicovol beleggen. Of net als Jeff Bezos, Elon Musk en enkele andere superrijken van onze wereld, je eigen raket (of Tesla) de ruimte in gaan sturen. Of zoals Martin Shkreli, de prijs van een medicijn tegen longontsteking bij mensen met een verminderde afweer ineens ver-tigvoudigen (van 13,50 naar 750 dollar per pil). Omdat je die macht hebt. Omdat het kan. En omdat er niemand is die je tegenhoudt. En passant geef je via een zelf opgerichte stichting ter compensatie wel nog wat miljoenen weg aan goede doelen.

Technologie

De game klinkt als één grote grap, maar kan ook als bittere ernst gezien worden. Het is de conceptualisering van twee grote maatschappelijke vraagstukken: de ongelijke verdeling van welvaart en macht en de versterkende werking van technologie hierin. Het is niet makkelijk om de beweegredenen van de allerrijksten te begrijpen en ook niet om te doorgronden hoe AI hen in de kaart kan spelen. Maar op het moment dat je zelf een digitaal paperclipimperium kunt bouwen, is het makkelijker jezelf voor te stellen wat de oneindigheid van getallen met je doet: zowel financieel als technologisch. Het maakt namelijk onverschillig en je komt ook steeds verder af te staan van de realiteit. Het aan den lijve ervaren daarvan is zowel schokkend als frustrerend. Want het laatste wat we nodig hebben om een moreel acceptabele toekomst te bouwen is onverschilligheid.

Juist vanwege het feit dat de game zo extreem is, kan deze fungeren als een moral design interventietool om ons bewust te maken van hetgeen we mogelijk op het spel zetten. Managers zouden dit soort moral design tools in kunnen zetten voor hun besluitvormingsprocessen, om zo een betere impact te maken op de wereld van morgen. De game mag dan wel een extreem voorbeeld zijn, maar juist nu de miljardairs hun expansiedrift al op het verkennen van de ruimte hebben gericht, lijkt dit hét moment om ons te bezinnen op de grenzen van die expansie, voordat we straks beginnen met het verkennen van een tweede universum en alles wat we nu van waarde vinden straks opeens verdwenen is. Laten we er samen voor zorgen dat het nooit zo ver zal komen!

Dit artikel is geschreven door Jo-An Kamp en Bart Wernaart.

[Fotocredits – Wirestock © Adobe Stock]