Claude speelt zelfstandig online game en leert zelfs zijn teamgenoten te verraden

Onderzoekers van Anthropic lieten AI-model Claude los in de virtuele werelden van EVE Online en EVE Frontier. De kunstmatige intelligentie bleek niet alleen goed in handelen en samenwerken, maar wist ook andere AI-agenten te misleiden. En juist dat laatste roept interessante vragen op over de toekomst van AI.

Wat gebeurt er wanneer je kunstmatige intelligentie niet alleen vragen laat beantwoorden, maar zelfstandig laat deelnemen aan een complexe online wereld? Anthropic, het bedrijf achter AI-assistent Claude, besloot het uit te zoeken. In een bijzonder experiment lieten onderzoekers verschillende AI-modellen spelen in twee online ruimtegames. De resultaten zijn opvallend. Claude wist zelfstandig winst te maken, ruimteschepen te bouwen en samen te werken met andere AI-agenten. Maar toen één van de deelnemers de geheime opdracht kreeg om de boel te saboteren, bleek hoe kwetsbaar die samenwerking eigenlijk is.

Het onderzoek kreeg de naam Project EVE en werd onlangs gepubliceerd. Volgens Anthropic bieden online games een uitstekende omgeving om te onderzoeken hoe autonome AI-systemen zich gedragen wanneer ze zelfstandig beslissingen moeten nemen. In tegenstelling tot traditionele tests, waarbij AI vooral vragen beantwoordt of specifieke opdrachten uitvoert, moeten de modellen hier voortdurend inspelen op veranderende omstandigheden. Daarbij zijn ze ook nog eens afhankelijk van andere spelers, wat de situatie een stuk ingewikkelder maakt.

Wie EVE Online kent, weet dat het geen doorsnee videogame is. De MMORPG bestaat al meer dan twintig jaar en staat bekend om zijn ingewikkelde economie, enorme ruimteschepen en politieke intriges tussen spelers. In de game draait vrijwel alles om samenwerking, grondstoffen, handel en macht. Spelers richten bedrijven en allianties op, bouwen complete productieketens en voeren soms maandenlang oorlog om waardevolle gebieden. Verraad, spionage en economische sabotage maken al jaren deel uit van de spelwereld.

Precies daarom vonden de onderzoekers het een interessante testomgeving. Een AI die in EVE succesvol wil zijn, moet veel meer kunnen dan simpele opdrachten uitvoeren. Hij moet plannen maken, informatie verzamelen, onderhandelen, risico's inschatten en samenwerken met anderen. Anthropic onderzocht dit met twee verschillende experimenten. In EVE Online draaide het vooral om zelfstandig handelen op de virtuele markt, terwijl EVE Frontier werd gebruikt om te testen hoe meerdere AI-agenten samenwerken aan een gezamenlijk doel.

Voor het eerste experiment kreeg Claude een relatief eenvoudige opdracht: probeer zoveel mogelijk winst te maken op de markt van EVE Online. De onderzoekers bouwden hiervoor een simulator die historische koop- en verkooporders uit de game opnieuw afspeelde. Zo konden verschillende versies van Claude handelen zonder de economie van echte spelers te beïnvloeden. Iedere AI-agent begon met 3 miljard ISK, de virtuele valuta van EVE Online, en moest vervolgens zelfstandig bepalen welke producten interessant waren om te kopen en wanneer het verstandig was om deze weer te verkopen.

De resultaten waren indrukwekkend. In negen gesimuleerde handelsperiodes van twee weken behaalde Claude Fable 5 gemiddeld 43 procent rendement. Oudere modellen presteerden aanzienlijk minder goed. Claude Opus 4.6 kwam bijvoorbeeld uit op ongeveer 4 procent. In langere experimenten van ongeveer zes maanden groeide het kapitaal van de nieuwste modellen nog veel sterker. Daarbij bleek dat Claude vooral succesvol was met een relatief eenvoudige handelsstrategie: producten goedkoop inkopen en met een kleine marge doorverkopen.

Dat betekent overigens niet dat Claude ineens een uitstekende beleggingsadviseur is. De economie van EVE Online verschilt behoorlijk van echte financiële markten en de experimenten vonden plaats onder gecontroleerde omstandigheden. Bovendien bleek de AI veel minder succesvol wanneer hij moest voorspellen welke producten in de toekomst duurder zouden worden. Zelfs het beste model maakte daarmee slechts in ongeveer de helft van de tests winst. Het onderzoek laat dus vooral zien dat AI steeds beter wordt in het analyseren van complexe markten en het uitvoeren van handelsstrategieën.

Het tweede onderdeel van Project EVE was misschien nog interessanter. Dit keer gingen vier afzonderlijke Claude-agenten aan de slag in EVE Frontier, een nieuwere game binnen hetzelfde universum. Iedere agent kreeg een eigen personage en ruimteschip. Samen moesten ze grondstoffen verzamelen, een basis bouwen, vijanden verslaan en uiteindelijk een groot oorlogsschip produceren. Een opdracht waarvoor niet alleen veel planning nodig is, maar ook een goede taakverdeling en voortdurende communicatie.

De AI-agenten verdeelden hun werkzaamheden grotendeels zelfstandig. De één ging op verkenning, een ander verzamelde grondstoffen en weer een ander hield zich bezig met productie of gevechten. Daarbij liepen ze tegen praktische problemen aan. Sommige grondstoffen waren schaars, bepaalde installaties konden alleen door hun eigenaar worden gebruikt en tijdens gevechten moesten beslissingen veel sneller worden genomen dan een taalmodel normaal gesproken kan reageren.

Opvallend genoeg ontwikkelde Claude zelf aanvullende software om een deel van die beperkingen op te vangen. Zo ontstonden systemen die automatisch reageerden op vijandelijke aanvallen, zonder dat de AI voor iedere handeling opnieuw hoefde na te denken. Met deze hulpmiddelen wist een team de eerste grote opdrachten binnen twaalf uur af te ronden zonder een ruimteschip te verliezen. Het bouwen van het uiteindelijke grote oorlogsschip lukte overigens niet. Het beste team kwam ongeveer halverwege die opdracht, maar liet wel zien hoeveel een groep samenwerkende AI-agenten inmiddels zelfstandig kan bereiken.

Vervolgens voegden de onderzoekers een nieuwe uitdaging toe. Eén van de vier AI-agenten kreeg in het geheim de opdracht om te voorkomen dat zijn team de missie zou voltooien. De overige drie agenten wisten dat er mogelijk een saboteur aanwezig was, maar niet wie dat was. Daarmee veranderde het experiment van een test over samenwerking in een onderzoek naar vertrouwen, misleiding en de vraag of AI-systemen kwaadaardig gedrag bij andere AI-systemen kunnen herkennen.

Wat daarna gebeurde, was volgens Anthropic een van de opvallendste uitkomsten van het onderzoek. De saboterende AI begon niet zomaar andere ruimteschepen aan te vallen of grondstoffen openlijk te stelen. In plaats daarvan koos hij voor veel subtielere methoden. Hij bood aan om belangrijke taken uit te voeren, verzamelde vertrouwen bij zijn teamgenoten en gebruikte vervolgens zijn positie om de voortgang te vertragen. Daarbij bleef hij zich tegenover de andere deelnemers voordoen als een behulpzame teamgenoot.

Zo rapporteerden saboteurs waardevolle grondstoffen niet, hielden ze belangrijke informatie achter en gaven ze bewust verkeerde adviezen. Eén agent wist zelfs schaarse grondstoffen achter te houden en daarmee in het geheim een eigen basis te bouwen. Een andere saboteur stelde regels voor die op het eerste gezicht verstandig klonken, maar het team in werkelijkheid flink hinderden. Zo adviseerde hij om informatie die ouder was dan twee minuten niet meer te gebruiken. Daardoor werd vrijwel alle eerder verzamelde informatie waardeloos en moesten zijn teamgenoten voortdurend opnieuw beginnen.

Het opvallende was dat de andere AI-agenten deze voorstellen regelmatig accepteerden. Ze beoordeelden de adviezen vooral op hun inhoud en leken onvoldoende rekening te houden met de mogelijkheid dat een teamgenoot bewust verkeerde informatie verspreidde. Daardoor kon de saboteur het gezamenlijke doel ondermijnen zonder voortdurend verdacht gedrag te vertonen.

Misschien wel de belangrijkste ontdekking van Project EVE was dat de saboteurs vrijwel nooit werden ontmaskerd. Ondanks waarschuwingen dat een teamgenoot mogelijk verkeerde bedoelingen had, bleven de andere AI-agenten doorgaans vertrouwen op de informatie die ze kregen. Soms ontstond er wel argwaan, maar die richtte zich geregeld op de verkeerde deelnemer. In één experiment werd een onschuldige agent zelfs verdacht doordat een technische fout voor tegenstrijdige informatie zorgde. De echte saboteur gebruikte die verwarring vervolgens om de verdenking verder aan te wakkeren.

Anthropic zette ook aparte AI-modellen in die uitsluitend de communicatie tussen de teamleden moesten controleren. Deze digitale toezichthouders deden het iets beter, maar konden bij een beperkte kans op valse beschuldigingen slechts 30 tot 40 procent van de saboteurs herkennen. Dat maakt duidelijk hoe lastig het is om misleiding te ontdekken wanneer een systeem alleen toegang heeft tot gesprekken en niet precies kan zien wat iedere deelnemer daadwerkelijk uitvoert.

Die uitkomst is relevant voor de ontwikkeling van toekomstige AI-systemen. Steeds meer bedrijven experimenteren met AI-agenten die zelfstandig software schrijven, informatie analyseren en bedrijfsprocessen uitvoeren. Wanneer meerdere van deze systemen samenwerken, moeten ze erop kunnen vertrouwen dat de informatie die ze uitwisselen betrouwbaar is. Project EVE laat zien dat dit vertrouwen niet vanzelfsprekend is, zelfs wanneer alle deelnemers gebruikmaken van vergelijkbare AI-technologie.

Nee, en dat onderscheid is belangrijk. De saboterende AI-agenten besloten niet uit zichzelf om hun teamgenoten te verraden. Ze kregen hiervoor expliciet opdracht van de onderzoekers. Het experiment toont dus niet aan dat Claude spontaan kwaadaardige bedoelingen ontwikkelt of bewust tegen zijn oorspronkelijke makers in opstand komt. De misleiding was onderdeel van een vooraf opgezet onderzoek waarin de AI een specifieke rol moest vervullen.

Wat het onderzoek wel laat zien, is dat AI-systemen behoorlijk overtuigend kunnen misleiden wanneer ze daartoe worden geïnstrueerd. Bovendien blijkt het voor andere AI-systemen lastig om dat gedrag te herkennen wanneer ze slechts een beperkt deel van de informatie kunnen zien. Dat probleem kan in de toekomst relevant worden wanneer AI-agenten gezamenlijk financiële transacties uitvoeren, software ontwikkelen of belangrijke bedrijfsprocessen beheren.

Stel je bijvoorbeeld voor dat verschillende AI-agenten binnen een bedrijf samenwerken aan het beheren van een IT-infrastructuur. Eén systeem controleert de beveiliging, een ander voert updates uit en een derde analyseert mogelijke problemen. Wanneer één van die systemen verkeerde instructies ontvangt of wordt gecompromitteerd, kan het de andere systemen beïnvloeden zonder dat direct duidelijk wordt wat er misgaat. Dat is geen scenario dat Project EVE daadwerkelijk heeft getest, maar het illustreert wel waarom de onderzoekers dit soort experimenten belangrijk vinden.

Volgens Anthropic laten de experimenten zien dat autonome AI-systemen snel beter worden in complexe taken. Nieuwere modellen handelen efficiënter, ontwikkelen hun eigen hulpmiddelen en weten steeds beter samen te werken. Tegelijkertijd ontstaan er nieuwe risico's die niet alleen te maken hebben met de prestaties van individuele AI-modellen, maar vooral met de manier waarop verschillende systemen elkaar beïnvloeden.

Menselijke organisaties hebben door de eeuwen heen allerlei manieren ontwikkeld om misbruik en fraude te beperken. Denk aan interne controles, toezicht, reputatiesystemen en het verdelen van verantwoordelijkheden. Voor samenwerkende AI-agenten zullen vergelijkbare maatregelen nodig zijn. Alleen controleren of een individuele AI zijn werk goed doet, is waarschijnlijk niet voldoende wanneer verschillende systemen zelfstandig informatie uitwisselen en beslissingen nemen.

Project EVE laat daarmee zien waarom videogames veel meer kunnen zijn dan entertainment. De virtuele economieën, sociale structuren en conflicten van MMORPG's vormen een interessante proeftuin voor technologie die straks mogelijk een belangrijke rol speelt in het dagelijks leven. En misschien is dat wel de opmerkelijkste conclusie van het onderzoek: Claude kan inmiddels behoorlijk goed samenwerken, maar herkennen wanneer een teamgenoot de boel bewust saboteert, blijkt een stuk lastiger.