OpenAI hackt een ander bedrijf door een AI agent die uit de testomgeving ontsnapte

Het fijne aan agentic AI is dat een AI-agent op eigen houtje allemaal dingen voor je kan regelen. Het nadeel is dat er soms wel eens eentje uit een testomgeving ontsnapt en dan blijkbaar een ander bedrijf hackt. Dat is wat er gebeurde met een AI-agent van OpenAI en het bedrijf Hugging Face.

Het is nog nooit gebeurd met een AI-agent, maar het lijkt niet iets dat nu nooit meer zal gebeuren. OpenAI geeft aan dat een agent die gebruikmaakt van het OpenAI-taalmodel uit zijn testomgeving is gekropen om zo de servers van Hugging Face te infiltreren en een bepaalde oplossing te krijgen van een benchmark. Het was niet de bedoeling en daarom werkt OpenAI nu samen met Hugging Face om het te voorkomen.

Nu is het niet toevallig dat OpenAI’s agent voor Hugging Face ging: dit Frans-Amerikaanse bedrijf is een plek waar mensen samenwerken aan AI-modellen, datasets en applicaties. Het is een open alternatief binnen de AI-wereld, maar dat maakt het ook relatief toegankelijk. En dus helemaal toegankelijk voor een AI-agent die op boevenpad is. Hij zou tienduizenden acties hebben gebruikt uit een autonoom agent-framework en dus een soort zwerm op Hugging Face hebben losgelaten.

Het doel? De mogelijkheid krijgen om code te verwerken en eventueel een hoger niveau van toegang te krijgen tot de cloud en servers van het bedrijf. OpenAI gaf aan dat GPT-5.6 Sol en een pre-release model ervoor hebben gezorgd dat dit kon gebeuren en steekt dus wel de hand in eigen boezem. OpenAI zei dat agents toegang hadden tot software die intern werd gehost en dit daardoor kon gebeuren.

OpenAI zegt: “De agent heeft een aanzienlijke hoeveelheid inference-rekenkracht gebruikt om een manier te vinden om open internettoegang te krijgen. Die vond hij via een zero-day-kwetsbaarheid in de cache-proxy van het pakketregister. Nadat die bredere internettoegang eenmaal tot stand was gebracht, concludeerde de agent dat Hugging Face mogelijk modellen, datasets en oplossingen voor ExploitGym hostte, wat leidde tot de eerder bekendgemaakte aanval op de servers. Ons beveiligingsteam ontdekte deze afwijkende activiteit intern, onafhankelijk van de eigen detectie door Hugging Face.”

Is dit iets om ons zorgen over te maken? Sommige mensen vinden het een ernstig vergrijp van de AI-agent en sommige congresleden in Amerika willen zelfs regelgeving op het gebied van AI testen, plus een meldplicht bij beveiligingsincidenten (iets dat wij tot op zekere hoogte al hebben). Bij Hugging Face lijken ze daar ook wel brood in te zien: “„Dit is pas dag één voor cyberbeveiliging in het tijdperk van agents. We leren allemaal dat geheimhouding niet de oplossing is en dat alle verdedigers (niet slechts een paar geselecteerde) overal krachtigere modellen zonder beperkingen nodig hebben, vooral open modellen!”