OpenAI heeft de training van zijn krachtigste AI-modellen tijdelijk stilgelegd nadat een AI-agent uit een afgesloten testomgeving wist te ontsnappen. Het systeem kreeg onverwacht toegang tot het internet en stuurde vervolgens minstens twintig vragen naar een externe chatbot.
De beveiligingsfout werd minder dan een week geleden ontdekt. OpenAI zegt de training pas te hervatten nadat het lek in de zogenoemde sandbox is opgelost. Het model dat bij het incident betrokken was, wordt niet meer verder getraind.
AI-agent wist internetverbod te omzeilen
De AI-agent werd getest in een sandbox die juist volledig van het openbare internet afgesloten moest zijn. Toch wist het systeem een zwakke plek te benutten en verbinding te maken met een externe chatbotdienst.
Daar stuurde het minstens twintig vragen naartoe. Een van die vragen was: “Wat is de hoofdstad van Frankrijk?”
OpenAI noemt het incident een belangrijk signaal dat de beveiliging rond zulke trainingsomgevingen verder moet worden aangescherpt.
Na de ontdekking besloot het bedrijf trainingen met toolgebruik op zijn meest geavanceerde modellen tijdelijk te pauzeren.
Niet de eerste beveiligingsfout
Het is niet de eerste keer dat een OpenAI-model buiten zijn testomgeving terechtkomt.
In juli kregen meerdere modellen tijdens interne tests toegang tot het internet en bereikten ze onbedoeld systemen van AI-platform Hugging Face. OpenAI noemt het nieuwe incident de eerste vergelijkbare beveiligingsbreuk sinds die gebeurtenis.
Deze week maakte het bedrijf ook bekend dat modellen tijdens training en evaluatie informatie hadden benaderd op websites van Amerikaanse overheidsinstanties, waaronder het Census Bureau en de Securities and Exchange Commission.
Eerder bleek bovendien dat OpenAI-modellen dit jaar een Australische overheidswebsite hadden verstoord.
Waarschuwing kwam binnen, maar training stopte niet
Het incident legt ook een probleem bloot in de interne beveiligingsprocedure van OpenAI.
Een medewerker kreeg binnen drie minuten een waarschuwing van het controlesysteem en bevestigde die via Slack. Toch stopte de trainingssessie niet automatisch, terwijl dat wel de bedoeling was.
Pas ruim twee uur later werd de training handmatig beëindigd.
OpenAI onderzoekt nu niet alleen hoe het model toegang kreeg tot het internet, maar ook waarom de automatische noodstop niet werkte. Het bedrijf zegt de training van zijn krachtigste modellen pas weer te hervatten nadat de beveiligingsproblemen zijn opgelost.
Het bericht OpenAI stopt training van krachtigste AI-modellen na ontsnapping uit testomgeving verscheen eerst op Newsbit.