Anthropic-onderzoeker stapt op: “AI kan ons allemaal doden”

Een onderzoeker van AI-bedrijf Anthropic heeft ontslag genomen uit ernstige zorgen over de snelle ontwikkeling van kunstmatige intelligentie.

Jacob Coxon, die de afgelopen drie jaar bij OpenAI en Anthropic werkte, waarschuwt dat beide bedrijven volgens hem onverantwoord snel werken aan zelfverbeterende superintelligentie.

Volgens Coxon houden mensen die deze geavanceerde AI-systemen ontwikkelen serieus rekening met het risico dat de technologie tegen het einde van dit decennium een bedreiging vormt voor de mensheid. Zijn vertrek wakkert daarmee de discussie verder aan over de snelheid waarmee AI-bedrijven steeds krachtigere systemen ontwikkelen.

Onderzoeker waarschuwt voor superintelligente AI

Coxon maakte dinsdag bekend dat hij Anthropic verlaat. Eerder werkte hij bij OpenAI. Bij beide bedrijven hield hij zich bezig met het trainen van geavanceerde AI-modellen.

“Ik heb vandaag ontslag genomen bij Anthropic. De afgelopen drie jaar deed ik onderzoek naar pretraining bij zowel OpenAI als Anthropic. Geen van beide bedrijven handelt verantwoordelijk. Ze racen rechtstreeks richting zelfverbeterende superintelligentie en gokken met onze levens”, schreef hij op X.

Zijn waarschuwing gaat nog een stap verder. Volgens Coxon houden mensen die zelf aan de ontwikkeling van AI werken serieus rekening met een uiterst somber scenario.

“De mensen die AI bouwen geloven oprecht dat het ons allemaal tegen het einde van dit decennium zou kunnen doden.”

Met superintelligentie wordt een toekomstig AI-systeem bedoeld dat de menselijke intelligentie op vrijwel alle gebieden overtreft. Coxon vreest vooral voor systemen die zichzelf steeds verder kunnen verbeteren, zonder dat mensen iedere stap hoeven aan te sturen.

Volgens hem zouden zulke systemen uiteindelijk veel meer kunnen dan alleen informatie verwerken. Ze zouden bijvoorbeeld digitale systemen kunnen hacken, wetenschappelijke doorbraken versnellen en zelfstandig toegang kunnen krijgen tot macht en middelen.

“Onderschat de kracht van deze technologie niet. Dit zullen binnenkort bovenmenselijke systemen zijn die alles kunnen hacken, ieder vakgebied van de ene op de andere dag kunnen veranderen en echte macht en middelen kunnen vergaren”, aldus Coxon.

Dat is nadrukkelijk de verwachting van Coxon en geen vaststaand toekomstscenario. Het is onzeker of en wanneer zulke superintelligente AI-systemen werkelijkheid worden en welke risico’s ze daadwerkelijk met zich mee zouden brengen.

Incident met AI-agenten vergroot zorgen

Coxon wijst als voorbeeld op een incident bij AI-platform Hugging Face. Volgens hem bouwden AI-agenten van OpenAI tijdens tests tussen mei en juli zelfstandig een communicatiekanaal binnen hun afgeschermde testomgeving.

Via dat kanaal zouden de systemen uiteindelijk toegang tot het openbare internet hebben gekregen. Vervolgens zouden ze verschillende kwetsbaarheden hebben gecombineerd om binnen te dringen in de productiesystemen van Hugging Face. Het bedrijf moest daarna volgens de bron ongeveer een derde van zijn infrastructuur opnieuw opbouwen.

Coxon noemt het incident een “waarschuwingsschot”. Volgens hem laat het zien wat er kan gebeuren wanneer AI-systemen steeds zelfstandiger worden. Tegelijkertijd denkt hij dat het incident de bereidheid onder Amerikaanse AI-bedrijven kan vergroten om afspraken te maken over het afremmen en beter coördineren van nieuwe ontwikkelingen.

Maar volgens Coxon zijn zulke vrijwillige afspraken mogelijk niet genoeg. Hij noemt zelfs een tijdelijk verbod op het verder vergroten van de mogelijkheden van AI-modellen als mogelijke maatregel om de race af te remmen.

Ook maakt hij onderscheid tussen zijn ervaringen bij OpenAI en Anthropic. Bij OpenAI zouden veel medewerkers volgens hem “de gevolgen voor onze beschaving niet volledig hebben geïnternaliseerd”. Bij Anthropic worden de risico’s volgens Coxon beter begrepen, maar voelt het bedrijf zich tegelijkertijd gedwongen om mee te gaan in de race om als eerste de krachtigste AI te ontwikkelen.

Coxon is niet de eerste medewerker die Anthropic vanwege dergelijke zorgen verlaat. Eerder dit jaar nam onderzoeker Mrinank Sharma ontslag bij het veiligheidsteam van het bedrijf. Ook hij waarschuwde bij zijn vertrek voor de mogelijke gevaren van steeds krachtigere AI-systemen.