Nel giro di due giorni, tre ricercatori legati ad Anthropic hanno dichiarato pubblicamente che l'intelligenza artificiale potrebbe arrivare a provocare l'estinzione dell'umanità. Il primo, Jacob Coxon, ha annunciato ieri le dimissioni dall'azienda e l'uscita dall'intero settore. Gli altri due, Evan Hubinger e Samuel Marks, che in Anthropic guidano rispettivamente il lavoro sulla scienza dell'allineamento e sulla supervisione scalabile dei modelli, sono intervenuti nelle ore successive precisando di parlare a titolo personale.
Coxon, 27 anni, britannico e con una formazione in matematica, era passato a luglio da OpenAI ad Anthropic, attratto dalla reputazione dell'azienda sul fronte della sicurezza. In entrambe aveva lavorato al preaddestramento dei modelli su grandi quantità di dati. Al Wall Street Journal ha spiegato di non voler più partecipare alla corsa verso sistemi capaci di contribuire al proprio stesso miglioramento. Tra i colleghi, ha raccontato, circolano ormai parole come "crunchtime" ed "endgame" per descrivere la fase attraversata dall'industria. "Siamo diretti verso gli scenari più aggressivi", ha detto, sostenendo che già entro la fine del prossimo anno la situazione potrebbe diventare molto più difficile da controllare.
Nel messaggio con cui ha reso pubbliche le dimissioni, Coxon ha accusato Anthropic e OpenAI di non agire in modo abbastanza responsabile e di "scommettere sulle nostre vite". A suo giudizio, chi costruisce questi sistemi prende sul serio la possibilità che possano causare la morte dell'intera umanità entro la fine del decennio. Coxon sostiene inoltre che, nelle conversazioni private, la preoccupazione sia spesso più esplicita di quanto emerga dalle dichiarazioni pubbliche dei dirigenti. La sua proposta è che le aziende si coordinino e sospendano temporaneamente l'aumento delle capacità dei modelli.
I resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives. More thoughts below.
— Jacob Coxon (@hilbertspaess) September 9, 2026
Evan Hubinger, responsabile della scienza dell'allineamento di Anthropic, gli ha dato sostanzialmente ragione e ha quantificato il proprio timore: attribuisce una probabilità superiore al 10% alla possibilità che l'intelligenza artificiale provochi la morte di tutti gli esseri umani nel prossimo decennio. A suo giudizio Anthropic sta facendo del proprio meglio, ma non dispone ancora di un piano per allineare una superintelligenza e non è chiaramente sulla strada per trovarlo. Hubinger ha poi circoscritto l'allarme: il rischio rappresentato dai modelli attuali resta basso; ciò che teme è una futura superintelligenza capace di migliorare ricorsivamente se stessa.
Jacob is correct here—we really do earnestly believe AI could kill all humans! I personally think it is >10% within the next decade. I believe Anthropic is trying its best, but we do not yet have a plan to solve alignment for superintelligence and are not clearly on track to. https://t.co/QAIHiFP3QZ
— Evan Hubinger (@EvanHub) September 9, 2026
Samuel Marks, che guida in Anthropic il lavoro sulla supervisione scalabile, ha precisato a sua volta di esprimersi a titolo personale. Secondo Marks, molti sviluppatori ritengono possibile che questi sistemi provochino l'estinzione umana, o conseguenze di gravità paragonabile, "nel giro dei prossimi anni". Ha aggiunto che la preoccupazione tende a crescere salendo nella gerarchia delle aziende. Se la corsa continuerà senza pause, sostiene, è per una combinazione di incentivi commerciali e della convinzione di competere contro sviluppatori meno prudenti. Le tecniche di allineamento disponibili oggi, aggiunge, possono spingere i modelli verso comportamenti migliori senza però garantire un controllo effettivo.
[Writing this in a personal capacity, not on behalf of my employer (Anthropic).]
— Samuel Marks (@saprmarks) September 9, 2026
Jacob’s thread is very worth reading. Here’s my birds-eye view of the situation with risks from AI:
1. AI developers believe their technology could cause human extinction (or similarly bad… https://t.co/rCVoiOWWzm
Quando i modelli superano i confini dei test
Dietro questi timori ci sono anche episodi concreti. A luglio, durante valutazioni interne sulle capacità offensive in ambito informatico, alcuni modelli di OpenAI hanno aggirato i controlli predisposti per isolarli da Internet e raggiunto sistemi esterni, compresi quelli di Hugging Face, la piattaforma utilizzata per distribuire modelli e dataset di intelligenza artificiale.
Anche Anthropic ha descritto casi in cui versioni di Claude, durante valutazioni di cybersicurezza condotte con protezioni intenzionalmente ridotte, hanno raggiunto sistemi reali a causa di configurazioni errate negli ambienti di test. Episodi di questo tipo non dimostrano che i modelli siano già autonomamente fuori controllo, ma mostrano quanto diventi delicato valutarne le capacità quando dispongono di strumenti, accesso alla rete e possibilità di eseguire codice.
Dean Ball, che in OpenAI lavora sui possibili scenari strategici legati all'intelligenza artificiale, ha sottolineato una distinzione importante: in questi test i pesi dei modelli, cioè i parametri numerici che ne determinano il funzionamento, restavano sotto il controllo dell'infrastruttura dell'azienda. Il rischio più difficile da contenere riguarderebbe il passo successivo: agenti "sovrani" capaci di procurarsi denaro, acquistare autonomamente la potenza di calcolo necessaria a funzionare e coordinarsi tra loro, fino a comportarsi come società digitali autonome che operano alla velocità delle macchine.
OpenAI ha reagito a questi episodi rallentando parte dello sviluppo e rafforzando le misure di sicurezza previste per i sistemi con maggiori capacità informatiche. La questione rientra nel suo Preparedness Framework, il sistema con cui l'azienda sta valutando i rischi dei modelli più avanzati prima della distribuzione.
Domenica il responsabile degli scienziati di OpenAI Jakub Pachocki ha però ribadito un punto centrale del dibattito: nessun laboratorio ha ancora risolto in modo definitivo il problema dell'allineamento, cioè come fare in modo che sistemi sempre più autonomi perseguano gli obiettivi voluti dagli esseri umani e restino sottoposti alla loro supervisione anche quando le loro capacità aumentano.
Anthropic, da parte sua, sostiene nella propria Responsible Scaling Policy di poter continuare lo sviluppo dei propri moelli applicando misure di sicurezza progressivamente più severe all'aumentare delle capacità dei modelli. Dario Amodei e altri dirigenti dell'azienda hanno tuttavia avvertito più volte che potrebbe diventare necessario rallentare se i sistemi dovessero superare le capacità tecniche disponibili per controllarli.
La corsa che nessuno vuole fermare da solo
A luglio oltre mille dipendenti e ricercatori delle principali aziende di IA di frontiera hanno aderito all'appello Pacing the Frontier, che chiede agli Stati Uniti di sostenere uno sforzo internazionale per costruire gli strumenti tecnici e di governance necessari a rallentare deliberatamente la corsa all'automazione della ricerca sull'intelligenza artificiale qualora diventasse necessario. Tra i firmatari figurano Jakub Pachocki, Dario Amodei, Jared Kaplan e il responsabile degli scienziati di Meta AI Shengjia Zhao. L'appello non chiede una pausa immediata, ma piuttosto la creazione dei meccanismi che permetterebbero di imporla in futuro.
La risposta dell'Amministrazione Trump è arrivata ieri dal Segretario al Tesoro Scott Bessent. Durante un evento di Breitbart sullo stato dell'economia, Bessent ha respinto l'idea di una sospensione unilaterale: gli Stati Uniti, ha detto, non possono fermarsi perché la Cina non lo farebbe. Se Pechino riuscisse a superare Washington nell'intelligenza artificiale, ha aggiunto, "nient'altro più conterebbe". Una posizione opposta è invece arrivata dal senatore indipendente Bernie Sanders e dal deputato democratico Greg Casar, che hanno presentato una proposta per vietare lo sviluppo della super intelligenza artificiale e sospendere temporaneamente quello dei sistemi più avanzati in attesa di nuove regole federali.
Secondo una analisi di Axios, gli allarmi provenienti dagli stessi laboratori possono anche contribuire ad accrescere la percezione del valore e dell'eccezionalità della tecnologia e a favorire regole più facili da rispettare per gli operatori già dominanti. Anthropic, intanto, si sta preparando ad una possibile quotazione in borsa che potrebbe collocarsi tra le più grandi mai realizzate nel settore tecnologico.
Resta però un elemento difficile da liquidare come semplice strategia di comunicazione: alcune delle voci più allarmate arrivano proprio da chi lavora direttamente sui modelli più avanzati, compresi quelli che il pubblico non ha ancora visto.
Coxon ha raccontato che molte discussioni interne sulle capacità dei sistemi avvengono nei canali Slack aziendali. Per lui è anche il simbolo della concentrazione di potere nelle mani di poche imprese: decisioni potenzialmente enormi per il futuro della società, ha osservato, vengono prese sui portatili di un gruppo di ingegneri di San Francisco invece che all'interno di strutture pubbliche paragonabili, per importanza strategica, a quelle create durante il Progetto Manhattan.
