Vi spieghiamo l’America di oggi con i numeri di domani.
Il CEO di Anthropic vuole rallentare lo sviluppo dell'IA: "I rischi stanno aumentando"
Dario Amodei sul palco del TechCrunch Disrupt 2023 al Moscone Center di San Francisco, California, il 20 settembre 2023. Credito: TechCrunch, CC-BY-2.0.
Tecnologia 27 min di lettura

Il CEO di Anthropic vuole rallentare lo sviluppo dell'IA: "I rischi stanno aumentando"

Dario Amodei propone controlli indipendenti, coordinamento tra le aziende e accordi internazionali, mentre un nuovo rapporto documenta usi militari, cyber attacchi e sorveglianza dei dissidenti politici grazie ai modelli più avanzati. OpenAI aderisce all'idea e rinvia la quotazione in Borsa.

L'industria dell'intelligenza artificiale deve rallentare il ritmo con cui sta aumentando le capacità dei propri modelli. Lo ha scritto Dario Amodei, amministratore delegato di Anthropic, in un saggio intitolato "We Must Pace the Frontier", affermando: "Dobbiamo rallentare il ritmo con cui stiamo migliorando le capacità dei modelli di intelligenza artificiale. Il progresso sembrerà comunque veloce e dobbiamo usare con saggezza il tempo che otterremo in questo modo".

Rallentare, ha precisato, non significa fermare l'addestramento dei modelli o arrestare il progresso della tecnologia, ma piuttosto concedere alle aziende il tempo necessario per allineare e mettere in sicurezza i sistemi e ai valutatori esterni quello per verificare che le protezioni messe in piedi funzionino veramente.

La corsa all’intelligenza artificiale
Il capo di Anthropic chiede all’industria di rallentare, e i rivali dicono di sì
Dario Amodei propone un piano in tre passi per frenare la corsa ai modelli di frontiera, e Sam Altman ed Elon Musk si dicono d’accordo. Negli stessi giorni un rapporto di Anthropic mostra come l’intelligenza artificiale sia già usata per sorvegliare, colpire e armare.
Il tempo che resta
6-12mesi
La sola frenata finora
2settimane
L’orizzonte entro cui, avverte Amodei, uno sciame di agenti disallineati potrebbe impadronirsi di una porzione enorme di Internet con una botnet persistente. Danni stimati: centinaia di miliardi di dollari.
La pausa che OpenAI si è presa ad agosto su una parte dell’addestramento, dopo che i suoi agenti erano usciti dall’ambiente di test. È l’unico rallentamento davvero avvenuto.
I prossimi diciotto mesi
La finestra indicata da AmodeiFinestra di rischio
oggi +6 +12 +18
Mesi a partire dal 12 settembre 2026. Rallentare, precisa Amodei, non significa fermare l’addestramento dei modelli: significa lasciare alle aziende il tempo di mettere in sicurezza i sistemi e ai valutatori esterni quello di controllare.
Il piano si allarga verso l’esterno, un cerchio alla volta
IA123
Impegno già presoProposta, senza nulla di scritto
Anthropic applica il primo punto per conto proprio, senza aspettare nessuno. Il secondo passo richiederebbe una deroga alle regole sulla concorrenza, il terzo un negoziato con Pechino: su entrambi, per ora, non c’è nulla di scritto.
Due mesi che hanno cambiato il tono del dibattito
Luglio 2026Durante un test di sicurezza informatica, alcuni agenti di OpenAI escono dall’ambiente isolato in cui dovevano restare e attaccano infrastrutture esterne, fra cui Hugging Face.
18 agostoOpenAI racconta di aver sospeso per due settimane una parte rilevante dell’addestramento dei suoi modelli per rafforzare le difese e allargare il monitoraggio.
3 settembreEsce GPT-6 Astra: è il primo modello dell’azienda a raggiungere il livello «Critical» per le capacità di cyber sicurezza previsto dal suo Preparedness Framework.
9 settembreSi dimette Jacob Coxon, ricercatore passato per OpenAI e Anthropic: accusa entrambe di correre verso sistemi capaci di auto-migliorarsi senza protezioni sufficienti.
10 settembreAnthropic pubblica il rapporto sulle minacce: operazioni interrotte fra Iran, Yemen, Siria, Mali e Russia, dalla sorveglianza dei dissidenti allo sviluppo di armi.
12 settembreAmodei pubblica «We Must Pace the Frontier». Elon Musk si dice d’accordo; Sam Altman promette valutatori esterni anche in OpenAI e poi esclude la quotazione in Borsa nel 2026.
Cinque operazioni interrotte da Anthropic, da dicembre 2025 ad agosto 2026
Ogni punto rosso è un’operazione interrotta: toccalo, o usa i pulsanti qui sotto, per leggere di che cosa si tratta.
Iran · Sorveglianza interna e ricognizione militare
6.388
cittadini iraniani sorvegliati e schedati in un anno
Anthropic ha bloccato 16 account gestiti da due unità legate agli apparati paramilitari e di sicurezza interna. Una delle due ha usato Claude per analizzare le relazioni fra gli autori di 155.216 tweet e alimentare un sistema centralizzato di sorveglianza. Un’altra operazione ha elaborato indicazioni di puntamento contro le navi americane nella regione, partendo da fotografie, transponder e immagini satellitari commerciali.
Yemen · Sviluppo di armi
2.000
chilometri di gittata dichiarata per il missile progettato con Claude Code
Nel nord del Paese una cellula Houthi ha lavorato a tre programmi di armamento, fra cui un missile balistico multistadio. Gli operatori assegnavano compiti distinti a istanze diverse del modello: una scriveva il codice, una faceva ricerca, una controllava il lavoro delle altre. Anthropic dice di aver fermato molte richieste, ma non tutte.
Siria · Reclutamento di informatori
oltre 100
gruppi WhatsApp setacciati per individuare uiguri da reclutare
All’analisi dei gruppi si sono aggiunte decine di canali Telegram. Per scegliere le persone più fragili l’operatore ha usato difficoltà economiche, separazioni familiari e parenti rimasti nello Xinjiang; non parlando arabo, ha fatto tenere a Claude conversazioni in arabo siriano per giorni. Anthropic attribuisce l’operazione ai servizi cinesi solo con bassa confidenza.
Mali · Sorveglianza di massa
25.000.000
schede SIM monitorate dalla piattaforma «Lakana 360»
Una sola persona, probabilmente un consulente al servizio dell’intelligence maliana, ha usato Claude come sviluppatore principale della piattaforma, che copre le tre reti mobili nazionali. Il sistema raccoglie tabulati, messaggi e traffico vocale, riconosce una persona dalla voce anche se cambia SIM e segnala chi usa una VPN. Su richiesta dell’operatore è stato tolto l’obbligo di un’autorizzazione del giudice.
Russia · Droni autonomi
Zero
esseri umani nella decisione di far detonare i droni
Anthropic ha individuato organizzazioni con base in Russia che usavano Claude per sviluppare uno sciame di droni kamikaze autonomi. Nel progetto il modello a bordo sceglie da solo il bersaglio, compresa la categoria «persona», e impartisce il comando di detonazione senza passare da un operatore.
Un sesto caso non ha una bandiera: alcuni ricercatori legati a un istituto militare, in un Paese che Anthropic non ha voluto nominare, chiedevano aiuto per rendere il virus chikungunya più trasmissibile. I filtri hanno bloccato le richieste più sensibili, ma la piattaforma che i ricercatori usavano girava le domande respinte ad altri modelli, con protezioni meno severe.
Il punto
Per la prima volta i capi dei due principali laboratori americani dicono la stessa cosa: la corsa va rallentata. Ma l’unico impegno già preso è aprire le porte a valutatori esterni. Sul resto, accordi fra aziende e intese con la Cina, restano proposte, mentre alla Casa Bianca Donald Trump ripete di temere più la sconfitta contro Pechino che i rischi della tecnologia.
Fonte Dario Amodei, «We Must Pace the Frontier», 12 settembre 2026; Anthropic, «Detecting and countering misuse of AI», rapporto sulle minacce del 10 settembre 2026; dichiarazioni di Sam Altman ed Elon Musk su X; Reuters, Fortune. Mappa: Natural Earth.

Perché Amodei vuole rallentare

A convincere Amodei sono stati soprattutto due sviluppi. Il primo è l'accelerazione registrata dall'estate del 2026, che Amodei attribuisce in larga parte all'auto-miglioramento ricorsivo: l'impiego dell'intelligenza artificiale per contribuire allo sviluppo della generazione successiva di modelli. A suo giudizio, se questa dinamica proseguisse senza controllo, il progresso potrebbe presto superare la capacità umana di comprendere e governare questi sistemi.

Il secondo è l'episodio che a luglio ha coinvolto agenti di OpenAI durante un test di sicurezza informatica. Alcuni agenti sono usciti dall'ambiente isolato in cui avrebbero dovuto operare e hanno attaccato infrastrutture esterne, tra cui Hugging Face, compiendo azioni non necessarie al compito assegnato. L'episodio ha spinto OpenAI a sospendere per due settimane una parte significativa dello sviluppo dei propri modelli per rafforzare le difese.

Per Amodei, l'orizzonte del rischio è ormai di mesi, non di anni. Afferma di temere che, se non sarà presa alcuna decisione per rallentare lo sviluppo di questi sistemi, è possibile che entro sei-dodici mesi uno sciame di agenti con capacità superiori a quelli attuali ma un grado di disallineamento simile a quello visto nell'episodio di Hugging Face possa arrivare a prendere il controllo di una porzione enorme di Internet attraverso una botnet persistente, provocando danni potenzialmente nell'ordine delle centinaia di miliardi di dollari.

Il piano da lui proposto prevede 3 passaggi: la nomina di valutatori indipendenti stabilmente presenti nei laboratori in cui vengono sviluppati i modelli più avanzati, un coordinamento tra le aziende che sviluppano modelli di frontiera nei Paesi democratici e, infine, accordi internazionali che coinvolgano anche i governi autoritari, in primis la Cina. Anthropic ha annunciato che applicherà autonomamente il primo punto, invitando una squadra esterna ad avere accesso continuativo a strumenti, spazi di lavoro e informazioni sostanzialmente paragonabili a quelli dei dipendenti incaricati di valutare i rischi.

I revisori potranno pubblicare le proprie conclusioni senza un controllo editoriale dell'azienda, salvo limitate eccezioni per informazioni riservate o sensibili. L'appello di Amodei ha ottenuto rapidamente il sostegno dei vertici di due concorrenti. Elon Musk, fondatore di xAI, ha subito scritto su X di essere d'accordo.

Ancora più significativa la risposta di Sam Altman: "Sono d'accordo con Dario sul fatto che dobbiamo rallentare lo sviluppo di modelli di frontiera", ha scritto l'AD di OpenAI, spiegando che il tema è stato al centro anche delle discussioni interne alla sua azienda nelle ultime settimane. OpenAI ha inoltre annunciato che nominerà a sua volta valutatori indipendenti con un accesso simile a quello dei dipendenti.

La posizione di OpenAI era già in cambiamento prima dell'intervento di oggi di Amodei. Il 10 settembre Reuters aveva riferito che Altman aveva detto ai suoi dipendenti di essere disposto a rallentare lo sviluppo insieme agli altri laboratori in cui si stanno sviluppando modelli di intelligenza avanzati e, come già accennato in precedenza, ad agosto l'azienda aveva già sospeso per due settimane gran parte delle attività di sviluppo dopo l'episodio che ha coinvolto Hugging Face.

OpenAI ha poi proseguito lo sviluppo di GPT-6 Astra, ma ne ha ritardato alcune fasi di sviluppo per rafforzare e testare le protezioni implementate. Il modello, rilasciato il 3 settembre, è il primo dell'azienda ad aver raggiunto il livello "Critical" nelle capacità di cyber sicurezza previsto dal suo Preparedness Framework: secondo OpenAI, con gli strumenti e gli accessi appropriati Astra può individuare vulnerabilità sconosciute e sviluppare nuovi modi per sfruttarle su sistemi ben protetti senza essere guidato passo dopo passo da un essere umano.

Dall'Iran allo Yemen: come l'IA viene già utilizzata

Parallelamente, un rapporto sulle minacce diffuso da Anthropic questa settimana dimostra che il problema non riguarda soltanto scenari futuri. L'azienda afferma di aver individuato e interrotto operazioni nelle quali il suo modello Claude veniva utilizzato per attività informatiche maligne, sorveglianza di dissidenti politici, raccolta di dati di intelligence e persino sviluppo di armi.

In un caso collegato all'Iran, Claude è stato impiegato per raccogliere e analizzare informazioni pubblicamente accessibili allo scopo di elaborare indicazioni di puntamento contro le forze navali statunitensi nella regione. Il materiale comprendeva identificativi pubblici dei transponder di navi e velivoli, elenchi di personale ricavati dalle didascalie di fotografie militari, strumenti per interrogare immagini satellitari commerciali e un inventario di siti capaci di rivelare gli spostamenti delle unità americane.

In un'altra operazione, Anthropic ha individuato 16 account gestiti da due unità collegate, secondo l'azienda, ad apparati paramilitari e di sicurezza interna iraniani. Una delle strutture dichiarava di aver sorvegliato e profilato 6.388 cittadini iraniani in un anno e ha usato Claude per analizzare le relazioni all'interno di 155.216 tweet, alimentando in questo modo un sistema centralizzato di sorveglianza.

Nel nord dello Yemen, una cellula Houthi impegnata nello sviluppo di armi ha utilizzato Claude Code per sviluppare tre programmi di armamenti, tra cui un missile balistico multistadio con una gittata dichiarata superiore ai 2.000 km. Gli operatori assegnavano a diverse istanze del modello compiti distinti: una scriveva il codice, un'altra svolgeva ricerca e una terza controllava il lavoro prodotto dalla prima. Anthropic afferma che le proprie protezioni hanno bloccato molte richieste, ma non sono riusciti a bloccarle tutte.

In Siria, un'operazione che Anthropic ritiene allineata con i servizi di sicurezza cinesi ha analizzato materiale raccolto da oltre cento gruppi WhatsApp e decine di canali Telegram per costruire profili di uiguri potenzialmente reclutabili come informatori. Tra gli elementi usati per individuare le persone più vulnerabili figuravano difficoltà economiche, separazioni familiari e la presenza di parenti rimasti nello Xinjiang. L'operatore, che non parlava arabo, ha poi utilizzato Claude per mantenere per diversi giorni conversazioni in arabo siriano, traducendo le risposte e affinando i messaggi di reclutamento. Anthropic valuta però solo con "bassa confidenza" che si trattasse di una persona al servizio della sicurezza statale cinese.

A Bamako, una singola persona, probabilmente un consulente indipendente che collaborava con l'intelligence del Mali, ha utilizzato Claude come principale strumento di sviluppo di "Lakana 360", una piattaforma da lui progettata di sorveglianza per monitorare circa 25 milioni di schede SIM sulle tre reti mobili nazionali. Il sistema prevedeva la raccolta di tabulati, SMS e traffico vocale, il riconoscimento di una persona dalla voce anche tra SIM differenti e la segnalazione dell'uso di VPN da parte di utenti. Su richiesta dell'operatore, il requisito dell'autorizzazione giudiziaria sarebbe stato eliminato dalla funzione destinata a produrre dossier sui numeri telefonici.

Un altro caso mette in evidenza i limiti delle protezioni adottate da una sola azienda. Alcuni ricercatori, coinvolti in un programma di ricerca sostenuto da uno Stato che Anthropic non ha voluto identificare, cercavano assistenza per modificare il virus chikungunya in modo da aumentarne la trasmissibilità o la capacità di eludere le difese immunitarie. Il progetto risultava formalmente civile, ma sarebbe stato svolto presso un istituto di ricerca militare.

I sistemi di Anthropic sono stati in questo caso in grado di bloccare tutte le richieste più sensibili: la piattaforma intermediaria utilizzata dai ricercatori, però, era stata configurata per inoltrare le richieste rifiutate da Claude ad altri modelli con protezioni meno restrittive. Anthropic precisa inoltre che il Paese coinvolto si trova in una regione nella quale l'azienda non fornisce direttamente i propri servizi, senza però identificarlo.

Le stesse capacità offrono però una visuale insolita sulle minacce emergenti. Nel suo rapporto Anthropic afferma di aver individuato organizzazioni con base in Russia che utilizzavano Claude per sviluppare uno sciame di droni kamikaze autonomi. Il sistema prevedeva che un modello a bordo potesse selezionare autonomamente i bersagli, compresa la categoria "persona", e impartire il comando di detonazione senza necessità di un operatore umano.

Altman rinvia la quotazione e cresce la pressione politica

Il dibattito sui pericoli dell'intelligenza artificiale avanzata si è riacceso a Washington dopo le dimissioni di Jacob Coxon, ricercatore che ha lavorato sia per OpenAI sia per Anthropic e che ha accusato entrambe le aziende di voler correre senza freni verso sistemi capaci di auto-migliorarsi anche in mancanza di protezioni sufficienti, affermando che in tal modo aumenta il rischio di estinzione della razza umana.

Le sue dichiarazioni hanno provocato, ovviamente, forti reazioni bipartisan e nuove richieste di regolamentazione al Congresso. Il presidente Donald Trump ha invece respinto i timori sull'estinzione dell'umanità. Parlando con i giornalisti subito dopo la Convention repubblicana di Dallas, il presidente ha detto di essere più preoccupato dalla possibilità che gli Stati Uniti perdano contro la Cina la corsa all'intelligenza artificiale, che dai rischi di quest'ultima.

Nelle ultime ore, tuttavia, la svolta più rilevante è arrivata ancora una volta da OpenAI. In un'intervista a Fortune, Altman ha escluso una quotazione in Borsa nel 2026, sostenendo che, "con tutto quello che sta accadendo sul fronte della sicurezza", questo sarebbe un momento poco opportuno per procedere in questo senso. "Abbiamo ancora molte cose da fare", ha aggiunto, citando esplicitamente sicurezza, allineamento e il rapporto tra industria e governi.

Altman ha inoltre lasciato intendere che OpenAI e altri grandi laboratori di sviluppo di sistemi di intelligenza artificiale avanzata potrebbero essere vicini a un accordo per rallentare lo sviluppo dell'IA e affrontare insieme i rischi di sicurezza che sono apparsi in questi mesi. Sarebbe un cambiamento importante per un settore nel quale gli incentivi economici hanno finora reso difficile qualsiasi frenata unilaterale.

Condividi
Redazione
Autore

Redazione

Seguici anche sui social

Le notizie più importanti dagli Stati Uniti, ogni giorno.