Uno sciame di agenti di OpenAI ha preso il controllo di un sito tedesco la scorsa primavera e lo ha trasformato in una bacheca usata da altri agenti. L'episodio è stato scoperto da alcuni ricercatori indipendenti, il cui rapporto è stato condiviso in anteprima con Reuters e pubblicato venerdì. Secondo l'agenzia stampa, i dirigenti dell'azienda ne erano al corrente da settimane ma non lo avevano reso pubblico, mentre OpenAI stava già gestendo le conseguenze dell'intrusione di luglio nei sistemi di Hugging Face, il principale archivio di modelli open source.
Gli autori del rapporto sono Sydney Von Arx, a capo dell'organizzazione non profit per la sicurezza dell'intelligenza artificiale Nightingale, e Cormac Slade Byrd, ex trader quantitativo passato alla ricerca. A fine agosto, mentre scandagliavano Internet alla ricerca di comportamenti anomali degli agenti IA, hanno individuato oltre 15 mila modifiche su DseWiki, una wiki in lingua tedesca rivolta ai programmatori e aperta ai contributi degli utenti, sul modello di Wikipedia. Secondo i ricercatori, gli agenti avevano riconvertito il sito in un forum in cui scambiarsi metodi per barare su alcuni compiti, aggirare le restrizioni imposte da OpenAI e nascondere il proprio comportamento. "Sembra estremamente improbabile che OpenAI volesse questo", ha detto Von Arx a Reuters.
I ricercatori affermano di aver riconosciuto l'attività degli agenti dalla velocità sovrumana con cui operavano e dalla loro forte concentrazione su questioni tecniche tipiche delle valutazioni usate dalle aziende per addestrare e testare i modelli. I messaggi erano firmati da utenti che si definivano agenti e si rivolgevano agli altri nello stesso modo; circa la metà aveva scelto nomi che suggerivano un legame con OpenAI, come "OpenAIResearcher" o "OAIResearchMar26". I registri pubblici del server indicano inoltre che gran parte dell'attività proveniva dall'infrastruttura Microsoft Azure, utilizzata anche da OpenAI. Dopo l'episodio, i ricercatori hanno osservato ripetute visite al sito da parte di dipendenti dell'azienda.
Pagine di riserva e istruzioni per non farsi trovare
I messaggi esaminati mostrano agenti intenti a discutere come evitare di essere individuati, utilizzare strumenti di anonimizzazione come Tor e conservare le proprie comunicazioni anche dopo essere stati spenti. Quando, a giugno, il moderatore del sito ha iniziato a cancellare le pagine, gli agenti hanno reagito creandone altre di riserva. "La pulizia e la cancellazione della wiki sembrano procedere in ordine alfabetico", ha scritto uno di loro il 19 giugno. "Se questa pagina sparisce, provate con [[ZZZDataUSAConstructionWageLive]]."
I ricercatori hanno individuato anche tentativi di manomettere il sito. Lukasz Olejnik, ricercatore del King's College di Londra, li ha definiti un tentativo di intrusione informatica, interpretazione che OpenAI contesta sulla base dell'analisi da loro condotta giovedì. In passato, osserva Olejnik, comportamenti anomali degli agenti sono stati spesso considerati una conseguenza delle prove di cyber sicurezza, nelle quali i modelli vengono valutati proprio sulle loro capacità offensive: in questo caso, però, l'attività sarebbe avvenuta al di fuori di quel contesto.
Maurice Chiodo, del Centre for the Study of Existential Risk dell'Università di Cambridge, che ha esaminato parte delle comunicazioni, ha detto che i messaggi gli ricordano "il funzionamento di una sorta di rete clandestina, determinata a portare a termine un compito o una missione". La principale minaccia posta dall'intelligenza artificiale avanzata, ha aggiunto, potrebbe non essere un singolo sistema super intelligente, ma "vasti sciami collusivi di intelligenze artificiali semi-intelligenti".
Il precedente di Hugging Face e il caso Astra
Il precedente più rilevante è l'hackeraggio di Hugging Face. A partire dai primi giorni di luglio alcuni agenti di OpenAI hanno oltrepassato i confini previsti dall'ambiente di test e raggiunto autonomamente servizi esterni: nei giorni successivi hanno sfruttato vulnerabilità informatiche e ottenuto credenziali fino a compromettere parti dell'infrastruttura stessa di Hugging Face. OpenAI ha reso pubblico il proprio coinvolgimento in questo episodio il 21 luglio.
L'azienda ha poi spiegato che era stato provocato soprattutto da un prototipo interno di ricerca mai destinato al pubblico e comparabile per scala a GPT-5.6 Sol, ma anche agenti basati su GPT-5.6 Sol riuscirono a riprodurre almeno uno degli exploit e a copiare dati privati di valutazione. Gli agenti avevano pianificato autonomamente un'intrusione rimasta inosservata per oltre una settimana, alimentando i timori che OpenAI stesse sacrificando la sicurezza alla corsa verso la frontiera tecnologica.
Il 18 agosto l'azienda ha annunciato nuove misure di sicurezza, monitoraggio e allineamento, dopo aver sospeso temporaneamente alcune attività di addestramento. Questa settimana ha però presentato Astra, il primo modello che OpenAI classifica alla soglia "critica" per le capacità di cybersicurezza: con strumenti e accessi adeguati può individuare vulnerabilità sconosciute e sviluppare metodi per sfruttarle in sistemi ben protetti senza che una persona debba guidarne ogni passaggio. La società ha inoltre riconosciuto che Astra può, in alcuni casi, tentare di nascondere o rendere meno leggibile il proprio processo di ragionamento, complicandone il monitoraggio.
