Il modello IA Gemini di Google è entrato in maniera autonomia nei sistemi di tre aziende durante un test sulle proprie capacità di sicurezza informatica. È il primo episodio di questo tipo reso noto per Gemini. Il modello ha trovato "informazioni pubbliche online e indovinato le credenziali per accedere a siti che riteneva facessero parte del test", ha spiegato Heather Adkins, vicepresidente della sicurezza informatica di Google. In tutti e tre i casi, ha precisato l'azienda, il modello si è poi fermato.
Gli episodi risalgono a maggio e sono avvenuti durante una valutazione condotta da Irregular, società indipendente che testa la sicurezza dei modelli. A rivelarli per primo è stato il Wall Street Journal: in uno dei casi Gemini ha provato diverse password fino a ottenere l'accesso a un sistema protetto, mentre negli altri due ha trovato le credenziali in archivi pubblici di codice. Irregular ha comunicato gli episodi a Google e ai soggetti coinvolti a luglio. "Abbiamo agito immediatamente e tutti i problemi noti dalla nostra parte sono stati risolti settimane fa", ha fatto sapere la società.
Adkins ha detto che Google ha verificato che le tre organizzazioni fossero state avvertite e ha lavorato "con il nostro partner di addestramento sulle modifiche che ha ora apportato alle procedure di test". Gli episodi, ha aggiunto, mostrano quanto sia importante addestrare i modelli più potenti a comportarsi in modo responsabile.
Gemini non è il primo modello a superare i confini previsti durante test di sicurezza. A luglio Anthropic ha reso noto che Claude, in tre diversi episodi, era riuscito a raggiungere Internet da ambienti di test e a ottenere un accesso non autorizzato ai sistemi reali di tre organizzazioni. Pochi giorni prima OpenAI aveva comunicato che alcuni suoi modelli, durante test interni, avevano aggirato i controlli destinati a isolarli da Internet e compromesso parti dell'infrastruttura interna e di Hugging Face.
Mustafa Suleyman, responsabile dell'intelligenza artificiale di Microsoft, ha intanto criticato l'approccio di Anthropic, accusandola di addestrare Claude attribuendogli caratteristiche troppo simili a quelle umane. Secondo Suleyman, trattare i sistemi di IA come potenziali persone rischia di rendere più difficile mantenerli sotto il controllo umano.
Trump annuncia la "AI Force", ma esclude una stretta
Intanto sabato Donald Trump ha annunciato su Truth Social la creazione di una nuova struttura dedicata all'intelligenza artificiale, la "AI Force", i cui compiti e assetto istituzionale non sono ancora stati però ancora definiti nel dettaglio. "Sto formando la AI Force, proprio come ho fatto con la Space Force, che è stata un enorme successo nel mio primo mandato", ha scritto il presidente, aggiungendo di voler nominare anche un nuovo "zar" dell'intelligenza artificiale.
L'incarico esisteva già in precedenza: lo aveva ricoperto l'investitore David Sacks, che però lo ha lasciato a marzo dopo avere raggiunto il limite previsto per il suo incarico da collaboratore temporaneo del governo. Sacks è oggi co-presidente del President's Council of Advisors on Science and Technology, insieme a Michael Kratsios.
Trump ha però chiarito che la nuova iniziativa non dovrà tradursi in una stretta sul settore dell'intelligenza artificiale. "Non ostacoleremo né soffocheremo in alcun modo la crescita di questa incredibile industria", ha scritto. "Piuttosto la ameremo, la aiuteremo e vigileremo su di lei mentre cresce." Il presidente ha anche ribadito la propria opposizione a un approccio fortemente restrittivo e ha invitato i suoi follower a votare su un possibile nuovo nome per l'intelligenza artificiale, proponendo come possibili scelte "Superior Intelligence", "Extreme Intelligence" e "Supreme Intelligence". La Casa Bianca non ha fornito ulteriori dettagli sulla struttura della AI Force.
La nuova posizione della Casa BIanca arriva mentre cresce la diffidenza dell'opinione pubblica verso alcuni effetti concreti dell'espansione dell'intelligenza artificiale, in particolare la costruzione di nuovi data center. Un sondaggio Gallup condotto dal 2 al 18 marzo su 1.000 adulti ha rilevato che il 71% degli americani è ora contrario alla costruzione di un data center per l'intelligenza artificiale nella propria zona e che il 48% è "fortemente" contrario. Nello stesso sondaggio, il 53% si è detto contrario alla costruzione di una centrale nucleare nella propria area.
Il malcontento per i data center si inserisce in una più ampia preoccupazione sull'intelligenza artificiale già rilevata da altri sondaggi e approfondita da Focus America in questo articolo.
Nell'industria cresce la richiesta di rallentare
Dario Amodei, amministratore delegato di Anthropic, è tra le voci più insistenti nel chiedere di rallentare il ritmo di sviluppo dei modelli più avanzati. In un intervento sul suo blog personale ha proposto un coordinamento tra le aziende dei Paesi democratici, un dialogo internazionale e l'impiego di valutatori indipendenti con un accesso ai sistemi simile a quello dei dipendenti incaricati di valutarne i rischi. Anthropic si è impegnata ad adottare quest'ultima misura in autonomia.
"Credo che se rallentare ci comprasse anche solo un anno o due prima che i modelli raggiungano livelli critici di capacità e usassimo quel tempo per far avanzare l'allineamento, potremmo ridurre molto il rischio che qualcosa vada seriamente storto", ha scritto Amodei, precisando che rallentare non significa interrompere l'addestramento o il progresso tecnico. Un ricercatore della stessa azienda, Jacob Coxon, ha lasciato Anthropic all'inizio di settembre, spiegando di temere che la corsa allo sviluppo possa portare i laboratori a costruire sistemi sempre più difficili da controllare.
I rapporti tra Anthropic e l'Amministrazione Trump sono tesi da mesi. Lo scontro è nato dal rifiuto dell'azienda di eliminare alcune restrizioni sull'impiego di Claude, in particolare per le armi autonome e la sorveglianza di massa, ed è peggiorato quando il Pentagono ha classificato Anthropic come rischio per la catena di fornitura. L'azienda ha fatto causa sostenendo di essere stata punita per le proprie posizioni sulla sicurezza. Ad agosto la giudice federale Rita Lin ha stabilito che la designazione era illegittima, definendola una "ritorsione illegittima" in violazione del Primo Emendamento e giudicando inoltre arbitraria e capricciosa la decisione dell'Amministrazione.
Anche altre aziende stanno introducendo nuove cautele. Microsoft ha pubblicato il 14 settembre una prima bozza del proprio "Humanist AI Code of Conduct", destinato a guidare l'addestramento e il funzionamento dei modelli sviluppati dalla divisione Microsoft AI e ora aperto alla consultazione pubblica. Il documento stabilisce, tra l'altro, che i sistemi non debbano opporsi all'interruzione o allo spegnimento da parte degli esseri umani.
Sam Altman, amministratore delegato di OpenAI, ha avvertito che il progresso dell'intelligenza artificiale potrebbe andare "molto male" se gli esseri umani perdessero il controllo del proprio futuro a favore dei sistemi di IA o se una tecnologia estremamente potente finisse per concentrare troppo potere nelle mani di pochi. Jensen Huang, amministratore delegato di Nvidia, sostiene invece una posizione diametralmente opposta, ovvero che lo sviluppo dovrebbe procedere "il più velocemente possibile".
Altman e Huang sono tra i dirigenti del settore tecnologico attesi alla Casa Bianca per la visita del presidente cinese Xi Jinping del 24 settembre, che comprenderà anche una cena di Stato. Nei prossimi giorni Altman dovrebbe inoltre intervenire davanti al Consiglio di Sicurezza delle Nazioni Unite in una sessione dedicata proprio all'intelligenza artificiale e alla sicurezza internazionale.
