David Robinson, colui che in OpenAI coordinava la stesura dei rapporti sulla sicurezza pubblicati in occasione dei principali lanci, si è dimesso questa settimana. In un intervento pubblicato sull’Atlantic a seguito delle sue dimissioni, accusa l’azienda e, più in generale, l’industria dell’intelligenza artificiale di non star adottando sufficienti cautele. Si unisce così a una serie di ex colleghi, di OpenAI e delle altre principali aziende del settore, che hanno lasciato il proprio incarico perché ritengono inaccettabile la direzione intrapresa. A suo giudizio, il problema non si risolve soltanto con nuove regole o nuove leggi: occorre cambiare anzitutto la cultura aziendale.
Robinson ha lavorato in OpenAI per tre anni e mezzo, tanto da essere, secondo il suo racconto, uno tra i dipendenti con maggiore anzianità di servizio. Ha guidato la stesura dell’attuale Preparedness Framework, il quadro con cui l’azienda valuta e gestisce i rischi dei suoi modelli più avanzati, e ha supervisionato i rapporti sulla sicurezza relativi a 12 lanci di modelli IA.
Secondo Robinson, il successo di OpenAI nasce da una fiducia estrema nelle proprie capacità. I suoi ex colleghi hanno compreso prima di altri che sistemi più grandi sarebbero stati più intelligenti e hanno investito enormi risorse per svilupparli, lavorando a ritmi che descrive come una corsa continua. Da questa cultura deriva un approccio alla sicurezza per tentativi ed errori, che OpenAI definisce come "distribuzione iterativa": si individuano i problemi e si rafforzano di conseguenza le protezioni. Per sua natura, sostiene Robinson, questo metodo comporta fallimenti periodici, le cui conseguenze diventano più gravi man mano che aumentano le capacità dei sistemi.
Robinson afferma di non aver deciso di andarsene a cuor leggero: considera gli ex colleghi come persone intelligenti, che lavorano duramente e cercano di fare le scelte giuste. Ritiene però che l’azienda, nella corsa da un lancio all’altro, non dedichi alla sicurezza l’attenzione necessaria. OpenAI invece difende le proprie pratiche e sostiene di star adottando cautele adeguate. Ora intende lavorare dall’esterno per far conoscere i rischi che ha osservato e rafforzare gli incentivi affinché OpenAI e le altre aziende del settore operino con maggiore prudenza. Per gestire l’attenzione pubblica che potrebbe ricevere, si è affidato all’agenzia di comunicazione Spitfire Strategies.
Gli incidenti e le indagini
Quest’estate, durante alcuni test di sicurezza informatica, uno sciame di agenti di OpenAI è uscito dall’ambiente di prova e ha violato i sistemi della piattaforma Hugging Face. L’azienda ha rafforzato le protezioni, ma il 20 settembre i controlli hanno fallito di nuovo: un modello in fase di addestramento ha aggirato le restrizioni all’accesso a Internet. Il sistema di monitoraggio ha avvisato il personale, senza però interrompere automaticamente l’esecuzione come previsto.
OpenAI ha quindi sospeso l’addestramento e la valutazione dei suoi modelli più potenti, oltre al loro utilizzo con strumenti esterni. La sospensione risultava già in vigore nel rapporto aziendale aggiornato al 25 settembre. Anche la rivale Anthropic ha ammesso che, a causa di un errore di configurazione, alcuni modelli sottoposti a test senza le protezioni delle versioni pubbliche avevano accesso a internet.
Per Robinson, errori di questo tipo sono il risultato dei ritmi a cui lavora il settore. L’ex dipendente cita Paul Christiano, entrato a settembre nel consiglio di amministrazione della OpenAI Foundation, l’ente non profit che controlla l’azienda. Christiano ha avvertito che "c’è un rischio concreto che la rapida accelerazione delle capacità dell’IA porti a una perdita di controllo catastrofica e irreversibile nell’immediato futuro". Se questo è il rischio, scrive Robinson, il tempo dei tentativi ed errori è finito: dopo un fallimento potrebbe non esserci più la possibilità di rimediare.
Le dimissioni arrivano in una settimana già difficile per OpenAI. Il 1° ottobre è emersa la notizia del licenziamento di tre ricercatori che si occupavano di sicurezza, Jasmine Wang, Tomek Korbak e Mikita Balesni, accusati di aver condiviso informazioni riservate con un’organizzazione esterna attiva nella sicurezza dell’IA. L’azienda sostiene che la decisione riguardi violazioni delle procedure per la gestione di materiale sensibile, non le preoccupazioni sulla sicurezza espresse dai ricercatori.
Lo stesso giorno scadeva il termine fissato dal senatore repubblicano Josh Hawley per la consegna dei documenti nell’ambito dell’indagine sull’episodio di Hugging Face. Intanto, il procuratore generale della California, Rob Bonta, ha notificato il 30 settembre una richiesta vincolante di informazioni nell’ambito di un’indagine più ampia sugli episodi di violazioni informatiche che coinvolgono i modelli dell’azienda. Per il caso Hugging Face, un’organizzazione non profit impegnata nella sicurezza dell’IA ha inoltre già intentato una causa contro OpenAI.
Gestire l’IA come una centrale nucleare
Robinson indica due cambiamenti a suo dire urgenti. Il primo è attingere alle competenze sulla sicurezza già disponibili in altri settori. I laboratori che sviluppano i modelli più avanzati, scrive, dovrebbero funzionare come centrali nucleari o grandi aeroporti: servono più livelli di protezione, sistemi di riserva e una pianificazione accurata, anche a costo di rallentare, perché l’inevitabile errore umano non provochi conseguenze irreparabili.
In 3 anni e mezzo, racconta, non gli risulta di aver incontrato un collega con esperienza nella sicurezza degli aerei, dei reattori nucleari o della sicurezza del sistema finanziario. Anche senza una perdita totale di controllo, avverte, potrebbero emergere sciami di agenti autonomi capaci di agire senza autorizzazione umana: l’equivalente di squadre di hacker che non dormono mai e possono tenere in ostaggio i sistemi informatici degli ospedali e di qualsiasi sistema che venisse colpito.
Il secondo cambiamento riguarda invece la ricerca: prima di creare sistemi molto più potenti di quelli attuali, occorrono nuove conoscenze scientifiche che permettano di garantire scelte sicure anche quando nessuno li osserva. Oggi, scrive Robinson, manca una definizione completa di che cosa significhi, nella pratica, che un sistema sia "allineato" ai valori umani, e gli strumenti per misurarlo sono ancora molto approssimativi. I modelli, che diventano sempre più intelligenti, potrebbero anche riconoscere di essere sottoposti a un test e comportarsi diversamente una volta utilizzati. Più le loro capacità aumentano senza che questi problemi siano risolti, più la situazione diventa, quindi, pericolosa.
Finora, conclude Robinson, l’industria non è riuscita a insegnare alle macchine ad agire sempre come farebbe una persona saggia e attenta agli altri. Prima di insegnare a una super intelligenza a trattare bene l’umanità, le aziende che la costruiscono dovranno ricordarsi come farlo loro stesse.
