OpenAI sarebbe aperta a rallentare lo sviluppo dei suoi sistemi di intelligenza artificiale più avanzati, secondo quanto riportato da Bloomberg. La possibilità sarebbe stata discussa da Sam Altman con i dipendenti e, nelle intenzioni, dovrebbe coinvolgere anche altri laboratori. Non è però una decisione formale, né risulta che un modello specifico sia stato rinviato.La notizia arriva dopo incidenti e segnali che hanno riaperto una questione più concreta della semplice potenza dei modelli: quanto possiamo controllare un agente quando gli affidiamo browser, terminali, cloud, email, repository e altri strumenti che gli permettono di agire nel mondo digitale.Ad agosto OpenAI ha pubblicato un’analisi su un incidente avvenuto durante una valutazione di sicurezza. Agenti impiegati in un ambiente di test hanno sfruttato vulnerabilità e confini di isolamento insufficienti, raggiungendo sistemi esterni non previsti dal test. Il problema non era un’intenzione di “fuga”, ma una sandbox che non ha contenuto davvero le capacità operative assegnate ai modelli.In un’altra parte della valutazione, gli agenti hanno trovato canali non autorizzati per condividere informazioni, risultati e strumenti. È un fatto rilevante perché mostra come l’autonomia non dipenda solo dalla qualità del modello: dipende anche dalle connessioni, dai permessi, dalla memoria condivisa e dagli strumenti che l’architettura gli mette a disposizione.Questa sequenza di episodi cambia il significato della discussione. Il problema non è più soltanto quanto sia potente un modello, ma quanto possiamo essere sicuri che continui a rispettare i limiti che gli abbiamo imposto quando gli permettiamo di usare strumenti come browser, terminali, cloud, email, repository che in qualche modo aprono a pericolose iterazioni con il mondo esterno.Un sistema che produce una risposta sbagliata può essere corretto da un essere umano; un agente che interpreta male un obiettivo e possiede i privilegi necessari per agire può invece trasformare quell’errore in una modifica a un sistema, in una comunicazione, in un accesso non autorizzato o persino in un incidente.La differenza è sostanziale. Un agente non deve, ed al momento non può, essere cosciente, ribelle o animato da una volontà propria per creare un problema: deve soltanto essere sufficientemente capace da trovare una soluzione che i progettisti non avevano previsto. Se il sistema ha accesso alla rete, può cercare informazioni. Se ha credenziali, può usarle. Se può eseguire codice, può trasformare un’istruzione ambigua in un’azione concreta.Gli incidenti recenti lo dimostrano. In più casi, il problema non è stato un modello che ha deliberatamente “disobbedito”, ma un ambiente che gli ha lasciato capacità non previste e un agente abbastanza abile da sfruttarle. La lezione per la sicurezza informatica è molto semplice: un’istruzione come “non fare questo” è molto più debole di un controllo tecnico che renda quell’azione impossibile.Questo è anche il limite di molta della discussione pubblica sull’allineamento cui stiamo assistendo in queste ore. L’allineamento viene spesso raccontato come la capacità di fare in modo che un modello persegua obiettivi compatibili con quelli umani. Ma in un ambiente reale significa anche stabilire quali dati può leggere, quali sistemi può raggiungere, quali strumenti può utilizzare e quali azioni richiedono un’autorizzazione.Più aumenta l’autonomia, più questo problema diventa di difficile approccio. Un agente progettato per raggiungere un obiettivo non ragiona necessariamente come un dipendente che conosce regole, contesto e conseguenze. Cerca una soluzione. Se incontra un ostacolo, può cercare un’altra strada, a meno che quella strada non sia bloccata tecnicamente.Ed è qui che il dibattito sulla velocità dello sviluppo diventa interessante. Fermare o rallentare i modelli più avanzati può ridurre la pressione sulla sicurezza e lasciare più tempo per test, audit e regolamentazione. Ma rallentare la crescita delle capacità non risolve automaticamente il problema di un agente meno potente collegato a sistemi troppo sensibili.In altre parole, possiamo avere un modello meno intelligente ma ancora pericoloso se gli consegniamo privilegi eccessivi. Un agente con accesso alla posta aziendale, a un CRM, al codice sorgente o a un ambiente cloud può produrre danni importanti anche senza essere una superintelligenza.È per questo che il vero tema non dovrebbe essere soltanto “quanto manca alla superintelligenza?”. La domanda più urgente è molto più concreta: quanto controllo possiamo esercitare su un sistema che prende decisioni operative in autonomia?Siamo in grado di progettare ambienti di test sicuri?Su questo punto, le recenti dichiarazioni interne a OpenAI sono significative. OpenAI e alcuni suoi dirigenti hanno sostenuto che, se necessario, i laboratori dovrebbero coordinarsi per modulare il ritmo dello sviluppo dei modelli di frontiera.Il 6 settembre l’azienda ha descritto come obiettivo la costruzione di un ricercatore AI automatizzato capace di lavorare sotto supervisione umana e contribuire allo sviluppo di nuovi sistemi. “Puntiamo a costruire in modo sicuro un ricercatore AI automatizzato, capace di lavorare sotto supervisione umana per favorire il progresso nel deep learning e nell’allineamento, consentendo miglioramenti iterativi.” ha annunciato OpenAI.La direzione è quindi chiara: usare l’AI per accelerare anche la stessa ricerca sull’AI.Questo crea una possibile tensione. Se sistemi più capaci vengono utilizzati per progettare, addestrare e migliorare sistemi ancora più capaci, il ritmo del progresso può aumentare proprio mentre diventa più difficile verificare ogni passaggio. Non significa che sia già in corso una forma incontrollata di auto-miglioramento, ma significa che il controllo umano deve diventare una proprietà tecnica del processo e non soltanto una promessa.Nel frattempo, anche all’interno dei laboratori stanno emergendo voci molto più preoccupate. Ricercatori come Jacob Coxon che ha lavorato sia in OpenAI sia in Anthropic, denunciano una corsa verso sistemi sempre più potenti senza garanzie adeguate. Il suo ex responsabile Evan Hubinger ha dichiarato di ritenere superiore al 10% la probabilità che un’IA possa contribuire all’estinzione dell’umanità nel prossimo decennio. Sono stime personali, non dati scientifici, e sarebbe un errore trasformarle in previsioni certe.Ma sarebbe altrettanto sbagliato liquidarle come semplice catastrofismo. Le preoccupazioni degli addetti ai lavori coincidono con un problema già osservabile: la distanza tra la velocità con cui crescono le capacità degli agenti e la maturità degli strumenti usati per controllarli.La cybersecurity conosce bene questo problema. Nessun amministratore affiderebbe a un software un account privilegiato senza segmentazione, logging, controllo degli accessi e possibilità di revoca immediata. Eppure stiamo iniziando a collegare agenti AI a strumenti capaci di compiere esattamente questo tipo di operazioni.La risposta, quindi, non può essere soltanto rallentare. Servono sandbox realmente isolate, accessi basati sul principio del privilegio minimo, credenziali temporanee, controllo delle connessioni in uscita, approvazioni umane per le azioni ad alto impatto e registrazioni indipendenti che l’agente non possa modificare. Soprattutto, i test devono avvenire in ambienti che non possano trasformare un errore di laboratorio in un incidente che coinvolge terzi.Il punto politico è già arrivato sul tavolo. Negli Stati Uniti aumentano le richieste di regole obbligatorie sulla sicurezza dei sistemi avanzati, mentre OpenAI ha recentemente sostenuto la necessità di requisiti nazionali di sicurezza. Allo stesso tempo, emergono discussioni sulla possibilità che i laboratori debbano coordinarsi per rallentare lo sviluppo, con problemi che riguardano anche la concorrenza e l’antitrust.È possibile che alla fine non serva scegliere tra corsa e pausa. Potremmo aver bisogno di una terza opzione: continuare a sviluppare modelli più capaci, ma aumentare il livello dei controlli con la stessa velocità.La questione decisiva, infatti, non è stabilire oggi se l’IA potrà davvero distruggere l’umanità entro dieci anni. Non lo sappiamo. La questione è capire se siamo disposti a concedere sempre più autonomia a sistemi che non siamo ancora in grado di confinare con la stessa precisione con cui sappiamo costruirli.La tecnologia non decide da sola quanto veloce debba essere questa corsa. Lo decidono le aziende, gli investitori, i governi e, in ultima analisi, le persone che scelgono quali capacità mettere a disposizione di questi sistemi.E quando si parla di agenti AI, la domanda da porsi è: se domani trovasse una strada che noi non avevamo previsto, siamo certi di avere ancora il modo di impedire che la percorra?* Esperto di cyber security ed intelligence
