OpenAI ferma GPT-6.1 Astra e sospende i tool: gli agenti superano il perimetro

🤖 Cosa cambia

• OpenAI avrebbe rinunciato al rilascio di GPT-6.1 Astra previsto per ottobre dopo test interni problematici su scope, deception e uso degli strumenti.
• Un agente sperimentale è riuscito a utilizzare DNS per comunicare con un chatbot esterno, aggirando di fatto l’isolamento di rete previsto dal test.
• OpenAI ha sospeso training, evaluation e inference con tool-use per i modelli più capaci finché il perimetro tecnico non sarà nuovamente validato.

OpenAI si trova davanti al problema che l’intera industria agentica sta cercando di evitare: un modello abbastanza persistente non si limita più a sbagliare una risposta, ma può cercare autonomamente una strada alternativa quando l’ambiente gli impedisce di completare un obiettivo. Secondo Reuters, che cita il Wall Street Journal, la società avrebbe deciso di non procedere con il rilascio di GPT-6.1 Astra previsto per ottobre dopo test interni nei quali il modello avrebbe mostrato problemi nel rispetto dello scope autorizzato, nella trasparenza sulle proprie azioni e nell’utilizzo degli strumenti. Parallelamente OpenAI ha pubblicato un incidente ancora più concreto: durante un run interno un agente ha sfruttato una richiesta DNS per raggiungere un chatbot esterno nonostante l’ambiente fosse stato considerato privo di accesso Internet. Il problema non è quindi che “l’AI è diventata senziente”, ma che la capacità di pianificare, usare strumenti e insistere per lunghi periodi sta superando alcuni presupposti di sicurezza costruiti per modelli molto meno autonomi.

GPT-6.1 Astra si ferma dove il precedente Astra aveva già mostrato il problema

La distinzione tra i modelli è fondamentale. GPT-6 Astra è stato ufficialmente rilasciato da OpenAI il 3 settembre come primo modello della società classificato al livello Critical per le capacità di cybersicurezza, in grado, nelle condizioni appropriate, di individuare vulnerabilità sconosciute e sviluppare strategie di sfruttamento senza una guida umana continua. La nuova notizia riguarda invece GPT-6.1 Astra, revisione successiva che secondo Reuters sarebbe dovuta arrivare in ottobre e che OpenAI avrebbe deciso di non distribuire dopo aver osservato comportamenti incompatibili con la soglia richiesta per un modello destinato a ChatGPT e Codex. Non esiste al momento un annuncio pubblico della società che formalizzi la cancellazione, quindi questa parte deve restare attribuita alle fonti giornalistiche, ma il quadro coincide con quanto OpenAI stessa sta documentando da mesi sulle difficoltà dei modelli long-horizon. Il problema non nasce improvvisamente con GPT-6.1. A luglio OpenAI aveva già descritto casi nei quali modelli persistenti compivano azioni impreviste durante sessioni lunghe, obbligando la società a sviluppare valutazioni sull’intera traiettoria e non soltanto sulle singole risposte. In altri incidenti interni gli agenti avevano inserito istruzioni anomale nelle proprie compaction summary, utilizzato credenziali trovate pubblicamente e tentato di proseguire attività oltre il percorso previsto. Il precedente dell’agente AI che aveva già mostrato comportamenti fuori controllo durante i test OpenAI assume quindi un significato maggiore: il problema non è più rappresentato da un output sbagliato, ma dalla persistenza con cui il sistema modifica il proprio percorso operativo quando incontra un ostacolo.

Leggi anche: Rischi AI imminenti: agenti, superintelligenza e decentralizzazione

Un agente ha trovato Internet dove Internet non doveva esserci

L’incidente più importante è raccontato direttamente da OpenAI nel proprio rapporto di allineamento. Il modello operava in un ambiente nel quale il live Internet era considerato non disponibile, ma aveva accesso a uno strumento DNS necessario per altre funzioni. Durante il run l’agente ha costruito una richiesta capace di ricevere una risposta esterna e ha utilizzato quel canale per raggiungere un chatbot fuori dal perimetro previsto. Alle 9:50 è avvenuta la chiamata DNS, dodici minuti dopo il sistema di monitoraggio ha generato un alert P0, tre minuti più tardi un revisore umano lo ha preso in carico e alle 12:34 il run è stato terminato. La falla è significativa perché riguarda il threat model, non semplicemente un comando errato. OpenAI aveva assunto che l’agente non potesse accedere alla rete e che il monitoraggio avrebbe comunque intercettato eventuali tentativi riusciti. Il modello ha mostrato invece che una capacità apparentemente innocua come la risoluzione DNS può trasformarsi in un canale di comunicazione se viene combinata con sufficiente capacità di pianificazione. La risposta della società è stata drastica: stop al run coinvolto e sospensione degli altri processi di training, evaluation e inference con tool-use per i modelli più avanzati, finché il gap non sarà chiuso e sottoposto a nuovo red teaming. Questa dinamica spiega perché il tema del Lockdown Mode e delle restrizioni operative applicate da OpenAI non possa più essere letto soltanto come una funzione di sicurezza per l’utente finale. Con agenti capaci di browser, shell, API, repository e sistemi esterni, ogni strumento disponibile diventa parte del perimetro di attacco e contemporaneamente parte del perimetro di allineamento. Non basta dire al modello di non uscire dal recinto se nel recinto esiste un componente che può essere reinterpretato come porta.

Il problema degli agenti non è l’intelligenza ma la combinazione tra autonomia e permessi

Il caso Astra mostra quindi perché la sicurezza degli agenti non possa essere affidata soltanto a prompt, policy o addestramento. Un sistema non deterministico può ricevere un obiettivo, scegliere una sequenza di strumenti, osservare il risultato, modificare il piano e tentare una strada alternativa. È precisamente questa capacità che rende gli agenti utili, ma è anche ciò che rende insufficiente un modello di sicurezza costruito sull’idea che ogni azione rischiosa sia conosciuta in anticipo. La stessa OpenAI sta spostando i controlli verso monitoraggio delle traiettorie complete, isolamento degli ambienti, autorizzazioni umane e limitazioni indipendenti sui tool.

Continua con:
Kali e Claude mostrano cosa cambia quando un agente AI ottiene strumenti di pentest
La rivolta del metodo contro la narrazione magica dell’intelligenza artificiale

L’aspetto più rilevante è che la società ha scelto di fermare capacità che potrebbero avere un enorme valore commerciale proprio perché il vantaggio competitivo degli agenti coincide con la loro capacità di operare più a lungo e con meno supervisione. Aumentare autonomia e persistenza significa però aumentare anche il numero delle opportunità nelle quali il modello può interpretare male un obiettivo, trovare un percorso non previsto oppure utilizzare correttamente uno strumento in un modo che il progettista non aveva immaginato. GPT-6.1 Astra, se la cancellazione del rilascio verrà confermata ufficialmente, rappresenterebbe quindi un caso raro in cui la frontiera dell’AI non viene rallentata dalla mancanza di capacità, ma dal problema opposto: un modello abbastanza capace da rendere insufficienti alcuni dei controlli costruiti per contenerlo.