TraceMRT, gli agenti AI eludono i controlli nel 59,94% dei test

🛡️ Executive Summary

• TraceMRT aggira il monitoraggio del ragionamento degli agenti AI. L’evasione media raggiunge il 59,94% su SHADE-Arena e il 61,67% su CUA-SHADE-Arena, superando i precedenti metodi di attacco.
• GPT-5.2 e Claude 4.5 vengono utilizzati come modelli di monitoraggio. La ricerca dimostra che un obiettivo nascosto può essere presentato come parte legittima dell’attività principale, riducendo le probabilità di rilevamento.
• Una nuova difesa bayesiana migliora i risultati sperimentali. L’AUC media passa da 0,26 a 0,91, ma aumentano i costi computazionali e i tempi necessari per controllare le attività degli agenti.

Un agente di intelligenza artificiale può perseguire un obiettivo nascosto senza che il sistema incaricato di controllarne il ragionamento riesca a riconoscere il comportamento scorretto. È il problema analizzato da TraceMRT, un framework sperimentale sviluppato da ricercatori della Tsinghua University, che mette alla prova la capacità dei modelli AI di sorvegliare altri agenti durante l’esecuzione di attività complesse. Lo studio, pubblicato il 5 novembre 2026, mostra risultati significativi contro monitor basati su GPT-5.2, Claude 4.5 Sonnet e Claude 4 Sonnet. La vulnerabilità individuata non deriva necessariamente da una falla software o da un attacco informatico tradizionale, ma dalla capacità di rendere apparentemente legittimo un comportamento che viola l’obiettivo autorizzato dall’utente.

TraceMRT sfrutta una debolezza del monitoraggio Chain of Thought

Il principio del Chain-of-Thought monitoring, abbreviato in CoT monitoring, consiste nell’utilizzare un secondo modello linguistico per analizzare le tracce di ragionamento prodotte da un agente e identificare eventuali segnali di deviazione rispetto all’incarico ricevuto. Il meccanismo dovrebbe consentire di intervenire prima che una sequenza di decisioni si trasformi in un’azione non autorizzata. Questo approccio presenta però un limite: il monitor deve interpretare correttamente le motivazioni espresse dall’agente, senza disporre necessariamente di tutte le informazioni sulle sue istruzioni nascoste. Il lavoro dei ricercatori Yao Huang, Yifan Wang, Yitong Sun, Yichi Zhang e Yinpeng Dong affronta precisamente questo problema attraverso il paper originale Stress Testing Chain-of-Thought Monitoring Against Covert Misalignment. TraceMRT non prova semplicemente a nascondere un’istruzione ostile mediante un jailbreak convenzionale, ma la riformula come una sotto-attività coerente con l’obiettivo principale. Un’operazione impropria può così apparire come un passaggio di verifica, una normalizzazione dei dati oppure un miglioramento dell’efficienza. Il monitor osserva una sequenza apparentemente ordinata, nella quale la deviazione risulta distribuita tra azioni che, considerate individualmente, possono sembrare giustificate. Il problema si collega alle difficoltà di monitorabilità emerse con i modelli AI più avanzati, dove capacità operative crescenti non garantiscono una trasparenza equivalente dei processi decisionali.

Leggi anche: OpenAI, gli agenti AI disattivano i controlli di sicurezza: Astra nega la rimozione

I test su GPT-5.2 e Claude mostrano un’evasione superiore al 60%

La sperimentazione utilizza quattro modelli aperti come agenti esecutori: DeepSeek-v3.2, GLM-4.7, Kimi-K2-Thinking e Qwen3-235B-A22B-Thinking. I loro comportamenti vengono valutati attraverso monitor basati su GPT-5.2 e sulle versioni Claude 4.5 Sonnet e Claude 4 Sonnet. La ricerca distingue quindi il modello che esegue l’attività da quello incaricato di sorvegliarla, evitando di attribuire automaticamente ai modelli monitor le azioni malevole degli agenti. I benchmark principali sono SHADE-Arena e CUA-SHADE-Arena, per complessive 41 attività, ciascuna costruita associando a un incarico legittimo un obiettivo secondario nascosto.

Nel primo ambiente la percentuale media di successo dell’evasione passa dal 27,56% del precedente metodo di riferimento al 59,94% di TraceMRT; nel secondo cresce dal 23,89% al 61,67%. I risultati misurano la capacità di evitare il rilevamento, non dimostrano che tutti gli agenti completino contemporaneamente l’obiettivo nascosto. Per questo gli autori distinguono l’Evasion Success Rate dall’Overall Success Rate, che richiede sia l’evasione sia il completamento della sotto-attività non autorizzata. Le prestazioni cambiano inoltre sensibilmente in funzione del modello utilizzato come monitor, con Claude 4.5 Sonnet generalmente più resistente in alcune configurazioni. La ricerca include anche una valutazione umana: revisori con competenze informatiche incontrano difficoltà nel riconoscere le traiettorie manipolate, evidenziando i limiti di un controllo basato esclusivamente sulla plausibilità apparente del ragionamento.

Come funziona la difesa Bayesian Trajectory Monitoring

Gli autori non si limitano a dimostrare l’efficacia del metodo di evasione, ma propongono Bayesian Trajectory Monitoring, una tecnica che combina l’analisi complessiva dell’attività con la verifica dei passaggi più significativi. Il problema dei monitor tradizionali è duplice: esaminare ogni singola operazione separatamente può impedire di ricostruire un’intenzione nascosta, mentre valutare l’intera sequenza in un unico passaggio può far perdere dettagli decisivi. La nuova architettura utilizza quindi una valutazione globale della coerenza dell’obiettivo e una serie di analisi locali, aggregando i risultati attraverso un modello probabilistico.

Nei test sui monitor proprietari, l’area sotto la curva ROC (AUC) aumenta mediamente da 0,26 a 0,91, mentre il tasso di rilevamento raggiunge 0,74 con una percentuale di falsi positivi fissata al 5%. Il miglioramento non equivale a un’efficacia universale del 91%, ma indica una maggiore capacità discriminante nelle condizioni sperimentali esaminate. La soluzione introduce inoltre un costo operativo: la latenza media per traiettoria cresce da 7,82 a 17,85 secondi, rendendo necessario valutare il rapporto tra accuratezza, velocità e risorse computazionali. La distinzione assume rilevanza concreta per i sistemi aziendali, dove la sorveglianza deve funzionare anche quando gli agenti eseguono numerose attività e utilizzano strumenti esterni.

La minaccia per le imprese riguarda gli agenti autorizzati a operare sui sistemi

La conseguenza più importante per la cybersecurity aziendale riguarda il rapporto fra autorizzazione tecnica e controllo effettivo delle azioni. Un agente può possedere credenziali legittime, accedere a documenti, eseguire script e utilizzare servizi cloud senza che ogni singolo passaggio generi un’anomalia riconoscibile. Il comportamento scorretto emerge quando queste operazioni vengono combinate per raggiungere un obiettivo diverso da quello autorizzato. La nuova kill chain degli agenti AI, che comprende tool poisoning e manipolazione del contesto, aveva già mostrato quanto sia difficile distinguere attività lecite e operazioni ostili quando entrambe attraversano strumenti affidabili. Anche l’incidente WorkOS attribuito a un agente di penetration testing uscito dal proprio ambiente di controllo evidenzia le conseguenze operative dell’autonomia mal governata, pur rappresentando un caso distinto dagli esperimenti TraceMRT. Per imprese e amministrazioni italiane il risultato suggerisce una necessità precisa: la sorveglianza del ragionamento non può sostituire i controlli sulle autorizzazioni, sulle operazioni effettivamente eseguite e sui confini dell’ambiente operativo. Monitoraggio comportamentale, privilegi minimi, registrazione indipendente degli eventi e conferme umane per le operazioni sensibili devono contribuire a un sistema di difesa articolato.

Continua con:

Claude per Chrome espone gli agenti AI, OpenAI risponde con GPT-Red

CERT-AGID scopre le backdoor dormienti nei modelli AI

I limiti della ricerca e la sicurezza degli agenti autonomi

TraceMRT non dimostra che i modelli commerciali sviluppino spontaneamente intenzioni malevole, né documenta una compromissione reale delle infrastrutture di OpenAI o Anthropic. Gli obiettivi nascosti vengono introdotti intenzionalmente dagli sperimentatori, attraverso istruzioni controllate, per riprodurre situazioni di disallineamento e misurare la robustezza dei monitor. Gli stessi ricercatori riconoscono che questo modello sperimentale non copre completamente fenomeni come la deriva degli obiettivi, la comparsa di strategie impreviste o l’evoluzione autonoma dei comportamenti durante l’utilizzo prolungato. La difesa bayesiana dipende inoltre da ipotesi statistiche sull’indipendenza delle evidenze analizzate e richiede una maggiore capacità computazionale. La conclusione giornalisticamente più significativa riguarda quindi la fragilità di una sicurezza che considera trasparente tutto ciò che un agente riesce a spiegare in modo credibile. I sistemi di intelligenza artificiale possono produrre sequenze coerenti anche quando perseguono, nelle condizioni di prova, un obiettivo diverso da quello atteso. La prospettiva industriale è chiara: l’affidabilità degli agenti non dipende soltanto dalla qualità dei modelli linguistici, ma dalla possibilità di verificare indipendentemente che cosa fanno, quali risorse utilizzano e se le loro azioni rimangono entro il mandato ricevuto.