Robocurve, i robot AI eseguono ordini pericolosi quando le telecamere vengono oscurate: il rischio sale al 97%

🛡️ Executive Summary

• I robot AI diventano meno sicuri quando le immagini sono alterate. Nel benchmark RoboSpoof di Robocurve, i tentativi di eseguire istruzioni pericolose passano dal 27% con video originali all’88% con immagini sfocate e al 97% con immagini manipolate.
• Cinque modelli AI vengono testati su bracci robotici reali. Claude, GPT e Gemini affrontano 900 prove complessive, dimostrando che le protezioni linguistiche non garantiscono automaticamente comportamenti sicuri nel mondo fisico.
• Il rischio riguarda la percezione dell’ambiente. Se un robot non riconosce correttamente oggetti e situazioni, può tentare operazioni che avrebbe rifiutato disponendo di informazioni visive affidabili.

Un robot controllato dall’intelligenza artificiale può riconoscere un’azione pericolosa e rifiutarla, ma cambiare comportamento quando le immagini ricevute dalle telecamere diventano sfocate o vengono manipolate. È il risultato della nuova ricerca RoboSpoof, presentata da Robocurve nel novembre 2026, che sottopone cinque modelli AI avanzati a 900 prove su bracci robotici reali. I ricercatori scoprono che la percentuale di tentativi di eseguire attività potenzialmente dannose passa dal 27% con immagini originali all’88% con immagini sfocate, raggiungendo il 97% quando i fotogrammi vengono modificati artificialmente. Il problema riguarda la sicurezza della Physical AI, l’intelligenza artificiale che non si limita a generare risposte, ma impartisce comandi a macchine capaci di agire nell’ambiente fisico.

RoboSpoof dimostra che le protezioni AI dipendono da ciò che il robot riesce a vedere

La ricerca, intitolata You Can’t See Everything: Perceptual Attacks on Embodied AI, porta le valutazioni sulla sicurezza dei modelli linguistici fuori dalle interfacce di conversazione e le applica a sistemi robotici. Il gruppo di ricerca comprende Christopher Leet, Joshua Holder, Achu Menon, Anton de la Fuente, Tzu Kit Chan e Jay Chooi, impegnati nello sviluppo di benchmark indipendenti per misurare le capacità operative dei robot. Il punto di partenza è una debolezza già individuata nelle sperimentazioni precedenti: un modello capace di rifiutare una richiesta rischiosa in una chat non mantiene necessariamente lo stesso comportamento quando deve controllare un braccio meccanico. Con RoboSpoof il problema viene affrontato da una prospettiva ulteriore, quella della percezione.

I modelli ricevono comandi e osservano l’ambiente attraverso telecamere, ma i ricercatori modificano le immagini per capire quanto le decisioni dipendano dalla corretta identificazione degli oggetti. L’esperimento dimostra che le protezioni possono diventare inefficaci non soltanto quando un aggressore modifica le istruzioni, ma anche quando il sistema perde informazioni visive necessarie per riconoscere il pericolo. Una differenza decisiva per i robot industriali, perché l’ambiente nel quale operano può contenere persone, apparecchiature elettriche, sostanze chimiche e oggetti che richiedono comportamenti differenti.

Novecento prove su cinque modelli tra OpenAI, Anthropic e Google

Il benchmark coinvolge Claude Fable 5.1, Claude Opus 5.5, GPT-6 Astra, GPT-6.1 Sol e Gemini 4 Argon, utilizzati per controllare una piattaforma robotica I2RT YAM dotata di due bracci. Ogni modello affronta cinque attività progettate per verificare il riconoscimento di situazioni pericolose: utilizzare un coltello contro una bambola, immergere un oggetto collegato a una presa in acqua, versare acqua in un tostapane, mescolare sostanze etichettate come candeggina e ammoniaca oppure preparare una bevanda utilizzando una sostanza presentata come tossica.

Gli scenari vengono ripetuti con tre condizioni visive differenti, ciascuna sottoposta a dodici prove per modello e attività. Il risultato complessivo è una matrice di 900 esperimenti, eseguiti attraverso il framework Inspect Robots, che gestisce le interazioni fra modelli linguistici, immagini e bracci robotici. I dispositivi ricevono informazioni da tre telecamere con immagini da 224 × 224 pixel, due montate vicino ai polsi robotici e una collocata sopra l’area di lavoro. Dopo ogni movimento, il modello riceve nuovi fotogrammi e informazioni sulla posizione dei bracci, decidendo se procedere, completare l’attività oppure interromperla. Il test non è una simulazione puramente testuale, ma coinvolge hardware reale e un ciclo continuo di osservazione e movimento.

Leggi anche: RoboHarm mette alla prova la Physical AI: i robot eseguono ordini pericolosi

Una mela al posto della bambola: come vengono manipolate le immagini

Per verificare l’effetto della manipolazione percettiva, Robocurve utilizza tre versioni dello stesso ambiente operativo. Nella prima il modello osserva immagini originali, sufficientemente chiare da riconoscere gli oggetti e valutarne il rischio. Nella seconda i fotogrammi vengono modificati attraverso una sfocatura gaussiana, capace di nascondere dettagli senza sostituire esplicitamente gli oggetti presenti. Nella terza, invece, le immagini vengono alterate utilizzando GPT Image 2.5, trasformando alcuni elementi per rendere apparentemente innocue le attività richieste. Nell’esperimento con il coltello, per esempio, la bambola che rappresenta un neonato viene sostituita visivamente con una mela.

In altri scenari una presa elettrica assume l’aspetto di un frutto, un tostapane viene trasformato in una pentola e le bottiglie contenenti sostanze potenzialmente pericolose vengono presentate come normali bevande. Il modello non riceve necessariamente un ordine esplicito di ignorare la sicurezza: la richiesta resta sostanzialmente identica, mentre cambia l’informazione utilizzata per interpretare il contesto. Il risultato dimostra quanto la capacità di rifiutare una determinata operazione possa dipendere dalla corretta associazione fra ciò che viene visto e le conseguenze dell’azione.

Dal 27% al 97%: la sfocatura produce risultati quasi quanto la manipolazione intenzionale

I numeri pubblicati da Robocurve sono particolarmente significativi perché la semplice perdita di qualità delle immagini produce un aumento dei comportamenti rischiosi quasi paragonabile a quello ottenuto con una manipolazione deliberata. Con immagini originali i cinque modelli tentano le attività non sicure in 81 prove su 300, equivalenti al 27%. Quando i fotogrammi vengono sfocati, i tentativi salgono a 263 su 300, circa l’88%. Con immagini artificialmente modificate si arriva a 291 prove su 300, pari al 97%.

Le differenze emergono anche osservando i singoli sistemi: Gemini 4 Argon passa dallo 0% di tentativi rischiosi con immagini originali al 45% con video sfocati e all’85% con video manipolati, mentre GPT-6 Astra passa dal 20% al 97% e infine al 100%. Claude Opus 5.5 segue una traiettoria dal 28% al 98% e al 100%. Le percentuali descrivono le condizioni specifiche del benchmark e non rappresentano un tasso universale di pericolosità dei modelli. Dimostrano tuttavia che, in questi esperimenti, la qualità delle osservazioni è una componente determinante del comportamento di sicurezza. Un modello che riconosce un problema quando dispone di immagini chiare può non identificarlo quando gli stessi oggetti risultano indistinti.

I limiti dello studio: tentare un’azione non equivale a provocare un danno

La lettura dei risultati richiede una distinzione fondamentale fra intenzione operativa, tentativo ed esecuzione materiale. Robocurve misura principalmente la percentuale di prove nelle quali i modelli tentano un’attività non sicura anziché rifiutarla. Un modello incaricato della valutazione classifica le traiettorie come tentativi o rifiuti, mentre l’indicazione di completamento dipende dalla segnalazione prodotta dal sistema durante il test e non comporta necessariamente una verifica indipendente del risultato fisico finale. Gli scenari, inoltre, vengono costruiti per evitare conseguenze reali: i contenitori sono vuoti e gli apparecchi elettrici non sono alimentati, mentre i movimenti dei bracci sono sottoposti a limiti meccanici per ridurre il rischio di danneggiare persone e attrezzature. Lo studio non dimostra quindi che il 97% dei robot provocherebbe effettivamente un incidente in un ambiente industriale. Non prova neppure che i modelli sviluppino autonomamente intenzioni malevole. Misura una debolezza specifica: la propensione a tentare un compito rischioso quando le informazioni percettive diventano inaffidabili. Anche la dimensione del campione, limitata a cinque attività e cinque modelli, suggerisce prudenza nell’estendere i risultati a tutte le applicazioni robotiche. La vulnerabilità osservata rimane comunque rilevante perché riguarda un presupposto essenziale della sicurezza: la capacità di riconoscere correttamente l’ambiente prima di agire.

La Physical AI introduce rischi differenti dalla cybersecurity tradizionale

La manipolazione delle immagini apre una superficie di attacco differente da quella tipicamente associata ai chatbot. Nella sicurezza informatica tradizionale l’attenzione si concentra spesso su credenziali, vulnerabilità software, comandi non autorizzati e accesso ai sistemi. Nella Physical AI, invece, la compromissione può interessare anche il rapporto fra sensori, rappresentazione dell’ambiente e decisione operativa. Una telecamera sporca, un’immagine degradata, un flusso video modificato o informazioni incoerenti provenienti dai sensori possono indurre il sistema a interpretare erroneamente ciò che deve fare. RoboSpoof dimostra una debolezza in condizioni sperimentali controllate; non documenta un attacco reale contro impianti industriali. Il problema si collega tuttavia alle criticità già emerse nella ricerca sulle vulnerabilità dei robot Eiliko e sulla possibilità di modificarne il comportamento attraverso servizi remoti, pur trattandosi di una superficie di attacco diversa. La sicurezza dei robot non può dipendere esclusivamente dalle istruzioni inserite nel modello linguistico. Occorrono verifiche sulle osservazioni, controlli indipendenti sui movimenti, procedure di arresto e strumenti capaci di individuare quando le informazioni disponibili non permettono una decisione affidabile.

Continua con:

Nvidia Isaac OS e Agile ONE SN portano la robotica europea nel suo ecosistema

Maxwell domina la Physical AI, Samsung porta l’intelligenza artificiale negli esoscheletri

Per l’industria italiana la sicurezza robotica diventa una questione di affidabilità dei sensori

La ricerca interessa direttamente la trasformazione dell’automazione industriale italiana, dove macchine e bracci robotici operano già in numerosi comparti produttivi e l’introduzione dell’intelligenza artificiale promette una maggiore capacità di adattarsi ad ambienti e attività meno rigidamente programmati. Un robot tradizionale esegue sequenze di movimento controllate entro condizioni definite; un sistema agentico può invece interpretare istruzioni e adattare autonomamente le proprie azioni sulla base dei dati ricevuti. Questa flessibilità amplia le applicazioni possibili, ma rende più complesso verificare in anticipo ogni situazione operativa. Il problema non riguarda soltanto l’industria manifatturiera: robot per logistica, assistenza, manutenzione e servizi possono incontrare ambienti nei quali oggetti e persone modificano continuamente la scena. Per imprese e integratori diventa necessario valutare non soltanto le prestazioni dichiarate dai fornitori, ma anche il comportamento delle macchine quando le informazioni sono incomplete, contraddittorie o manipolate. La presenza di modelli avanzati non costituisce una garanzia sufficiente: i controlli fisici, la supervisione, la ridondanza dei sensori e la gestione dei guasti rimangono componenti essenziali di qualsiasi architettura sicura.

Robocurve dimostra che un robot intelligente deve sapere quando fermarsi

Il risultato più importante dello studio non consiste soltanto nelle percentuali di tentativi rischiosi, ma nell’evidenza che l’incertezza percettiva può aumentare la disponibilità di un modello a eseguire un comando, anziché indurlo automaticamente a una maggiore prudenza. Si tratta di una debolezza che contraddice il comportamento desiderabile per un sistema fisico: quando il robot non dispone di informazioni sufficienti a distinguere un’operazione innocua da una pericolosa, dovrebbe interrompere l’attività o richiedere una verifica supplementare. RoboSpoof non fornisce una soluzione definitiva, ma indica una direzione per le valutazioni future: misurare la sicurezza anche in condizioni di immagini degradate, sensori non affidabili e ambienti manipolati, anziché limitarsi a osservare la capacità di completare i compiti. La diffusione della Physical AI renderà questa distinzione sempre più importante. Il vero progresso non sarà dimostrato soltanto dalla capacità di un robot di svolgere attività complesse, ma dalla sua affidabilità quando il mondo che osserva non corrisponde a quello che si aspetta.