Attacco AI contro AI: Hugging Face compromessa da un agente autonomo. Rubate credenziali cloud tra i cluster

🛡️ Executive Summary

• Un dataset malevolo ha sfruttato un loader con esecuzione remota e una template injection per compromettere un worker di elaborazione.
• L’agente autonomo ha raggiunto nodi e cluster interni, raccogliendo credenziali cloud attraverso oltre 17.000 azioni automatizzate.
• Hugging Face ha ricostruito i nodi, ruotato i segreti e consiglia agli utenti di sostituire i token e controllare gli accessi recenti.

Hugging Face ha rivelato un’intrusione nella propria infrastruttura di produzione condotta dall’inizio alla fine attraverso un sistema di agenti AI autonomi. L’accesso iniziale è avvenuto tramite un dataset malevolo capace di sfruttare due percorsi di esecuzione del codice nella pipeline di elaborazione. Gli attaccanti hanno successivamente raggiunto più cluster interni e acquisito alcune credenziali cloud e di servizio. L’azienda non ha trovato prove di alterazioni ai modelli, ai dataset o agli Spaces pubblici e ha dichiarato integra la propria supply chain software. L’effettivo impatto su dati di clienti e partner rimane tuttavia in fase di valutazione.

Il dataset malevolo apre due percorsi di esecuzione del codice

L’incidente è iniziato nella pipeline utilizzata da Hugging Face per elaborare i dataset caricati sulla piattaforma, una superficie particolarmente delicata perché deve accettare contenuti provenienti da soggetti esterni e trasformarli in formati visualizzabili o utilizzabili dai servizi interni. Il file preparato dagli attaccanti ha abusato di due meccanismi distinti: un loader di dataset capace di eseguire codice remoto e una template injection inserita nella configurazione del dataset. Entrambi i percorsi hanno consentito di eseguire istruzioni arbitrarie su un worker incaricato dell’elaborazione. Hugging Face non ha pubblicato il codice dell’exploit né dettagli sufficienti per riprodurlo, ma ha confermato di aver chiuso alla radice le due possibilità utilizzate per ottenere l’accesso iniziale. La scelta del dataset come vettore dimostra che, nelle piattaforme AI, i dati non possono più essere considerati contenuti passivi: configurazioni, loader, formati serializzati, template e dipendenze associate possono incorporare comportamenti eseguibili e trasformarsi in componenti della catena d’attacco. Lo stesso principio emerge nei casi in cui repository Git e ambienti di sviluppo eseguono codice durante l’apertura di progetti apparentemente legittimi o quando pacchetti e configurazioni compromesse sfruttano la fiducia accordata agli strumenti della supply chain. Il problema non si limita quindi alla presenza di un file infetto, ma riguarda l’autorità concessa al sistema che deve interpretarlo. Un worker destinato a processare materiale non affidabile dovrebbe operare dentro una sandbox con privilegi minimi, senza credenziali riutilizzabili e senza accesso diretto a cluster o servizi non indispensabili. Nella comunicazione ufficiale sull’incidente, Hugging Face riconosce che l’attore è riuscito a superare il confine del worker, raggiungendo un livello di accesso molto più ampio rispetto a quello necessario alla sola elaborazione del dataset.

L’agente autonomo esegue migliaia di azioni e si sposta tra i cluster

Dopo l’esecuzione iniziale, l’attacco è proseguito con un’escalation fino al livello del nodo, seguita dalla raccolta di credenziali cloud e token utilizzati dai servizi interni. L’agente ha quindi effettuato movimento laterale verso diversi cluster durante un fine settimana, sfruttando le autorizzazioni ottenute per esplorare l’infrastruttura e mantenere la propria operatività. Hugging Face attribuisce l’intera campagna a un framework autonomo apparentemente costruito sopra un harness destinato alla ricerca di sicurezza, ma non conosce il modello linguistico utilizzato dagli attaccanti. L’azienda parla di uno sciame di sandbox temporanee e di un sistema di comando e controllo capace di migrare autonomamente tra servizi pubblici. La ricostruzione comprende oltre 17.000 eventi registrati, indicativi non di un singolo script lineare, ma di una successione di azioni di ricognizione, tentativi, adattamenti e spostamenti eseguiti a velocità macchina. L’autonomia non implica necessariamente l’assenza assoluta di operatori umani nell’intera campagna: significa che le fasi osservate all’interno dell’infrastruttura sono state orchestrate end-to-end dal framework agentico senza la presenza costante di un aggressore davanti alla tastiera. La differenza è sostanziale perché un agente può ripetere operazioni, analizzare errori, modificare i propri passaggi e distribuire il lavoro tra ambienti effimeri con costi molto inferiori rispetto a un gruppo umano impegnato manualmente su ogni host. Questa evoluzione era già visibile nelle botnet agentiche capaci di sfruttare prompt injection e dipendenze inesistenti e nei sistemi che automatizzano ricognizione, accesso e persistenza. Nel caso Hugging Face, però, l’agente non ha agito contro un ambiente dimostrativo: ha compromesso una piattaforma di produzione, raccolto segreti reali e raggiunto più segmenti infrastrutturali.

Dataset interni e credenziali coinvolti ma nessuna alterazione pubblica rilevata

Hugging Face ha identificato accessi non autorizzati a un insieme limitato di dataset interni e a diverse credenziali utilizzate dai propri servizi. L’azienda non ha specificato quali informazioni fossero contenute nei dataset né quali privilegi fossero associati a tutti i token compromessi, mantenendo aperta la valutazione sull’eventuale coinvolgimento di dati appartenenti a partner o clienti. Le parti interessate verranno contattate direttamente qualora l’indagine confermi un’esposizione. Non sono invece emerse prove di modifiche ai modelli, ai dataset o agli Spaces accessibili pubblicamente. Anche immagini container e pacchetti software distribuiti attraverso la piattaforma sono stati verificati senza individuare manomissioni. Questa distinzione riduce il rischio immediato di una compromissione generalizzata della supply chain, ma non elimina la gravità dell’incidente. Hugging Face rappresenta uno dei principali punti di distribuzione per modelli, librerie e dataset utilizzati da sviluppatori, ricercatori e aziende: l’alterazione di un asset pubblico avrebbe potuto propagare codice o pesi malevoli su un numero elevato di sistemi downstream. Le campagne che sfruttano centinaia di repository falsi per distribuire infostealer mostrano quanto sia efficace trasformare una piattaforma di sviluppo in un canale di consegna. In questo caso non esistono evidenze che l’attaccante abbia raggiunto tale obiettivo, ma la raccolta delle credenziali rende necessaria una verifica completa di ogni azione compiuta con i token coinvolti. Per questo motivo Hugging Face raccomanda alla community di ruotare precauzionalmente i token di accesso e controllare le attività recenti degli account. Gli utenti devono cercare login inattesi, nuove chiavi, modifiche ai repository, processi di pubblicazione non riconosciuti e chiamate API provenienti da indirizzi o ambienti insoliti.

Hugging Face ricostruisce nodi e rafforza i controlli sui cluster

La risposta ha compreso la chiusura dei due percorsi di esecuzione del codice, l’eliminazione della presenza dell’attaccante e la ricostruzione dei nodi compromessi. L’azienda ha revocato le credenziali direttamente coinvolte, avviato una rotazione più ampia dei segreti e introdotto controlli di ammissione più severi nei cluster. Sono state inoltre modificate le procedure di rilevamento affinché un segnale ad alta gravità attivi una risposta entro pochi minuti, indipendentemente dal giorno o dall’orario. Il riferimento al fine settimana non è secondario: gli attaccanti hanno sfruttato una finestra in cui la capacità di verifica umana può essere ridotta, mentre un agente autonomo mantiene lo stesso ritmo operativo durante l’intera campagna. Hugging Face ha incaricato specialisti esterni di digital forensics, avviato una revisione delle proprie politiche e notificato l’incidente alle autorità. Dal punto di vista architetturale, le misure più importanti riguardano la separazione tra worker non affidabili e infrastruttura interna, la durata ridotta delle credenziali, il controllo delle chiamate ai metadata service cloud e l’impossibilità per un singolo nodo di riutilizzare token validi su cluster differenti. Le pipeline che elaborano modelli o dataset devono essere trattate come ambienti potenzialmente ostili fin dall’ingresso, applicando isolamento, allowlist delle funzioni consentite, filesystem temporanei, egress filtering e identità di servizio limitate alla singola attività. La compromissione di AsyncAPI attraverso pacchetti npm scaricati milioni di volte dimostra che una relazione di fiducia troppo ampia può trasformare un componente tecnico in un accesso persistente all’intera organizzazione. Nel caso Hugging Face, la capacità dell’agente di passare dal worker ai nodi e poi ai cluster indica che il contenimento iniziale non era sufficiente a impedire il movimento laterale.

GLM 5.2 ricostruisce l’intrusione quando le API commerciali bloccano l’analisi

La risposta difensiva ha utilizzato a sua volta strumenti basati sull’intelligenza artificiale. Una pipeline di rilevamento analizza la telemetria di sicurezza con modelli linguistici per separare gli eventi realmente sospetti dal normale rumore operativo. La correlazione tra più segnali ha permesso di identificare l’intrusione, mentre agenti di analisi hanno esaminato il registro completo delle attività dell’attaccante. Attraverso oltre 17.000 eventi, i sistemi hanno ricostruito la timeline, identificato gli indicatori di compromissione, mappato le credenziali raggiunte e distinto le azioni effettive dai tentativi o dalle attività diversive. Hugging Face sostiene che il lavoro sia stato completato in ore anziché nei giorni normalmente necessari per un’analisi manuale di questa portata. La fase forense ha però esposto una forma di asimmetria inattesa.

I primi modelli frontier utilizzati tramite API commerciali hanno bloccato le richieste perché i log contenevano comandi offensivi, exploit, payload e artefatti di comando e controllo. Le protezioni dei provider non riuscivano a distinguere un analista impegnato nella risposta a un incidente da un aggressore che cercava assistenza per sviluppare un attacco. L’azienda ha quindi eseguito GLM 5.2, modello open-weight, sulla propria infrastruttura. Questa scelta ha evitato i blocchi e impedito che comandi, credenziali e dati dell’attaccante uscissero dall’ambiente controllato. Il caso non dimostra che le salvaguardie dei modelli commerciali siano inutili, ma evidenzia la necessità di procedure dedicate per i team di incident response. Un’organizzazione non dovrebbe cercare un modello installabile soltanto dopo una compromissione: deve predisporre in anticipo capacità locali, policy d’uso, infrastruttura e personale in grado di verificare i risultati prodotti dall’AI.

Gli agenti offensivi trasformano dati e modelli in superfici di attacco

L’incidente segna un passaggio operativo rilevante perché mostra che gli strumenti autonomi possono sostenere una campagna paziente e articolata su infrastrutture reali. Il vantaggio per l’attaccante non consiste necessariamente in nuove vulnerabilità create dall’intelligenza artificiale, ma nella capacità di concatenare tecniche già note con velocità, persistenza e parallelismo superiori. Un agente può analizzare l’ambiente, provare più strade, migrare il comando e controllo, adattarsi ai fallimenti e produrre un volume di attività difficile da seguire manualmente. La difesa deve quindi ridurre il tempo tra segnale, comprensione e contenimento, senza affidare al modello decisioni irreversibili prive di supervisione. La Stealthy Memory Injection dimostra come contenuti apparentemente innocui possano avvelenare la memoria degli agenti, mentre l’attacco a Hugging Face mostra il percorso opposto: non è l’agente difensivo a essere manipolato, ma un agente offensivo a utilizzare dati malevoli come ingresso per un’intrusione tradizionale. Piattaforme AI, repository e servizi di inferenza devono pertanto considerare modelli, dataset, prompt, configurazioni e strumenti collegati come superfici di attacco di prima classe. Le misure necessarie restano in larga parte quelle della sicurezza infrastrutturale: isolamento, privilegi minimi, credenziali effimere, segmentazione, logging resistente alla cancellazione e verifica continua dell’integrità. L’intelligenza artificiale aumenta la velocità di entrambe le parti, ma non sostituisce questi controlli. Hugging Face invita gli utenti a ruotare i token, controllare l’attività recente e utilizzare il canale [email protected] per segnalare comportamenti sospetti, mentre prosegue l’analisi sull’eventuale coinvolgimento di informazioni appartenenti a terzi.