Qualcomm prepara Snapdragon per agenti AI sempre attivi: la NPU diventa un motore persistente

⚙️ Da sapere

• Qualcomm ridisegna Hexagon per eseguire agenti AI persistenti, multimodali e concorrenti direttamente sullo smartphone, riducendo i passaggi verso il cloud.
• La nuova NPU aggiunge un Element Accelerator per i transformer e aumenta del 50% la memoria condivisa disponibile vicino alle unità di calcolo.
• Il nodo critico diventa l’efficienza continua: gli agenti devono osservare contesto, ragionare e utilizzare strumenti senza prosciugare batteria e memoria.

Qualcomm prepara la prossima generazione Snapdragon attorno a un cambiamento più profondo della tradizionale crescita dei TOPS: la NPU deve diventare un motore capace di sostenere agenti AI continuamente attivi sul dispositivo. La nuova architettura Hexagon introduce hardware dedicato ai transformer, aumenta del 50% la memoria condivisa e supporta modelli Mixture-of-Experts per mantenere localmente una parte crescente di reasoning, contesto e orchestrazione. L’obiettivo non è eliminare completamente il cloud, ma evitare che ogni passaggio di un agente debba attraversarlo. Per gli smartphone significa spostare il collo di bottiglia dalla semplice velocità di inferenza alla capacità di mantenere più modelli e task AI in esecuzione con consumi compatibili con una batteria mobile.

La nuova Hexagon NPU nasce per agenti che non aspettano un prompt

La differenza rispetto alla generazione precedente è soprattutto nel tipo di workload preso come riferimento. Un assistente generativo tradizionale riceve una richiesta, esegue l’inferenza e restituisce una risposta. Un agente AI deve invece poter osservare informazioni disponibili sul dispositivo, conservare il contesto, decidere quale modello o strumento utilizzare, completare più passaggi e riprendere l’attività quando cambiano le condizioni. Nella presentazione tecnica della nuova architettura Hexagon Qualcomm descrive esplicitamente la NPU come progettata per always-running AI, long-context reasoning, modelli multimodali e agenti concorrenti. Non significa che la NPU resterà necessariamente al 100% di utilizzo in background: significa che l’hardware viene progettato affinché processi agentici persistenti possano essere risvegliati e mantenuti con un costo energetico molto inferiore rispetto all’uso continuo di CPU, GPU o servizi remoti.

È un’evoluzione coerente con il nuovo confine già mostrato da Gemini Nano 4, che richiede almeno 12 GB di RAM e SoC qualificati per portare le funzioni AI più avanzate direttamente sugli smartphone. La differenza è che Qualcomm sta ora progettando l’acceleratore non soltanto per eseguire il modello locale, ma per sostenere il ciclo completo dell’agente.

Element Accelerator porta i transformer dentro la progettazione hardware

Al centro della nuova Hexagon compare Element Accelerator, un blocco specializzato per le operazioni utilizzate dai transformer che alimentano gran parte degli LLM e dei modelli agentici moderni. Qualcomm lo affianca alle tradizionali estensioni scalar, vector e matrix della NPU. La specializzazione conta perché un agente non esegue necessariamente un’unica inferenza lunga: può alternare classificazione, generazione, ricerca nel contesto, routing verso strumenti e nuove inferenze successive. Ogni passaggio introduce latenza e trasferimenti di dati. La seconda modifica è quindi altrettanto importante: il sottosistema di memoria condivisa della NPU cresce del 50%. Più pesi, attivazioni e tensori intermedi possono rimanere vicino alle unità di calcolo anziché essere continuamente trasferiti verso la memoria DDR. Su uno smartphone il vantaggio non riguarda soltanto le prestazioni. Muovere dati consuma energia e occupa banda; ridurre questi trasferimenti può determinare se una funzione agentica sia utilizzabile continuamente o soltanto per brevi sessioni.

Leggi anche: Arm C2 Ultra mostra perché l’AI agentica sta modificando anche il ruolo della CPU negli smartphone

Mixture-of-Experts permette di evitare un unico enorme modello sempre caricato

Qualcomm punta inoltre sui Mixture-of-Experts, architetture nelle quali soltanto una parte dei parametri complessivi viene attivata per ciascun token o compito. È una scelta particolarmente adatta al mobile: un agente può possedere competenze differenti senza dover utilizzare continuamente l’intero modello. La piattaforma supporta precisioni comprese tra INT2 e FP16, permettendo agli sviluppatori di bilanciare memoria, velocità e accuratezza in funzione del workload. Per i modelli INT4, Qualcomm dichiara fino al 50% di incremento nelle prestazioni di prefill, oltre a decoding più rapido e speculative decoding migliorato. Il prefill è una fase importante per gli agenti perché riguarda l’elaborazione iniziale del contesto: più cresce la quantità di informazioni che il sistema deve conoscere prima di agire, più questa fase può diventare costosa. Accelerarla significa ridurre il tempo tra un cambiamento del contesto e la decisione dell’agente. Questa struttura rende anche meno necessaria l’idea di un singolo LLM onnipotente. L’architettura immaginata da Qualcomm utilizza modelli specializzati selezionati in funzione del compito, riservando eventualmente il cloud o modelli più grandi alle richieste che superano le capacità locali.

L’agente locale non elimina il cloud ma cambia quando serve

L’espressione “AI senza cloud” rischia quindi di semplificare troppo la strategia. Qualcomm sta cercando di rendere locale una quota crescente del workflow, non di dimostrare che ogni agente possa funzionare completamente offline. Attività come classificazione, interpretazione del contesto personale, elaborazione di notifiche, voce, immagini e alcune forme di reasoning possono rimanere sul dispositivo. Compiti che richiedono modelli molto più grandi, dati esterni aggiornati o capacità computazionale superiore possono ancora essere trasferiti verso infrastrutture remote. Il vantaggio è che il cloud smette di essere obbligatorio per ogni passaggio. Questo riduce latenza e costo per token, permette alcune funzioni offline e limita la quantità di informazioni personali che deve lasciare lo smartphone. La stessa impostazione era già visibile nella diffusione di Gemini Nano 4 sui nuovi Galaxy Fold e nei requisiti hardware sempre più severi per l’AI locale. La conseguenza industriale è altrettanto importante: se parte consistente dell’elaborazione passa dai data center a miliardi di terminali, il produttore del SoC acquisisce un ruolo molto più centrale nella piattaforma AI.

CPU, NPU e memoria devono lavorare insieme per mantenere l’agente operativo

Qualcomm chiarisce anche che la nuova NPU non lavora isolatamente. Hexagon accelera i transformer, ma la CPU Oryon continua a occuparsi di orchestrazione, disponibilità dei dati e passaggio tra i diversi task. La distinzione diventa importante perché un agente contiene logica che non è sempre efficiente sulle matrici della NPU: deve prendere decisioni, eseguire codice tradizionale, interagire con il sistema operativo e richiamare applicazioni o servizi. È precisamente questo il cambio architetturale. Il benchmark dell’NPU espresso in TOPS descrive sempre meno bene l’esperienza finale. Un agente lento può dipendere dalla memoria, dal routing tra modelli, dal caricamento del contesto o dal passaggio tra NPU e CPU molto più che dalla pura capacità di moltiplicare matrici. Non sorprende quindi che la prossima generazione Snapdragon 8 Elite sia già attesa in due configurazioni distinte: con l’aumento dei workload agentici, memoria, consumi e acceleratori specializzati diventano strumenti di segmentazione quanto CPU e GPU.

Continua con:

• Qualcomm e Samsung hanno già portato Snapdragon 8 Elite Gen 5 nel nuovo ecosistema Galaxy costruito attorno all’AI
• Google sposta sempre più funzioni Gemini sul dispositivo attraverso Nano 4 e AICore

Il vero limite degli agenti sul telefono sarà il consumo continuo

La nuova Hexagon NPU sposta quindi la domanda da “quanto velocemente può eseguire un modello?” a “quanto a lungo può mantenerlo utile?”. Un agente realmente persistente deve poter analizzare informazioni e reagire agli eventi durante tutta la giornata senza trasformare lo smartphone in un terminale costantemente caldo o dimezzarne l’autonomia. Memoria locale più ampia, quantizzazione, MoE e acceleratori specifici servono soprattutto a risolvere questo problema. Resta inoltre una questione che l’hardware da solo non può affrontare: un agente capace di operare continuamente dispone potenzialmente di accesso a notifiche, messaggi, calendario, posizione applicativa, file e strumenti del sistema. Portarlo sul dispositivo riduce l’esposizione al cloud, ma rende ancora più importante isolare permessi, memoria e capacità di azione. Qualcomm sta costruendo il motore necessario per rendere gli agenti mobili persistenti. Saranno Android e i produttori di smartphone a dover dimostrare che un’AI sempre disponibile possa essere anche sufficientemente controllabile da restare sempre accesa.