Vera Rubin diventa una AI factory: NVL72, Groq 3 LPX e NVLink Fusion riducono il costo dei token

☁️ Punti chiave

• Vera Rubin NVL72 promette fino a 30 volte più throughput per megawatt e costi per token fino a 35 volte inferiori rispetto a GB300 NVL72 nei test NVIDIA.
• Groq 3 LPX separa la generazione dei token dal context processing, mentre Spectrum-X Multiplane scala la rete Ethernet fino a 512.000 GPU.
• NVLink Fusion apre l’infrastruttura NVIDIA a CPU e XPU custom, permettendo agli hyperscaler di utilizzare silicio proprietario dentro rack, networking e software NVIDIA.

NVIDIA sta trasformando Vera Rubin da nuova generazione di GPU a piattaforma completa per le AI factory destinate agli agenti autonomi. La società presenta NVL72 come dominio di calcolo rack-scale, affianca alle GPU Rubin il nuovo Groq 3 LPX per accelerare la generazione dei token, porta Spectrum-X Multiplane verso reti da centinaia di migliaia di acceleratori e utilizza NVLink Fusion per integrare CPU e XPU sviluppati da terzi. Il punto non è più costruire il singolo acceleratore più veloce, ma controllare l’intero percorso che porta dal contesto dell’agente al token prodotto, misurando throughput per megawatt, latenza e costo economico dell’inferenza.

Vera Rubin NVL72 porta la competizione dal FLOPS al throughput per megawatt

NVIDIA sostiene che Vera Rubin NVL72 possa raggiungere fino a 30 volte il throughput per megawatt di GB300 NVL72 sui workload agentici e ridurre fino a 35 volte il costo per milione di token. I valori provengono da misurazioni NVIDIA basate sul workload SemiAnalysis AgentX e devono quindi essere letti come risultati preliminari del produttore, non come benchmark indipendenti già consolidati. La documentazione tecnica pubblicata da NVIDIA sui test Vera Rubin NVL72 chiarisce inoltre che i risultati sono ancora in attesa di revisione da parte di SemiAnalysis e non comprendono il contributo della CPU Vera nelle attività di tool calling. La metrica scelta è però significativa: gli agenti consumano quantità di token molto superiori rispetto a una semplice chat perché accumulano contesto, chiamano strumenti, generano sotto-task e coordinano altri agenti.

È la stessa trasformazione già emersa nell’analisi sull’architettura Vera Rubin e sul passaggio dall’efficienza del singolo modello all’intelligenza prodotta per dollaro. Per NVIDIA, quindi, il nuovo limite industriale non è più soltanto la potenza computazionale disponibile, ma quanta attività agentica può essere sostenuta entro un determinato budget energetico.

NVL72 usa sette famiglie di chip come un unico sistema

La piattaforma Vera Rubin viene descritta come un’architettura composta da sette elementi principali: CPU Vera, GPU Rubin, Groq 3 LPU, NVLink 6 Switch, BlueField-4 DPU, Spectrum-6 SPX e ConnectX-9 SuperNIC. L’obiettivo dell’“extreme codesign” è evitare che GPU, rete, memoria e infrastruttura vengano ottimizzate separatamente. Le GPU Rubin utilizzano Tensor Core di quinta generazione, Transformer Engine di terza generazione e quantizzazione NVFP4, mentre il dominio NVL72 consente tecniche come expert parallelism, distributed KV cache, KV-aware routing e disaggregated serving.

La produzione di CPU Vera, GPU Rubin e sistemi NVL72 era già entrata nella fase industriale nelle settimane precedenti, come mostrato dall’accelerazione produttiva di Vera Rubin e dalla crescente pressione energetica dei data center AI. La differenza introdotta ora è che NVIDIA presenta esplicitamente il rack come unità elementare dell’infrastruttura, non più la singola GPU.

Groq 3 LPX separa context processing e generazione dei token

La novità più importante sul fronte inferenza è NVIDIA Groq 3 LPX, piattaforma specializzata nel decode dei modelli agentici. La presentazione NVIDIA di Groq 3 LPX e Spectrum-X descrive un’architettura nella quale le GPU Rubin elaborano il contesto, mentre gli acceleratori LP30 gestiscono la generazione dei token sensibile alla latenza. Un rack LPX può integrare 256 acceleratori LP30 collegati attraverso connessioni dirette chip-to-chip. NVIDIA dichiara 3.400 token di output al secondo con Gemma 4 31B su un contesto da 100.000 token, circa quattro volte il concorrente più vicino nel benchmark utilizzato dall’azienda.

La separazione tra prefill e decode risponde a un problema concreto degli agenti: elaborare un prompt lungo richiede throughput elevato, ma generare sequenzialmente ogni token richiede soprattutto bassa latenza. Usare la stessa architettura per entrambe le fasi può quindi lasciare una parte dell’hardware sottoutilizzata. LPX tenta di eliminare questo compromesso facendo lavorare insieme acceleratori differenti sullo stesso modello.

Spectrum-X Multiplane porta Ethernet fino a 512.000 GPU

La crescita del dominio di calcolo richiede una rete capace di evitare che il networking diventi il nuovo collo di bottiglia. Spectrum-X Multiplane divide la connessione di ciascun server in più piani Ethernet indipendenti, mantenendo una topologia a due livelli invece di aggiungere un terzo tier di switch. NVIDIA dichiara una capacità teorica fino a 512.000 GPU, con 1.600 Gb/s per GPU attraverso ConnectX-9 e switch SN6000 basati sul chip Spectrum-6 da 102,4 Tb/s.

In una configurazione a otto piani, la perdita di un singolo plane lascerebbe disponibile circa il 90% della banda complessiva, mentre il recupero hardware sarebbe undici volte più rapido rispetto al multiplane balancing implementato soltanto in software. NVIDIA attribuisce alla piattaforma un miglioramento fino a 1,6 volte dell’output dell’AI factory rispetto a Ethernet tradizionale. La rete diventa quindi parte del calcolo stesso: se i token dipendono da KV cache distribuite, expert parallelism e continue comunicazioni tra acceleratori, la latenza dello switch incide direttamente sulla produttività delle GPU.

NVLink Fusion apre il dominio NVIDIA agli XPU sviluppati dagli hyperscaler

La scelta più strategica è però NVLink Fusion. NVIDIA apre la propria interconnessione scale-up a XPU e CPU personalizzati, permettendo agli hyperscaler di inserire acceleratori proprietari dentro la stessa architettura usata dai sistemi Vera Rubin. Nel documento NVIDIA dedicato a NVLink Fusion l’azienda sostiene che NVLink di sesta generazione offra trasferimenti XPU-to-XPU con latenza tre volte inferiore e packet rate dieci volte superiore rispetto a soluzioni basate su Ethernet standard. NVLink-C2C può inoltre collegare XPU alla CPU Vera o ad altre CPU dell’ecosistema con un’efficienza energetica dichiarata fino a sei volte quella di PCIe. Il punto industriale è rilevante: Amazon, Google, Microsoft e altri operatori sviluppano sempre più silicio custom, quindi NVIDIA rischierebbe di vedere una parte del calcolo uscire dalle proprie GPU. NVLink Fusion risponde permettendo al cliente di cambiare acceleratore senza necessariamente abbandonare rack MGX, switch NVLink, raffreddamento, alimentazione, networking e software NVIDIA.

NVIDIA apre il silicio ma prova a trattenere tutta l’infrastruttura

Questa apertura non rappresenta quindi un arretramento del modello full-stack. Al contrario, NVIDIA cerca di spostare il proprio vantaggio competitivo dal possesso esclusivo della GPU al controllo della fabbrica nella quale GPU e XPU lavorano insieme. Intel, MediaTek, GUC, Annapurna Labs e diversi partner ASIC possono sviluppare componenti specifici, ma integrarli attraverso NVLink Fusion significa entrare nell’ecosistema MGX, NCCL, Dynamo, NIXL e Mission Control.

È una forma di apertura orizzontale costruita sopra una forte integrazione verticale. La strategia era già visibile quando NVIDIA aveva ridimensionato Rubin Ultra mentre il mercato cercava architetture più modulari per contenere i costi dell’AI: non tutti i workload richiedono lo stesso acceleratore e il cliente vuole poter combinare GPU general purpose, ASIC e processori specializzati. NVIDIA prova a rendere questa eterogeneità compatibile con la propria piattaforma invece di combatterla.

BlueField-4 introduce anche lo scale-in per servizi, storage e sicurezza

Alla tradizionale distinzione tra scale-up, cioè la comunicazione ad altissima velocità dentro un dominio di acceleratori, e scale-out, cioè la connessione tra rack e cluster, NVIDIA aggiunge ora lo scale-in. Il nuovo livello utilizza BlueField-4 e DOCA per accelerare servizi infrastrutturali come networking multi-tenant, storage, sicurezza, provisioning e osservabilità senza sottrarre cicli alla CPU host. L’idea nasce dall’evoluzione degli agenti autonomi: non eseguono soltanto inferenza, ma interrogano database, accedono allo storage, lanciano codice, chiamano API e comunicano continuamente con sistemi esterni. Accelerare la GPU senza accelerare questi servizi lascerebbe quindi una parte crescente del workflow fuori dal percorso ottimizzato. È la stessa logica che aveva spinto NVIDIA a portare agentic AI anche nei sistemi industriali e nelle fabbriche autonome: l’agente non vive isolato nel modello, ma dentro una catena di strumenti, dati e risorse che devono rispondere alla stessa velocità.

Vera Rubin trasforma il data center in una macchina per produrre token

Il messaggio più importante delle tre presentazioni NVIDIA è quindi meno legato al singolo chip di quanto sembri. Vera Rubin NVL72, Groq 3 LPX, Spectrum-X Multiplane, BlueField-4 e NVLink Fusion descrivono un data center nel quale ogni livello viene progettato in funzione del token finale. GPU Rubin elabora il contesto, LPX accelera il decode, NVLink collega il dominio scale-up, Spectrum-X porta i rack su scala di centinaia di migliaia di acceleratori e BlueField gestisce i servizi infrastrutturali. Persino il silicio custom degli hyperscaler viene inglobato attraverso NVLink Fusion. Il salto rispetto a Blackwell è quindi soprattutto sistemico: Blackwell aveva già dimostrato forti guadagni nei benchmark MLPerf e AgentPerf, mentre Rubin prova a trasformare quelle prestazioni in una metrica industriale composta da token per secondo, token per watt, costo per token, utilizzo e uptime. NVIDIA non vuole più vendere semplicemente GPU per l’AI: vuole definire l’architettura completa della fabbrica che produce l’intelligenza.