Meta porta la rete dentro MTIA v300 e reinventa RoCE per i cluster AI su Ethernet

☁️ Punti chiave

• MTIA v300 integra 12 NIC RDMA da 800 Gbps nel package e 16 message engine dedicati, evitando che comunicazione e training competano per le stesse risorse.
• Meta dichiara fino a 940 GB/s di banda HCCL nel rack e comunicazioni 3,9 volte più rapide delle GPU equivalenti su un modello da 150 miliardi di parametri.
• MetaRoCE elimina la dipendenza da PFC, accetta packet loss e out-of-order delivery e sarà pubblicato attraverso Open Compute Project come specifica aperta.

Meta non vuole più considerare la rete un componente esterno al chip AI. Con MTIA v300, il nuovo acceleratore proprietario destinato al training dei modelli di ranking e recommendation, l’azienda integra direttamente nel package 12 NIC RDMA da 800 Gbps e motori dedicati alla comunicazione collettiva. Parallelamente presenta MetaRoCE, un nuovo trasporto RDMA progettato da zero per Ethernet su cluster AI di dimensioni hyperscale. Le due tecnologie affrontano lo stesso problema da lati opposti: evitare che miliardi di dollari di acceleratori restino inutilizzati mentre aspettano dati dalla rete. Per Meta la competizione con NVIDIA e gli altri hyperscaler si sposta quindi dal singolo ASIC alla progettazione congiunta di calcolo, memoria, comunicazione e fabric.

MTIA v300 nasce perché i recommendation model comunicano più di quanto calcolino

Il nuovo MTIA v300 non è progettato principalmente per addestrare LLM generalisti. Meta lo ottimizza per i modelli di ranking e recommendation che decidono quali video, post e contenuti mostrare agli utenti delle proprie piattaforme. In questi workload le embedding table possono rappresentare oltre il 99% dei parametri, costringendo centinaia di acceleratori a eseguire continuamente operazioni AllReduce, AllToAll e AllGather. Nel documento tecnico dedicato a MTIA v300 Meta spiega che sulle GPU tradizionali la comunicazione collettiva compete con il training per gli stessi streaming multiprocessor, lasciando costoso silicio inutilizzato.

MTIA v300 nasce per separare completamente questi due domini. È la naturale evoluzione di una strategia iniziata anni fa, quando Meta aveva già mostrato la propria roadmap hardware AI attorno a MTIA e ai sistemi custom, ma la nuova generazione tratta esplicitamente il networking come parte dell’architettura del processore.

Dodici NIC da 800 Gbps eliminano il passaggio attraverso PCIe

Il package contiene due network chiplet, ognuno con sei NIC RDMA custom da 800 Gbps, per un totale di 1,2 TB/s di I/O teorico senza attraversare il bus PCIe. Le stesse dodici interfacce vengono utilizzate dinamicamente sia per lo scale-up dentro il rack, fino a circa 1 TB/s, sia per lo scale-out tra rack, dove Meta indica 200 GB/s. La ripartizione può essere riconfigurata via software senza modificare il chip. Il vantaggio principale è eliminare il percorso accelerator → host → NIC tipico di molte architetture GPU, nel quale CPU e PCIe introducono latenza e consumano banda.

Meta aggiunge anche le cosiddette express doorbell: la stessa scrittura della work request funge da segnale di attivazione, evitando una lettura aggiuntiva in memoria e risparmiando circa 800 nanosecondi per operazione. Su un singolo messaggio il guadagno sembra minimo; moltiplicato per milioni di operazioni collettive diventa parte sostanziale della produttività del cluster.

Sedici message engine liberano completamente la griglia di calcolo

MTIA v300 affianca alla griglia 12×6 di processing element altri 16 Message Engine, progettati esclusivamente per le comunicazioni. Ogni ME integra un core RISC-V, un’interfaccia verso le NIC e un blocco Near-Memory Compute capace di eseguire riduzioni a 128 byte per ciclo. Nel complesso gli NMC raggiungono oltre 2,8 TB/s di throughput nelle riduzioni, valore superiore alla banda I/O del chip e sufficiente a eseguire AllReduce e ReduceScatter alla velocità della rete. Meta sostiene che l’esecuzione simultanea di grandi GEMM e operazioni collettive riduca il throughput del calcolo di meno dello 0,5%, contro perdite superiori al 20% osservabili su architetture nelle quali comunicazione e compute condividono le stesse risorse. Il principio è lo stesso che sta ridisegnando i cluster Prometheus da un gigawatt, dove il networking è già diventato parte integrante dell’architettura AI: oltre una determinata scala, aggiungere acceleratori senza aumentare l’efficienza della fabric produce soltanto hardware più costoso in attesa della rete.

HCCL compila la comunicazione insieme al workload

L’altra metà dell’architettura è HCCL, libreria di comunicazione sviluppata congiuntamente al chip. Invece di affidarsi alla CPU per orchestrare ogni operazione durante l’esecuzione, HCCL compila le collective in subgraph completi con dipendenze esplicite, poi li consegna ai Message Engine. Una volta copiate le istruzioni in HBM, l’host non deve più intervenire. La libreria si integra con torch.compile, PyTorch c10d e torchcomms, permettendo di compilare comunicazione e operatori computazionali dentro lo stesso grafo. In produzione Meta dichiara fino a 940 GB/s di banda HCCL all’interno di un rack e, su un modello recommendation da 150 miliardi di parametri distribuito su 40 acceleratori, un tempo totale di comunicazione 3,9 volte inferiore rispetto al cluster GPU equivalente. Il chip dispone inoltre di 216 GB di HBM3E, quantità sufficiente ad aumentare il batch locale e ridurre ulteriormente il numero di trainer necessari.

MetaRoCE rompe con il principio della rete lossless

Se MTIA v300 porta la rete dentro il chip, MetaRoCE modifica il protocollo con cui i chip comunicano attraverso Ethernet. Lo standard RoCE tradizionale presuppone infatti una rete sostanzialmente lossless e fa largo uso di Priority Flow Control, meccanismo che può diventare difficile da amministrare quando il cluster cresce su molti piani e data center.

Nel progetto MetaRoCE Meta sceglie l’approccio opposto: la perdita dei pacchetti viene considerata normale. Il trasporto non pretende che la fabric garantisca ordine perfetto e assenza di loss, ma sposta l’intelligenza nelle NIC agli estremi della connessione. È una scelta radicale perché permette di utilizzare Ethernet commodity senza trasformare ogni switch in un componente specializzato per il comportamento RDMA.

I pacchetti possono arrivare fuori ordine per progettazione

MetaRoCE utilizza native out-of-order delivery. I pacchetti vengono distribuiti contemporaneamente su numerosi percorsi e possono arrivare fuori sequenza. Ogni pacchetto contiene però le informazioni necessarie per raggiungere direttamente la posizione finale in memoria, eliminando reorder buffer e head-of-line blocking.

Ogni connessione possiede inoltre più path indipendenti, ciascuno con misure proprie di RTT, stato ECN, finestra di congestione e utilizzo. Le NIC possono modificare in tempo reale la UDP source port usata come entropia ECMP e spostare il traffico da un percorso congestionato o guasto senza coinvolgere l’applicazione. Questa impostazione assume particolare importanza nelle architetture multiplane: invece di chiedere agli switch di mantenere coerenza globale, è l’endpoint a decidere come distribuire i pacchetti tra i piani disponibili.

Con l’1% di packet loss mantiene circa l’86% del throughput

I test pubblicati da Meta sono stati eseguiti insieme ad AMD, implementando MetaRoCE sulle NIC programmabili Pensando e confrontandolo con RoCEv2 su un cluster da 64 nodi GPU durante operazioni RCCL AllReduce e AllToAll. Meta dichiara throughput superiore e flow completion time inferiori rispetto a RoCEv2. Il dato più significativo emerge però sotto perdita artificiale: con 1% di packet loss MetaRoCE conserva circa l’86% del throughput e continua a trasferire dati persino con un tasso estremo del 10%, degradando progressivamente invece di collassare.

I test su fabric a quattro e otto piani, fino a 4.000 connessioni concorrenti, hanno inoltre mostrato scaling quasi lineare e ridistribuzione automatica del traffico quando un intero piano viene simulato come guasto. È un cambiamento di filosofia rispetto alle architetture lossless utilizzate finora e anche rispetto a parte dell’infrastruttura Prometheus, dove PFC viene ancora impiegato sulle tratte che richiedono losslessness.

Meta vuole trasformare Ethernet nello standard universale dell’AI

MetaRoCE non dovrebbe rimanere una tecnologia proprietaria. Meta annuncia la pubblicazione della specifica completa, implementazione software di riferimento e compliance suite attraverso Open Compute Project, con rilascio previsto in ottobre durante l’OCP Global Summit 2026. La libreria libsoftmetaroce può già eseguire il protocollo su Linux e normali socket UDP, senza hardware specializzato, e fungerà da modello comportamentale per i produttori di NIC.

È una scelta coerente con la lunga strategia open hardware di Meta, che aveva già portato componenti infrastrutturali dentro Open Compute Project e partnership multi-vendor per l’efficienza dei data center AI. Il messaggio a NVIDIA è evidente: Meta non vuole dipendere da un’interconnessione proprietaria per ogni livello del proprio stack e considera Ethernet il fabric su cui costruire cluster da centinaia di migliaia e, in prospettiva, milioni di acceleratori.

MTIA v300 e MetaRoCE spostano il vantaggio competitivo dal chip al sistema

Il valore dei due annunci sta soprattutto nella loro combinazione. MTIA v300 integra networking e collective offload direttamente nel silicio; MetaRoCE rende la fabric Ethernet più tollerante a perdita, multipath e guasti. Uno ottimizza il punto di partenza della comunicazione, l’altro il trasporto. È la stessa logica di system-level codesign che NVIDIA sta applicando con NVLink, Spectrum-X e Vera Rubin, ma Meta sceglie una strada più apertamente Ethernet e multi-vendor. La guerra dell’hardware AI non si misura quindi più soltanto in TOPS, FLOPS o capacità HBM. Conta quanto velocemente un acceleratore possa consegnare dati al successivo, quanto poco compute venga sacrificato per la comunicazione e quanto bene il cluster continui a funzionare quando link e switch inevitabilmente falliscono. MTIA v300 e MetaRoCE mostrano che Meta considera ormai la rete una parte del processore e il protocollo di trasporto una parte del modello di calcolo. In un’infrastruttura dove la GPU più lenta può essere semplicemente quella che sta aspettando un pacchetto, il prossimo grande acceleratore potrebbe vincere soprattutto perché comunica meglio.