Qwen 3.8 da 2,4 trilioni di parametri arriva su SageMaker HyperPod con vLLM

🤖 Cosa cambia

• Qwen3.8-2.4T-A95B contiene 2,4 trilioni di parametri totali, ma ne attiva circa 95 miliardi per token attraverso architettura MoE.
• AWS mostra il deployment su una singola istanza ml.p6-b300 con otto GPU Nvidia B300 Blackwell Ultra e quantizzazione NVFP4.
• vLLM espone un endpoint compatibile OpenAI con reasoning, tool calling, contesto esteso e Multi-Token Prediction per speculative decoding.

Il salto tra AI locale e AI hyperscale diventa evidente osservando due modelli della stessa famiglia. Qwen 3.8 27B può entrare nella VRAM di una GPU consumer quantizzata, ma incontra rapidamente limiti di contesto e throughput. Qwen3.8-2.4T-A95B, invece, porta il modello Max open-weight di Alibaba a 2,4 trilioni di parametri complessivi e richiede un’infrastruttura completamente differente. AWS mostra ora come eseguirlo su Amazon SageMaker HyperPod con vLLM, otto GPU Nvidia B300 Blackwell Ultra, quantizzazione NVFP4 e un endpoint compatibile con le API OpenAI. Il modello attiva circa 95 miliardi di parametri per token e supporta una finestra nativa da 262.000 token, estensibile fino a un milione.

Qwen-Max diventa per la prima volta open weight

Secondo la guida tecnica pubblicata da AWS, Qwen3.8-2.4T-A95B rappresenta la release open-weight di Qwen3.8-Max e utilizza una Mixture of Experts con 2,4 trilioni di parametri totali e 95 miliardi attivati durante l’inferenza. L’architettura combina attenzione lineare e full attention ed è pensata per coding multi-step, pianificazione di lungo periodo, reasoning e utilizzo autonomo di strumenti. Rendere disponibili i pesi di un modello di questa classe permette alle aziende di eseguire l’inferenza dentro la propria infrastruttura e personalizzare il serving, ma trasferisce su di loro anche la complessità computazionale.

Leggi anche: Qwen 3.8 27B mostra sulla RTX 5090 quanto contino VRAM e motore di inferenza

Otto B300 servono per portare 2,4T in una singola istanza

AWS utilizza una ml.p6-b300 equipaggiata con otto Nvidia B300 Blackwell Ultra. È una scala completamente diversa dalla workstation desktop: non basta ospitare i pesi, bisogna distribuire il modello tra acceleratori, gestire KV cache, parallelismo e comunicazioni ad alta velocità e mantenere un throughput sufficiente a giustificare l’investimento. La quantizzazione NVFP4 riduce il footprint e sfrutta direttamente le capacità Blackwell dedicate ai formati FP4, permettendo di servire il modello con meno memoria rispetto alle rappresentazioni numeriche tradizionali.

È la stessa frattura mostrata dalla crescita dei costi infrastrutturali dell’AI nonostante modelli sempre più efficienti: il costo per singolo parametro o token può diminuire, ma modelli sempre più grandi assorbono immediatamente parte del vantaggio attraverso una scala di deployment superiore.

vLLM espone reasoning e tool calling attraverso API compatibili OpenAI

Il serving utilizza vLLM, configurato per offrire un endpoint compatibile con OpenAI. Qwen mantiene quindi reasoning, tool calling, output strutturato e modalità agentiche senza costringere le applicazioni a utilizzare un protocollo proprietario completamente nuovo. La configurazione include anche Multi-Token Prediction, attraverso cui il modello può proporre più token futuri e sfruttare speculative decoding per aumentare la velocità. Questo dettaglio mostra perché il runtime è diventato importante quasi quanto il modello. Nei test desktop su Qwen 3.8 27B, il passaggio tra llama.cpp, vLLM e SGLang produceva differenze enormi a parità di hardware. Su un modello da 2,4T quella stessa efficienza diventa un requisito economico: uno spreco anche relativamente piccolo moltiplicato per otto acceleratori B300 può trasformarsi rapidamente in capacità inutilizzata.

HyperPod gestisce il problema operativo oltre le GPU

SageMaker HyperPod non serve soltanto ad allocare acceleratori. Gestisce cluster, resilienza e orchestrazione di infrastrutture destinate ad addestramento e inferenza distribuita, riducendo il lavoro necessario per sostituire nodi o ripristinare job. È la direzione già visibile quando AWS ha utilizzato HyperPod per reinforcement learning multi-turn e modelli personalizzati. Per un modello open-weight gigantesco, il valore non è soltanto la disponibilità delle GPU, ma poter mantenere pesi, dati e richieste dentro un ambiente controllato evitando tariffe API per token. Il compromesso passa dall’acquisto del servizio di inferenza all’acquisto dell’infrastruttura necessaria per produrla autonomamente.

Continua con:

• GPT-6 Astra su Bedrock mostra l’alternativa gestita ai modelli open serviti direttamente

Da 27 miliardi sul desktop a 2,4 trilioni nel data center

I due estremi della famiglia Qwen sintetizzano bene il mercato AI del 2026. Qwen 3.8 27B rende possibile lavorare localmente con hardware relativamente accessibile, accettando compromessi su contesto e velocità. Qwen3.8-2.4T-A95B porta invece la massima capacità open-weight dentro un ambiente nel quale il problema centrale non è più possedere una GPU, ma orchestrare un intero cluster. L’apertura dei pesi non rende quindi automaticamente democratico un modello. Rende possibile scegliere chi gestisce l’inferenza. Nel caso di Qwen 3.8 Max, quella libertà richiede però una potenza computazionale che resta saldamente nel territorio hyperscale.