Qwen 3.8 27B su RTX 5090: la VRAM non basta e l’inferenza locale sbatte contro il software

⚙️ Da sapere

• Qwen 3.8 27B occupa circa 17 GB in quantizzazione a 4 bit e può quindi essere caricato su molte GPU consumer.
• Con llama.cpp e contesti lunghi, una RTX 5090 arriva però a circa 30 minuti di time-to-first-token nei test.
• vLLM e SGLang migliorano drasticamente le prestazioni, ma una singola RTX 5090 non gestisce contemporaneamente contesto completo, MTP e throughput elevato.

Qwen 3.8 27B sembra sulla carta un candidato ideale per l’AI locale: 27 miliardi di parametri, pesi open-weight, multimodalità nativa e circa 17 GB richiesti nella quantizzazione a 4 bit. I benchmark condotti su RTX 5090, RTX 4090, RTX 3090, DGX Spark, Mac Studio e Ryzen AI Halo mostrano però quanto sia fuorviante ridurre le prestazioni di un modello alla quantità di VRAM disponibile. La GPU può avere memoria sufficiente per caricare i pesi e continuare comunque a offrire un’esperienza mediocre quando entrano in gioco context window, KV cache, prompt processing, Multi-Token Prediction e soprattutto il motore di inferenza scelto. È precisamente la dinamica già emersa nel passaggio dall’AI misurata in benchmark teorici all’inferenza realmente ottimizzata sulle GPU.

Qwen 3.8 27B porta un modello dense da 27 miliardi di parametri sul desktop

La model card ufficiale di Qwen 3.8 27B descrive un modello dense da 27 miliardi di parametri, dotato di capacità vision-language native, modalità di reasoning configurabile e una finestra contestuale di 262.144 token, estendibile fino a un milione. La combinazione tra dimensioni relativamente contenute e quantizzazioni aggressive lo rende interessante per workstation dotate di GPU consumer. Il problema è che caricare il modello rappresenta soltanto il primo passaggio. Nei benchmark originali eseguiti da Tom’s Hardware, una RTX 5090 può allocare l’intero contesto da 262K usando llama.cpp, ma il comportamento a lunga finestra degrada fino a rendere l’esecuzione quasi inutilizzabile. La scheda che sul piano hardware rappresenta il vertice consumer di Nvidia incontra quindi un limite che non deriva semplicemente dalla capacità della memoria.

llama.cpp porta il time-to-first-token verso i 30 minuti

Il risultato più sorprendente riguarda llama.cpp. Nel test con una singola RTX 5090, il motore riesce ad allocare il contesto nativo completo ma, aumentando la lunghezza del prompt, il time-to-first-token arriva a circa 30 minuti. Anche il throughput in token al secondo precipita rispetto a quanto ci si aspetterebbe da una GPU di questa classe. Gli stessi tester sottolineano che il comportamento sembra indicare un problema nel runner o nello stack software, tanto più che una RTX 3090 non manifesta lo stesso identico cliff prestazionale osservato su RTX 4090 e RTX 5090. Il dato è importante perché dimostra che una configurazione apparentemente superiore sulla scheda tecnica può risultare peggiore nell’inferenza reale. È lo stesso scarto tra capacità teorica e comportamento effettivo che emerge quando si osserva la RTX 5090 fuori dai benchmark sintetici e dentro uno stack Linux reale.

Leggi anche: Mac Studio M5 Ultra porta l’AI locale fino a 512 GB e ridefinisce il confronto con le workstation Nvidia

vLLM migliora il throughput ma riduce il contesto disponibile

Passando a vLLM, lo scenario cambia radicalmente ma non scompare il compromesso. Una singola RTX 5090 riesce a eseguire Qwen 3.8 27B, tuttavia la ricetta utilizzata nei test limita il contesto a 32K token e non lascia memoria sufficiente per attivare il Multi-Token Prediction, tecnica prevista dal modello per accelerare la fase di decode. Il risultato è un throughput attorno ai 20 token al secondo, funzionale ma poco impressionante per una scheda di fascia così alta. Con due RTX 5090, invece, il quadro cambia: il contesto completo da 262K diventa accessibile, il decode sale a circa 70-80 token al secondo e l’attivazione di MTP porta il valore fino a 100-110 token al secondo. La contropartita è economica: la piattaforma dual-GPU usata nei test supera i 13.000 dollari, cioè circa 11.000 euro al cambio indicativo attuale, prima ancora di considerare il costo operativo della workstation.

SGLang dimostra quanto conta il motore di inferenza

Il confronto più istruttivo arriva da SGLang. Sullo stesso hardware e con lo stesso modello, una singola RTX 5090 produce prestazioni nettamente superiori alla configurazione vLLM usata nel test, arrivando in alcuni scenari a essere quasi tre volte più veloce e concedendo una finestra di circa 37.740 token. Non cambia il limite strutturale: per utilizzare tutti i 262K token servono comunque due GPU o una scheda professionale con 48 o 72 GB di VRAM. Cambia però la conclusione tecnica. La GPU non determina autonomamente la velocità dell’AI locale. Driver, quantizzazione, kernel CUDA, scheduling, gestione della KV cache, tensor parallelism, speculative decoding e supporto a MTP contribuiscono direttamente alla prestazione percepita. In questo senso, il benchmark fotografa una fase dell’AI locale nella quale l’ottimizzazione dello stack vale quanto una parte consistente dell’hardware acquistato.

Anche DGX Spark mostra perché la sola bandwidth inganna

Il comportamento di DGX Spark rafforza ulteriormente il punto. La piattaforma dispone di una bandwidth di memoria molto inferiore rispetto a sistemi desktop più aggressivi, ma la buona velocità di prefill le consente di mantenere un time-to-first-token relativamente interattivo anche a contesti lunghi. Il decode rimane intorno ai 20 token al secondo con MTP, ma l’esperienza complessiva può diventare migliore di quella di una RTX 5090 bloccata da llama.cpp durante l’elaborazione del prompt. Anche Mac Studio presenta un compromesso differente: maggiore bandwidth durante il decode, ma prompt processing più lento. I risultati rendono quindi poco significativi i confronti basati soltanto su TOPS, quantità di memoria o token al secondo misurati con un contesto vuoto.

Continua con:

• Il paradosso dell’AI: modelli più efficienti riducono il costo unitario ma moltiplicano il consumo complessivo
• Alibaba porta Qwen dentro Apple Intelligence per il mercato cinese

L’AI locale entra nella fase dell’ottimizzazione dello stack

Qwen 3.8 27B dimostra che far entrare un modello nella VRAM non equivale a farlo funzionare bene. Una RTX 5090 può essere sufficiente per inferenza locale a contesto ridotto, ma la combinazione tra contesti lunghi, MTP e throughput elevato sposta rapidamente il requisito verso più GPU o acceleratori professionali. Ancora più significativo è il fatto che la stessa scheda possa passare da risultati quasi inutilizzabili a prestazioni molto più elevate semplicemente sostituendo il motore di inferenza. L’hardware resta fondamentale, ma il collo di bottiglia si sta spostando verso software, runtime e capacità di utilizzare realmente la memoria disponibile. È un cambiamento importante anche per il mercato: nell’AI locale del 2026 comprare più VRAM senza conoscere il comportamento del proprio stack può significare spendere migliaia di euro per una capacità che il software non riesce ancora a sfruttare.