DeepSeek pubblica DeepInfer: l’AI open source sfida i costi dell’inferenza

⚙️ Da sapere

• DeepSeek pubblica DeepInfer sotto licenza Apache 2.0, rendendo accessibile una parte del software utilizzato per l’inferenza del modello DeepSeek V4.1 Flash.
• Il framework supporta GPU Nvidia SM100 e NPU Huawei Ascend 950, con ottimizzazioni per parallelismo, decoding speculativo e gestione dei carichi.
• DeepSeek dichiara 155.000 miliardi di token elaborati quotidianamente da un cluster, ma il codice rilasciato non comprende cache distribuita e bilanciamento necessari a replicarne il servizio.

DeepSeek ha pubblicato DeepInfer, il framework di inferenza utilizzato per alimentare i propri servizi AI su larga scala, mettendo a disposizione degli sviluppatori una parte significativa dell’infrastruttura software che consente di eseguire modelli linguistici complessi. Il rilascio del 20 ottobre 2026, distribuito sotto licenza Apache 2.0, supporta GPU Nvidia SM100 e acceleratori Huawei Ascend 950, ampliando la competizione tra piattaforme hardware occidentali e cinesi. DeepSeek dichiara che un proprio cluster elabora 155.000 miliardi di token al giorno, ma la documentazione chiarisce un limite fondamentale: DeepInfer è disponibile per l’inferenza offline e non comprende ancora tutti i componenti necessari a replicare il servizio commerciale dell’azienda.

DeepInfer rende pubblico il motore di inferenza di DeepSeek V4.1 Flash

Il repository ufficiale DeepInfer identifica DeepSeek V4.1 Flash come unico modello attualmente supportato e utilizza per impostazione predefinita il checkpoint DeepSeek-V4.1-Flash-1017. Il software comprende runtime del modello, kernel ottimizzati, scheduling asincrono, decoding speculativo e funzioni per produrre output strutturati secondo schemi JSON, espressioni regolari e grammatiche EBNF. DeepSeek non pubblica quindi un nuovo modello linguistico, ma il sistema necessario a trasformare i pesi già disponibili in risposte, gestendo memoria, calcolo e distribuzione delle operazioni sugli acceleratori. La distinzione è importante perché il costo industriale dell’AI non dipende soltanto dall’addestramento: ogni richiesta successiva richiede risorse computazionali, e l’efficienza del software determina quante richieste possono essere elaborate utilizzando lo stesso hardware. Il rilascio completa la strategia illustrata con DeepSeek V4.1 Flash e la competizione cinese sui modelli per programmazione e applicazioni AI, spostando l’attenzione dalle capacità del modello al costo della sua esecuzione.

Leggi anche: AMD compra World Labs e DeepSeek apre a Huawei: la guerra AI passa dallo stack

DSpark e parallelismo MoE riducono il lavoro necessario per generare token

DeepInfer combina diversi progetti software già sviluppati da DeepSeek, fra cui FlashMLA, DeepGEMM, DeepEP e TileLang, con un sistema di scheduling progettato per sovrapporre alcune attività della CPU all’esecuzione sugli acceleratori. Una delle componenti principali è DSpark, il sistema di decoding speculativo che propone più token prima della verifica definitiva. La novità consiste nella possibilità di regolare dinamicamente quanti token verificare in base alla probabilità che vengano accettati, evitando parte del calcolo dedicato a proposte poco promettenti. Il framework supporta inoltre l’expert parallelism utilizzato dai modelli Mixture-of-Experts, distribuendo i componenti specializzati tra diversi acceleratori e bilanciandone il carico. Sono ottimizzazioni importanti perché il tempo di risposta non dipende soltanto dalla potenza nominale delle GPU, ma anche dalla quantità di memoria trasferita e dalla capacità di mantenerle impegnate senza rallentamenti. La relazione tra memoria disponibile e prestazioni era già emersa nei benchmark di inferenza locale su RTX 5090, dove la VRAM limita l’esecuzione di modelli complessi. DeepInfer interviene proprio su questi colli di bottiglia, senza promettere che possano essere eliminati.

Nvidia SM100 e Huawei Ascend 950: DeepSeek costruisce una strada oltre CUDA

La compatibilità dichiarata riguarda due piattaforme precise: GPU Nvidia con architettura SM100, attraverso CUDA 13, e Huawei Ascend 950, attraverso CANN 9.2. L’ambiente di compilazione richiede Linux, Python 3.12 e GCC 13 o superiore. Non si tratta quindi di un framework genericamente eseguibile su qualsiasi GPU Nvidia o su normali computer consumer. Il supporto agli acceleratori Huawei rappresenta comunque un passaggio industriale rilevante perché consente a DeepSeek di sviluppare il proprio software senza legarlo esclusivamente all’ecosistema CUDA. La disponibilità del codice, tuttavia, non dimostra automaticamente prestazioni equivalenti fra le due piattaforme: i benchmark pubblici presentati nel repository sono stati realizzati su Nvidia SM100, utilizzando quattro GPU per la fase di prefill e 64 per quella di decode. Mancano nello stesso materiale confronti indipendenti capaci di stabilire il rapporto prestazioni-prezzo degli Ascend 950 nelle medesime condizioni. Il progetto si inserisce nella strategia Huawei per aprire CANN e l’ecosistema Ascend alla comunità di sviluppo, ma la capacità di sostituire realmente Nvidia dipenderà anche dalla disponibilità degli acceleratori e dalla maturità degli strumenti software.

DeepSeek dichiara 155.000 miliardi di token al giorno, ma i costi non sono verificabili

Nella documentazione tecnica sulle architetture di deployment, DeepSeek dichiara che un singolo cluster gestisce 155.000 miliardi di token quotidiani, associando all’attività un valore di 38 dollari di ricavi per ora-GPU, calcolato utilizzando le tariffe dei periodi meno costosi. Il numero non rappresenta un utile netto e non dimostra quanto costi effettivamente generare un milione di token. La società non fornisce infatti tutti i dati necessari a ricostruire autonomamente la composizione del cluster, la quantità di acceleratori utilizzati e i costi complessivi di energia, infrastruttura e ammortamento. La documentazione descrive anche un’architettura che separa prefill, elaborazione iniziale del prompt, e decode, generazione progressiva della risposta, assegnando risorse differenti alle due attività. Per il servizio di produzione DeepSeek utilizza inoltre una cache distribuita che conserva contesti già elaborati per più di 72 ore, evitando parte del calcolo ripetuto. Il principio è rilevante nella competizione sui costi dell’inferenza che Nvidia ha affrontato attraverso Blackwell e le ottimizzazioni software. I dati dichiarati da DeepSeek descrivono però il servizio interno dell’azienda, non prestazioni automaticamente riproducibili scaricando DeepInfer.

Open source non significa servizio completo: mancano cache e bilanciamento

Il limite più importante del rilascio è dichiarato apertamente dagli sviluppatori. DeepInfer non include ancora il sistema completo di KV cache, la disaggregazione operativa fra encoder visivo, prefill e decode e il bilanciamento dei carichi tra repliche distribuite. Queste componenti sono strettamente integrate con l’infrastruttura proprietaria utilizzata nei data center DeepSeek, rendendo necessarie implementazioni aggiuntive per realizzare un servizio online su larga scala. L’azienda ha pubblicato anche aggiornamenti di deepseek-recipe, libreria destinata a convertire richieste e risposte fra formati API differenti, mantenendo compatibilità con i protocolli utilizzati dai modelli. Il progetto distingue quindi il rilascio del motore computazionale dalla disponibilità di un’intera piattaforma commerciale pronta all’uso. Per aziende e provider interessati all’inferenza privata, il codice rappresenta una base da studiare e integrare, non un sostituto immediato di servizi gestiti o framework già consolidati come vLLM e SGLang. La differenza ricorda la strategia dei grandi sistemi Huawei che combinano acceleratori, interconnessione e storage per la KV cache: le prestazioni industriali derivano dall’intera infrastruttura, non dal solo runtime del modello.

Continua con:

Qwen 3.8 arriva su SageMaker HyperPod con vLLM e accelera l’inferenza distribuita

AWS industrializza agenti e inferenza AI nei workload reali

DeepInfer apre una competizione sul costo reale dei servizi AI

Il valore strategico di DeepInfer consiste nel rendere pubbliche tecniche di ottimizzazione utilizzate da un operatore che gestisce infrastrutture AI su larga scala, riducendo la distanza fra ricerca sui modelli e software necessario a distribuirli. L’adozione di una licenza permissiva favorisce sperimentazione, modifiche e integrazioni commerciali, mentre il supporto parallelo a Nvidia e Huawei indica la volontà di non dipendere da un unico fornitore di acceleratori. Rimangono però limiti concreti: un solo modello ufficialmente supportato, hardware circoscritto, componenti infrastrutturali assenti e benchmark che richiedono riproduzioni indipendenti. Per il mercato, la questione non è quindi stabilire se DeepInfer renda improvvisamente economica qualsiasi intelligenza artificiale, ma quanto dell’efficienza raggiunta da DeepSeek possa essere trasferito a operatori che non dispongono della sua stessa scala industriale. È su questo terreno, più che sul semplice confronto fra chatbot, che si giocherà una parte crescente della competizione internazionale sull’AI.