SPEC, un gruppo industriale, ha deciso di non pubblicare più i risultati dei test SPEC CPU 2017 per le CPU Intel che utilizzano una specifica versione del compilatore Intel. La ragione è l’uso di ottimizzazioni mirate per un carico di lavoro specifico che, sostanzialmente, equivale a barare. Più di 2600 risultati di benchmark, prevalentemente da macchine con CPU Intel Xeon Sapphire Rapids di 4ª generazione, sono stati invalidati a causa di queste ottimizzazioni.
Il compilatore in questione, il oneAPI DPC++/C++ Compiler di Intel, era ottimizzato non per il tipo di carico di lavoro testato dai due benchmark SPEC CPU 2017, ma specificamente per quei due benchmark stessi. Questo tipo di ottimizzazione, sebbene possa migliorare le prestazioni, è controversa e malvista poiché SPEC desidera che i suoi benchmark riflettano le prestazioni reali del hardware e forniscano un modo standardizzato per confrontare diversi processori.
Le ottimizzazioni erano state introdotte nelle versioni del compilatore Intel oneAPI dal 2022.0 al 2023.0, influenzando principalmente i risultati ottenuti nel 2022 con le CPU Sapphire Rapids. Risultati per le CPU Intel Xeon Emerald Rapids di quinta generazione probabilmente non sono stati influenzati, dato che sono usciti dopo le versioni accettabili del compilatore.
Questa situazione richiama alla memoria altri casi di ottimizzazione specifica per benchmark, come l’accusa nel 2003 a Nvidia di ottimizzare i driver per migliorare le prestazioni nei test 3DMark 2003, e l’accusa di Nvidia nel 2010 che AMD stava barando in giochi reali non abilitando certe impostazioni che avrebbero migliorato la qualità visiva a scapito delle prestazioni.
SPEC ha quindi invalidato i risultati, mettendo in luce una pratica che, sebbene possa portare a prestazioni apparentemente superiori, non riflette le reali capacità del hardware in scenari d’uso comuni.