Le organizzazioni di vari settori stanno cercando di sfruttare l’IA per trasformare enormi quantità di dati in intelligenza, sfruttando i più recenti progressi nell’IA generativa. Tuttavia, per molte organizzazioni, esiste una barriera all’adozione dei modelli più recenti perché possono essere costosi da addestrare o servire. È necessaria una nuova classe di GPU cloud per abbassare il costo di ingresso per le aziende che desiderano sfruttare il potere dell’IA. Oggi, Google Cloud presenta G2, la più recente aggiunta alla famiglia di GPU Compute Engine.
Le VM G2 e le GPU NVIDIA L4
Le G2 sono le prime VM cloud del settore alimentate dalla nuova GPU NVIDIA L4 Tensor Core e sono progettate appositamente per carichi di lavoro di inferenza AI di grandi dimensioni come l’IA generativa. Le G2 offrono prestazioni all’avanguardia per dollaro per i carichi di lavoro di inferenza AI che girano su GPU nel cloud. Passando dalle GPU NVIDIA A10G alle istanze G2 con GPU L4, le organizzazioni possono ridurre i costi della loro infrastruttura di produzione fino al 40%. Si è anche scoperto che i clienti che passano dalle GPU NVIDIA T4 alle GPU L4 possono ottenere prestazioni 2-4 volte migliori. Come offerta di GPU universale, le istanze G2 aiutano anche ad accelerare altri carichi di lavoro, offrendo miglioramenti significativi delle prestazioni su HPC, grafica e transcodifica video.
Le GPU NVIDIA L4 con architettura Ada Lovelace
Le famiglie di macchine G2 consentono ai clienti di machine learning di eseguire la loro infrastruttura di produzione nel cloud per una varietà di applicazioni come modelli di linguaggio, classificazione di immagini, rilevamento di oggetti, riconoscimento automatico della voce e traduzione del linguaggio. Basata sull’architettura Ada Lovelace con Tensor Cores di quarta generazione, la GPU NVIDIA L4 fornisce fino a 30 TFLOPS di prestazioni per FP32 e 242 TFLOPS per FP16. Il supporto FP8 appena aggiunto, oltre alle capacità esistenti INT8, BFLOAT16 e TF32, rende l’L4 ideale per l’inferenza ML.
