NVIDIA fa costruire simulazioni fisiche agli agenti AI con Omniverse

📌 In Sintesi

• NVIDIA usa modelli frontier per assemblare fisica, rendering, sensori e scene OpenUSD direttamente attraverso istruzioni in linguaggio naturale.
• Astra e Claude Fable 5 vengono impiegati per creare e correggere digital twin confrontando sensori simulati con registrazioni reali.
• I progetti restano supervisionati dagli sviluppatori: il salto è nella compressione del workflow ingegneristico, non nella sostituzione autonoma dell’ingegnere.

NVIDIA sta spostando gli agenti AI dal coding alla simulazione fisica. Nei nuovi esperimenti costruiti con Omniverse, modelli frontier ricevono istruzioni in linguaggio naturale e collegano librerie per fisica, rendering, sensori, scene OpenUSD e interfacce, producendo applicazioni che possono essere corrette attraverso nuovi prompt. Il salto non consiste nel generare qualche riga di codice: l’agente diventa il livello di orchestrazione tra modello, ambiente 3D e leggi fisiche della simulazione. I casi mostrati restano prototipi guidati da sviluppatori NVIDIA, non ingegneri autonomi pronti alla produzione, ma indicano una traiettoria precisa: ridurre drasticamente il lavoro necessario per trasformare un’idea in un ambiente simulato verificabile.

L’agente non scrive soltanto codice: assembla fisica, scene e sensori

Nel blog ufficiale dedicato agli agenti frontier nella simulazione NVIDIA mostra sviluppatori che usano GPT-6 Astra e, in alcuni casi, Claude Fable 5 per collegare direttamente le librerie Omniverse. In un simulatore di magazzino, Astra ha combinato ovphysx per la fisica, ovstage per gli aggiornamenti della scena, ovrtx per il rendering e ovui per l’interfaccia, generando anche codice e animazioni per un umanoide. In un secondo progetto dedicato alla guida autonoma, l’agente ha costruito un workflow che unisce asset, traffico, simulazione RTX dei sensori e il modello di guida Alpamayo. È un’evoluzione coerente con il percorso già visibile nel sim-to-real NVIDIA per robot autonomi e umanoidi: prima si costruiva un ambiente virtuale per addestrare il robot, ora l’AI aiuta anche a costruire e modificare quell’ambiente.

Leggi anche: NVIDIA porta la Physical AI da Skild S1 ai robotaxi

I digital twin iniziano a correggersi partendo dalla differenza con il mondo reale

Il caso più interessante riguarda la validazione dei sensori. Un team NVIDIA ha fatto confrontare ad Astra e Claude Fable 5 immagini e dati LiDAR simulati con registrazioni reali, chiedendo agli agenti di individuare le differenze e intervenire sulle scene OpenUSD. In circa tre giorni il workflow ha creato due digital twin da zero e migliorato altri due, correggendo oggetti mancanti, geometrie e materiali fino a soddisfare metriche definite sui sensori. L’agente non “capisce” autonomamente se la simulazione è vera: usa una funzione di errore misurabile per proporre modifiche e verificarne l’effetto. Questa distinzione è decisiva perché rende il processo più vicino a un ciclo ingegneristico che a una semplice generazione 3D. La stessa logica di ambienti sintetici e modelli fisici era già centrale nell’espansione di Isaac, Cosmos e LeRobot dentro la robotica open, ma qui il frontier model entra direttamente nel loop di costruzione del gemello digitale.

Robo Olympics mostra il passaggio dal prompt alla verifica fisica

NVIDIA porta lo stesso schema nella locomozione. Nel progetto Robo Olympics, Astra ha costruito controller per umanoidi Unitree G1 a partire da video sportivi e istruzioni testuali, poi li ha raffinati attraverso prove nel motore fisico Newton e calcoli accelerati con Warp. In un test sul salto dell’ostacolo, il robot simulato ha superato una singola barriera in 64 prove su 100. Il numero conta perché mostra che il risultato dell’agente non viene assunto come corretto: viene sottoposto a una distribuzione di prove fisiche e restituito al ciclo di modifica. Lo stesso principio compare in un progetto di disassemblaggio, nel quale Astra ha misurato lo spazio attorno a una sospensione automobilistica, progettato una chiave adatta e verificato in Isaac Sim la rimozione del componente. È proprio questo confine tra decisione digitale e azione fisica che rende centrali i rischi già evidenziati dagli studi sui robot Physical AI capaci di eseguire ordini pericolosi: più il modello entra nel loop, più servono metriche, limiti e controllo umano.

Il vero guadagno è comprimere l’integrazione tra strumenti diversi

La novità non è che un LLM possa scrivere Python o generare una scena 3D. Il valore industriale sta nel collegare strumenti che normalmente richiedono competenze differenti: CAD, OpenUSD, motori fisici, sensori virtuali, rendering, telemetria e applicazioni. Un altro esperimento ha assemblato asset NASA della Stazione Spaziale Internazionale in un’applicazione browser con telemetria, mentre una pipeline basata su catture stereo ha trasformato una stanza reale in un ambiente OpenUSD modificabile e testabile in Isaac Sim. L’agente diventa quindi una sorta di integratore software che attraversa il workflow invece di presidiare una singola funzione. È la stessa direzione osservata quando Google, NVIDIA e AWS hanno portato valutazione e simulazione dentro i workflow agentici: l’utilità cresce quando l’agente può eseguire, osservare l’esito e correggere il percorso, non quando produce soltanto testo.

Continua con:

NVIDIA crea Open Secure AI Alliance per proteggere gli agenti AI

NVIDIA porta Agentic AI e Jetson dentro robot e fabbriche autonome

Omniverse diventa il terreno operativo degli agenti ma l’uomo resta nel loop

I demo NVIDIA non dimostrano che un agente possa sostituire un team di simulazione. In tutti i casi descritti, uno sviluppatore definisce l’obiettivo, indirizza il modello, controlla i risultati e guida le correzioni. Proprio questa presenza umana rende i prototipi interessanti: mostra dove il frontier model può comprimere il lavoro senza confondere automazione con autonomia totale. Per NVIDIA la posta in gioco è più ampia. Dopo aver costruito una posizione dominante nell’hardware AI, il gruppo sta cercando di controllare anche lo strato nel quale modelli, robot, digital twin e simulazioni vengono collegati, una strategia già evidente nel full stack NVIDIA tra Nemotron, Omniverse e RTX. Se questo approccio regge fuori dai demo, il vantaggio di Omniverse non sarà soltanto simulare meglio: sarà rendere la simulazione un ambiente direttamente manipolabile dagli agenti, con l’ingegnere che sposta il proprio ruolo dalla costruzione manuale alla supervisione del ciclo di prova e correzione.