NVIDIA Research mette a punto Instant NeRF è un modello di rendering neurale in grado di apprendere e restituire una scena 3D in pochi secondi.
La ricerca di NVIDIA fa un passo avanti importante da quando la prima foto istantanea è stata scattata 75 anni fa con una fotocamera Polaroid. Al momento quello che cercano di fare i ricercatori, con il supporto dell’intelligenza artificiale, è il contrario cioè trasformare immagini fisse in una scena 3D digitale in pochi secondi.
Conosciuto come rendering inverso, il processo utilizza l’intelligenza artificiale per approssimare il comportamento della luce nel mondo reale, consentendo ai ricercatori di ricostruire una scena 3D da una manciata di immagini 2D scattate da diverse angolazioni. Il team di ricerca di NVIDIA ha sviluppato un approccio che esegue questo compito quasi istantaneamente, rendendolo uno dei primi modelli del suo genere. Un modello in grado di combinare formazione di reti neurali ultraveloci e rendering rapido ed è proprio nella rapidità della generazione della scena che troviamo il valore aggiunto di questa ricerca.
Nell’ultimo GTC di NVIDIA è stata mostrata l’applicazione pratica. NVIDIA infatti ha impiegato questo approccio a una nuova tecnologia chiamata campi di radianza neurale o NeRF (Neural Radiance Field). Il risultato, soprannominato Instant NeRF, è la tecnica NeRF più veloce fino ad oggi. Come input al modello servono:
- alcune dozzine di foto fisse;
- i dati sugli angoli della fotocamera da cui sono state scattate;
- qualche decina di millisecondi per eseguire il rendering della scena 3D risultante.
David Luebke, vicepresidente per la ricerca grafica presso NVIDIA, dichiara: “In tal senso, Instant NeRF potrebbe essere importante per il 3D come le fotocamere digitali e la compressione JPEG lo sono state per la fotografia 2D, aumentando notevolmente la velocità, la facilità e la portata dell’acquisizione e della condivisione 3D”.
Il sistema è stato presentato da NVIDIA questa settimana e potrebbe essere utilizzato per creare avatar o scene per mondi virtuali o per ricostruire scene per mappe digitali 3D.
Vediamo come funziona il sistema NVIDIA.
NeRF utilizza le reti neurali per rappresentare e rendere realistiche scene 3D basate su una raccolta di input di immagini 2D. La rete neurale richiede alcune dozzine di immagini prese da più posizioni intorno alla scena, così come la posizione della telecamera. Utilizzando questi input l’NeRF riempie essenzialmente gli spazi vuoti, utilizzando una piccola rete neurale per ricostruire la scena, prevedere il colore della luce che si irradia in qualsiasi direzione e da qualsiasi punto dello spazio 3D. La tecnica può anche aggirare le ostruzioni quando gli oggetti visti in alcune immagini sono bloccati da pilastri per esempio.
La creazione di una scena 3D con i metodi tradizionali richiede ore, a seconda della complessità e della risoluzione della visualizzazione. L’intelligenza artificiale rende questo processo quasi istantaneo.
Instant NeRF riduce il tempo di rendering di diversi ordini di grandezza. Si basa su una tecnica sviluppata da NVIDIA chiamata codifica della griglia hash multi-risoluzione, ottimizzata per funzionare in modo efficiente su GPU NVIDIA.
Il modello è stato sviluppato utilizzando NVIDIA CUDA Toolkit e la libreria Tiny CUDA Neural Networks. Si tratta di una rete neurale leggera che può essere addestrata ed eseguita su una singola GPU NVIDIA.
Oltre agli NeRF, i ricercatori NVIDIA stanno esplorando come questa tecnica di codifica dell’input potrebbe essere utilizzata per essere usata per accelerare processi che utilizzano l’IA in altri campi come l’apprendimento per la traduzione linguistica e gli algoritmi di deep learning.