Per la prima volta, sia il linguaggio che le espressioni facciali sono stati sintetizzati dai segnali cerebrali. Questa innovazione rappresenta un passo avanti significativo nella tecnologia di interfaccia cervello-computer (BCI).
Sintesi del linguaggio e delle espressioni facciali dai segnali cerebrali
Il sistema può decodificare questi segnali in testo a una velocità di quasi 80 parole al minuto, un notevole miglioramento rispetto alle tecnologie disponibili sul mercato. Edward Chang, MD, presidente di chirurgia neurologica presso UCSF, che ha lavorato sulla tecnologia BCI per oltre un decennio, spera che questa recente scoperta, pubblicata il 23 agosto 2023 su Nature, porti presto all’approvazione di un sistema FDA che permetta la comunicazione verbale dai segnali cerebrali.
L’obiettivo principale è “ripristinare un modo di comunicare completo e incarnato, che è davvero il modo più naturale per noi di parlare con gli altri”, ha dichiarato Chang. Questi progressi avvicinano notevolmente alla realizzazione di questa soluzione per i pazienti.
Dettagli della ricerca
Il team di Chang aveva precedentemente dimostrato la possibilità di decodificare i segnali cerebrali in testo in un uomo che aveva subito un ictus al tronco cerebrale molti anni prima. La ricerca attuale va oltre, decodificando i segnali cerebrali nella ricchezza del linguaggio parlato, insieme ai movimenti che animano il volto di una persona durante una conversazione.
Per settimane, la partecipante ha lavorato con il team per addestrare gli algoritmi di intelligenza artificiale del sistema a riconoscere i suoi segnali cerebrali unici per il linguaggio. Questo ha comportato la ripetizione di diverse frasi da un vocabolario conversazionale di 1.024 parole, fino a quando il computer ha riconosciuto i modelli di attività cerebrale associati ai suoni.
Per creare la voce, il team ha ideato un algoritmo per sintetizzare il linguaggio, personalizzato per suonare come la sua voce prima dell’infortunio, utilizzando una registrazione di lei che parlava al suo matrimonio.
Il team ha animato l’avatar con l’aiuto di un software che simula e anima i movimenti muscolari del viso, sviluppato da Speech Graphics. Hanno creato processi di apprendimento automatico personalizzati che hanno permesso al software dell’azienda di integrarsi con i segnali inviati dal cervello della donna mentre cercava di parlare.
Prossimi passi
Un importante passo successivo per il team è la creazione di una versione wireless che non richiederebbe all’utente di essere fisicamente connesso al BCI.