Un recente studio pubblicato su “Nature Machine Intelligence” ha messo in luce le limitazioni dei modelli di lingua AI nel valutare la naturalità delle frasi. Nonostante alcuni modelli avanzati siano in grado di valutare correttamente la naturalità delle frasi, tutti mostrano delle lacune, talvolta scegliendo frasi che suonano come nonsenso per l’orecchio umano.
Dettagli dello Studio
Nel corso dello studio, i ricercatori hanno messo alla prova nove diversi modelli di lingua AI con centinaia di coppie di frasi. I partecipanti allo studio dovevano scegliere quale delle due frasi in ogni coppia sembrava più naturale, ovvero più probabile da incontrare nella vita quotidiana. I modelli AI sono stati quindi testati per vedere se valutavano ogni coppia di frasi allo stesso modo in cui lo avevano fatto gli esseri umani.
Risultati e Osservazioni
I risultati hanno mostrato che gli AI basati su reti neurali transformer tendevano a performare meglio rispetto ai modelli neurali ricorrenti più semplici e ai modelli statistici che si limitano a contare la frequenza delle coppie di parole trovate su internet o nelle banche dati online. Tuttavia, tutti i modelli hanno commesso errori, a volte scegliendo frasi che suonano come nonsenso per l’orecchio umano. “Il fatto che alcuni dei grandi modelli di lingua performino così bene suggerisce che catturano qualcosa di importante che manca ai modelli più semplici”, ha dichiarato il Dr. Nikolaus Kriegeskorte, uno degli autori dello studio.
Implicazioni Future
L’analisi ulteriore delle forze e delle debolezze di vari chatbot e dei loro algoritmi sottostanti potrebbe aiutare a rispondere a domande cruciali sul funzionamento del cervello umano. “Siamo interessati a capire come pensano le persone”, ha detto Tal Golan, l’autore corrispondente dello studio. “Questi strumenti AI sono sempre più potenti, ma elaborano il linguaggio in modo diverso da noi. Confrontare la loro comprensione del linguaggio con la nostra ci offre un nuovo approccio per riflettere su come pensiamo”.