L’ultimo aggiornamento del modello di linguaggio di grande dimensione (LLM) di OpenAI, ChatGPT-4.0, ha superato un esame di neurologia clinica con l’85% di risposte corrette in uno studio di prova di concetto. Gli autori della ricerca ritengono che, dopo alcuni perfezionamenti, gli LLM potrebbero avere “applicazioni significative” in neurologia clinica.
Risultati dell’Esperimento
I risultati dell’esperimento, condotto da un gruppo di ricercatori dell’Università di Heidelberg e del Centro Tedesco per la Ricerca sul Cancro a Heidelberg, sono stati pubblicati il 7 dicembre. Il test, effettuato il 31 maggio, ha coinvolto due LLM, ChatGPT-3.5 e la sua versione successiva, ChatGPT-4.0. I ricercatori hanno utilizzato il database di domande per un esame di neurologia dell’American Board of Psychiatry and Neurology con un piccolo gruppo di domande dall’European Board for Neurology.
Punteggi e Confronto con le Versioni Precedenti
Mentre la versione precedente di ChatGPT ha ottenuto il 66,8%, rispondendo correttamente a 1.306 delle 1.956 domande, il modello più recente, ChatGPT-4.0, ha raggiunto l’85% con 1.662 risposte corrette. Il punteggio medio umano era del 73,8%. ChatGPT-4.0 ha superato gli utenti umani nelle domande relative a comportamento, cognizione e psicologia, superando efficacemente l’esame di neurologia, poiché il 70% di risposte corrette è generalmente considerato un punteggio di superamento nelle istituzioni educative.
Prestazioni e applicazioni future
Tuttavia, entrambi i modelli hanno mostrato prestazioni più deboli nei compiti che richiedono un “pensiero di ordine superiore” rispetto alle domande che richiedono solo un “pensiero di ordine inferiore”. Secondo il gruppo di ricercatori che ha condotto l’esperimento dell’esame, questi risultati servono come raccomandazione per utilizzare gli LLM come chatgpt in neurologia clinica dopo alcune modifiche. Tuttavia, i neurologi dovrebbero essere cauti nel loro uso nella pratica, poiché sono ancora imperfetti riguardo ai compiti cognitivi di ordine superiore.