La settimana scorsa, OpenAI ha pubblicato sul suo blog consigli per gli educatori su come alcuni insegnanti stanno utilizzando ChatGPT come strumento didattico, fornendo anche suggerimenti per iniziare. In una sezione correlata delle FAQ, intitolata “I rilevatori di IA funzionano?”, l’azienda ha ufficialmente ammesso ciò che già sapevamo: i rilevatori di scritti generati da IA non funzionano, nonostante vengano spesso utilizzati per punire gli studenti con falsi positivi. Ecco i dettagli delle affermazioni di OpenAI e le implicazioni per il settore.
Inefficacia dei rilevatori di testi generati da IA
OpenAI ha dichiarato che, nonostante alcuni (inclusa OpenAI) abbiano rilasciato strumenti che pretendono di rilevare contenuti generati da IA, nessuno di questi si è dimostrato in grado di distinguere in modo affidabile tra contenuti generati da IA e contenuti generati da esseri umani. Gli esperti hanno definito questi rilevatori “principalmente una bufala”, poiché spesso producono falsi positivi basandosi su metriche di rilevamento non provate. In sostanza, non c’è nulla di speciale nel testo scritto da IA che lo distingue sempre da quello scritto da un essere umano, e i rilevatori possono essere ingannati semplicemente riformulando il testo.
In luglio, OpenAI ha interrotto il suo strumento sperimentale AI Classifier, progettato per rilevare testi scritti da IA, a causa di un tasso di accuratezza deludente del 26%. Inoltre, OpenAI ha sottolineato che ChatGPT non ha alcuna “conoscenza” di quale contenuto possa essere generato da IA, e può talvolta inventare risposte a domande come “hai scritto tu questo [saggio]?” o “questo potrebbe essere stato scritto da una IA?”. Queste risposte sono casuali e non hanno alcun fondamento nella realtà.
Rischi di affidarsi esclusivamente a ChatGPT
OpenAI ha anche affrontato la tendenza dei suoi modelli IA a confabulare informazioni false, un fenomeno che è stato ampiamente documentato. “A volte, ChatGPT suona convincente, ma potrebbe fornire informazioni incorrette o fuorvianti (spesso chiamate ‘allucinazioni’ nella letteratura)”, scrive l’azienda. “Può addirittura inventare cose come citazioni o riferimenti, quindi non dovrebbe essere utilizzato come unica fonte per la ricerca”. In maggio, un avvocato è incappato in problemi per aver fatto proprio questo, citando sei casi inesistenti che aveva preso da ChatGPT.
Nonostante l’inefficacia dei rilevatori di IA automatici, ciò non significa che un essere umano non possa mai rilevare la scrittura generata da IA. Ad esempio, un insegnante che conosce bene lo stile di scrittura tipico di uno studente può notare quando lo stile o le capacità cambiano improvvisamente. Inoltre, alcuni tentativi maldestri di presentare lavori generati da IA come scritti da esseri umani possono lasciare segni evidenti, come l’uso della frase “come un modello di lingua IA”, che indica che qualcuno ha copiato e incollato l’output di ChatGPT senza prestare attenzione.