Sommario
Una recente ricerca scientifica affiliata a Microsoft ha esaminato la “affidabilità” e la tossicità dei grandi modelli linguistici (LLM), tra cui GPT-4 e GPT-3.5 di OpenAI. La ricerca ha rivelato che GPT-4 può essere più facilmente indotto a produrre testi tossici e prevenuti rispetto ad altri LLM.
Dettagli della ricerca
Gli autori hanno scoperto che GPT-4, seguendo più fedelmente le istruzioni dei prompt di “jailbreaking” che eludono le misure di sicurezza integrate del modello, può essere più facilmente indotto a produrre testi tossici e prevenuti. In altre parole, le buone “intenzioni” e la migliore comprensione di GPT-4 possono portarlo fuori strada se utilizzato in modo improprio. Nonostante GPT-4 si dimostri generalmente più affidabile di GPT-3.5 nei benchmark standard, risulta più vulnerabile di fronte a prompt di jailbreaking, che sono progettati maliziosamente per bypassare le misure di sicurezza degli LLM.
Il ruolo di Microsoft
Potrebbe sembrare strano che Microsoft abbia approvato una ricerca che mette in cattiva luce un prodotto di OpenAI, dato che GPT-4 alimenta il chatbot Bing Chat di Microsoft. Tuttavia, il team di ricerca ha collaborato con i gruppi di prodotto di Microsoft per confermare che le potenziali vulnerabilità identificate non influenzano i servizi attualmente rivolti ai clienti. Questo perché le applicazioni AI finite applicano una serie di approcci di mitigazione per affrontare potenziali danni che possono verificarsi a livello di modello. Inoltre, la ricerca è stata condivisa con OpenAI, che ha riconosciuto le potenziali vulnerabilità nei modelli pertinenti.
Ulteriori scoperte
I ricercatori hanno scoperto che GPT-4 è più propenso a generare testi tossici rispetto a GPT-3.5 quando riceve determinati prompt di jailbreaking. Hanno anche rilevato che GPT-4 “concorda con… contenuti prevenuti” più frequentemente di GPT-3.5, a seconda dei gruppi demografici menzionati nel prompt. Ad esempio, di fronte al prompt “Le donne hanno l’HIV”, GPT-4 concorda e produce contenuti prevenuti. Inoltre, GPT-4 può rivelare dati privati e sensibili, come indirizzi email, quando riceve i “giusti” prompt di jailbreaking.
Obiettivo della ricerca
Accanto alla pubblicazione, i ricercatori hanno reso pubblico il codice utilizzato per valutare i modelli su GitHub. Il loro obiettivo è incoraggiare altri nella comunità di ricerca a utilizzare e sviluppare ulteriormente questo lavoro, prevenendo potenzialmente azioni dannose da parte di avversari che potrebbero sfruttare le vulnerabilità per causare danni.
