Sommario
OpenAI ha annunciato il lancio della OpenAI Red Teaming Network, una rete di esperti esterni incaricati di contribuire alla valutazione e alle strategie di mitigazione dei rischi associati ai modelli di intelligenza artificiale dell’azienda. Questa mossa fa parte degli sforzi continui di OpenAI per rendere i suoi sistemi di IA più robusti, soprattutto in un momento in cui le tecnologie IA, in particolare quelle generative, stanno diventando sempre più mainstream.
Dettagli sulla rete di Red Teaming
Il “red teaming” è un processo che sta diventando una fase chiave nello sviluppo dei modelli IA, con l’obiettivo di identificare (ma non necessariamente correggere) i bias presenti nei modelli, come ad esempio quelli riscontrati nel modello DALL-E 2 di OpenAI, che ha mostrato di amplificare gli stereotipi legati a razza e sesso. Questo processo può anche identificare i prompt che possono causare l’ignoranza dei filtri di sicurezza nei modelli di generazione di testo, come ChatGPT e GPT-4.
OpenAI ha dichiarato di aver già collaborato con esperti esterni per valutare e testare i suoi modelli in passato, attraverso programmi come il bug bounty e il programma di accesso per i ricercatori. Tuttavia, la creazione della Red Teaming Network formalizza questi sforzi, con l’obiettivo di “approfondire” e “ampliare” il lavoro di OpenAI con scienziati, istituzioni di ricerca e organizzazioni della società civile, come affermato dall’azienda in un post sul blog.
Collaborazione con esperti di vari settori
OpenAI sta cercando di coinvolgere un’ampia gamma di esperti di vari settori, tra cui linguistica, biometria, finanza e sanità, per partecipare alla rete. Non è richiesta un’esperienza pregressa con i sistemi di IA o i modelli di linguaggio per essere idonei a partecipare. Tuttavia, l’azienda avverte che le opportunità offerte dalla Red Teaming Network potrebbero essere soggette a accordi di non divulgazione e di confidenzialità che potrebbero influenzare altre ricerche.
OpenAI sottolinea l’importanza della disponibilità a collaborare e a portare diverse prospettive su come valutare gli impatti dei sistemi di IA. Invita le domande da esperti di tutto il mondo, dando priorità alla diversità geografica e di dominio nel processo di selezione.
Questioni aperte sul red teaming
Nonostante gli sforzi di OpenAI, alcune voci sostengono che il red teaming da solo potrebbe non essere sufficiente. In un recente articolo, Aviv Ovadya, affiliato al Berkman Klein Center di Harvard e al Centre for the Governance of AI, propone l’idea del “violet teaming”, che identifica come un sistema (ad esempio, GPT-4) potrebbe danneggiare un’istituzione o un bene pubblico, e poi supporta lo sviluppo di strumenti che utilizzano lo stesso sistema per difendere l’istituzione e il bene pubblico. Tuttavia, come sottolinea Ovadya, attualmente ci sono pochi incentivi a intraprendere il violet teaming, o a rallentare abbastanza le release di IA per avere tempo sufficiente per implementarlo.
