Tilly Norwood scansiona volto e umore: la privacy diventa il prezzo della chiamata

🤖 Cosa cambia

• Talking Tilly richiede una video-selfie per verificare i 18 anni e può chiedere un documento se la stima non è sufficiente.
• Durante ogni chiamata analizza espressioni facciali e tono della voce per inferire lo stato emotivo probabile del chiamante.
• Xicoia basa age check e mood sensing sul legittimo interesse: l’analisi emotiva non può essere disattivata mantenendo attiva la chiamata.

Per parlare con Tilly Norwood, l’attrice virtuale creata da Xicoia, non basta concedere microfono e videocamera. Prima della chiamata bisogna sottoporsi a una stima automatizzata dell’età attraverso il volto; durante la conversazione, invece, il sistema osserva espressioni e ascolta il tono della voce per inferire il probabile stato emotivo dell’utente. Non si tratta di una funzione nascosta: è descritta esplicitamente nell’informativa privacy. Il punto più interessante non è quindi l’ennesimo personaggio generato dall’AI, ma il modello che emerge dietro il servizio: per ottenere una conversazione più “naturale”, l’utente accetta che immagine, voce, emozioni probabili, trascrizione e memoria della sessione entrino contemporaneamente nella pipeline.

Prima della chiamata arriva la verifica dell’età attraverso una video-selfie

L’esperienza è stata verificata direttamente da BleepingComputer durante una videochiamata con Talking Tilly. Prima dell’accesso il servizio richiede una video-selfie elaborata da Didit, provider spagnolo di verifica dell’identità, per stimare se l’utente abbia almeno 18 anni. Se il risultato non è sufficientemente chiaro può essere richiesto un documento fotografico. La privacy policy ufficiale di Xicoia precisa che la società non conserva la selfie, l’immagine del documento, la data di nascita o il numero identificativo. Vengono invece mantenuti l’esito del controllo, il metodo utilizzato, una fascia d’età approssimativa, la data e un riferimento alla verifica. Xicoia dichiara inoltre che non viene creato alcun faceprint utilizzabile per identificare la persona.

La logica ricorda la direzione già intrapresa dalle Age API di Windows 11, dove l’applicazione dovrebbe ricevere una categoria d’età o uno stato di verifica anziché la data di nascita completa. Nel caso Tilly, però, per produrre quel segnale viene prima elaborata direttamente l’immagine del volto dell’utente.

Leggi anche: AGCOM porta la verifica dell’età dentro il nuovo sistema di enforcement digitale

La parte più invasiva arriva dopo: Tilly osserva espressioni e tono della voce

L’age check è soltanto il primo livello. Durante la chiamata Talking Tilly analizza continuamente video e audio per comprendere cosa accade davanti alla videocamera, individuare oggetti, verificare se l’utente guarda lo schermo e interpretare le caratteristiche della conversazione. La stessa informativa Xicoia afferma esplicitamente che il sistema inferisce il probabile stato emotivo attraverso espressione facciale e tono della voce, così da adattare la risposta del personaggio all’umore percepito. La società sottolinea che questa elaborazione non viene usata per riconoscere l’identità, non genera template biometrici e non conserva normalmente il risultato dell’inferenza emotiva.

Il passaggio rilevante è però un altro: questa funzione non può essere disattivata per una singola chiamata. Chi non vuole sottoporsi all’analisi può soltanto non iniziare la conversazione o interromperla. È una differenza sostanziale rispetto alla semplice autorizzazione della webcam. La videocamera non serve più soltanto a trasmettere un flusso: diventa un sensore dal quale un sistema AI ricava segnali ulteriori sul comportamento dell’interlocutore. Il tema delle inferenze emotive è già diventato sensibile anche in Europa, dove il Garante ha richiamato i limiti all’uso di sistemi AI capaci di valutare persone e caratteristiche biometriche.

Xicoia sceglie il legittimo interesse invece del consenso

La parte più interessante dell’informativa riguarda la base giuridica dichiarata. Xicoia non fonda né l’age verification né l’analisi dell’umore sul consenso ai sensi del GDPR, ma sul proprio legittimo interesse. Per la verifica dell’età l’interesse indicato è mantenere il servizio riservato agli adulti e proteggere i minori. Per il mood sensing è invece offrire una conversazione video più naturale e coinvolgente. La società precisa di avere effettuato il necessario balancing test e riconosce all’utente il diritto di opposizione previsto per i trattamenti basati sul legittimo interesse.

Questo non equivale automaticamente a dire che il trattamento sia illecito: la qualificazione dipende dalla natura esatta dei dati e dalle modalità operative. Xicoia insiste inoltre sul fatto che non effettua riconoscimento facciale o identificazione biometrica. Il caso mostra però quanto stia diventando sottile il confine tra una normale interfaccia video e sistemi che estraggono ulteriori inferenze dal volto. La distinzione è importante anche rispetto ai casi di vero riconoscimento biometrico. In Italia il Garante ha già sanzionato eCampus per l’impiego del riconoscimento facciale nella verifica degli studenti, contestando il trattamento sistematico dei dati biometrici in assenza di una base giuridica adeguata.

Video, trascrizioni e memoria passano attraverso una catena di fornitori

L’architettura non termina con Xicoia. La privacy policy indica Tavus come piattaforma statunitense per il conversational video. Tavus tratta video e audio in diretta, contenuti della conversazione, dati della memoria e metadati di sessione, utilizzando a sua volta infrastrutture e subprocessor necessari alla generazione delle risposte. Le chiamate vengono registrate in audio e video, mentre viene generata anche una trascrizione testuale. Xicoia dichiara che le registrazioni vengono eliminate dopo 24 ore e che le trascrizioni possono restare conservate fino a otto settimane. Alcune conversazioni possono essere sottoposte a revisione umana per quality assurance e sicurezza. Esiste inoltre una memoria delle interazioni precedenti che permette al personaggio di personalizzare le conversazioni future; l’utente può chiederne la cancellazione. Xicoia dichiara invece che conversazioni e registrazioni non vengono utilizzate per addestrare modelli AI e afferma che anche Tavus è contrattualmente vincolata a non impiegarle per questo scopo. La questione ricorda il principio della privacy by design già emerso nel caso dei deepfake televisivi e dell’intervento del Garante su Striscia la Notizia: la conformità non dipende soltanto da ciò che un sistema produce, ma da quali dati vengono raccolti per renderne possibile il funzionamento.

Continua con:

Legge italiana sull’AI: stretta sul riconoscimento facciale e sulle decisioni automatizzate

Windows 11 trasforma la verifica dell’età in un segnale utilizzabile dalle applicazioni

L’AI conversazionale sta trasformando webcam e microfono in sensori comportamentali

Talking Tilly è un progetto temporaneo di intrattenimento, ma l’architettura anticipa un problema molto meno temporaneo. Webcam e microfono stanno smettendo di essere semplici periferiche di comunicazione: diventano fonti attraverso le quali l’AI può stimare età, attenzione, comportamento ed emozioni probabili. Xicoia descrive con maggiore trasparenza di molti servizi ciò che avviene e chiarisce esplicitamente quando un’elaborazione non può essere disattivata. Proprio questa trasparenza rende visibile il trade-off: la promessa di un avatar capace di “capire” meglio l’interlocutore richiede necessariamente più dati e più inferenze sull’interlocutore stesso. La domanda quindi non riguarda soltanto Tilly Norwood. Se questa architettura diventerà comune negli AI companion, assistenti video, customer service e avatar commerciali, l’accesso a una conversazione artificiale potrà progressivamente trasformarsi nell’accettazione di una forma permanente di analisi comportamentale. Il costo del servizio non sarà più soltanto economico: sarà decidere quanta parte del volto, della voce e dello stato emotivo un sistema debba interpretare per poter sembrare umano.