OpenAI e Anthropic, scontro sugli audit: chi decide cosa può essere pubblicato

📌 In Sintesi

• OpenAI e Anthropic sostengono pubblicamente l’indipendenza degli evaluator, ma Reuters documenta trattative sui limiti alla pubblicazione di informazioni considerate sensibili.
• Il conflitto nasce perché trade secret, capacità dei modelli e informazioni necessarie a valutare il rischio possono sovrapporsi.
• Senza standard esterni, il laboratorio che concede accesso al modello mantiene anche una leva strutturale sull’organizzazione incaricata di controllarlo.

OpenAI e Anthropic vogliono che i frontier model vengano valutati da soggetti indipendenti, ma la vera indipendenza comincia quando il risultato dell’audit può essere pubblicato anche se non piace al laboratorio controllato. È su questo confine che si stanno concentrando le trattative tra le due aziende e alcune organizzazioni specializzate nelle evaluation. Entrambi i gruppi hanno sostenuto pubblicamente la necessità di garantire autonomia metodologica ed editoriale ai revisori esterni. Dietro questa posizione, però, resta un conflitto strutturale: gli evaluator devono poter accedere a modelli, transcript, sistemi interni e incidenti reali per giudicarne seriamente i rischi, mentre i laboratori vogliono impedire che informazioni proprietarie, tecniche di addestramento o capacità sensibili finiscano pubblicamente o nelle mani di concorrenti.

Reuters documenta la battaglia sui diritti di pubblicazione

La ricostruzione originale di Reuters mostra che ancora il 5 ottobre OpenAI e Anthropic stavano negoziando forme significative di controllo sulle informazioni pubblicabili dagli evaluator, anche se le posizioni sarebbero successivamente cambiate e differiscono tra aziende, organizzazioni e rapporti contrattuali. Anthropic contesta che la richiesta di un forte controllo editoriale descriva correttamente tutte le proprie trattative e afferma che gli evaluator con cui possiede già una relazione mantengono controllo su metodi, criteri, conclusioni e decisione di pubblicare. Per nuovi soggetti, però, si riserva la possibilità di commentare e approvare i rapporti durante la costruzione del rapporto operativo. OpenAI sostiene invece di non richiedere un diritto di approvazione sull’intero rapporto, ma di poter eliminare informazioni confidenziali. Reuters ha inoltre visionato contratti nei quali la pubblicazione di informazioni riservate richiede il consenso del laboratorio.

Leggi anche: OpenAI: centinaia di agenti attaccano Hugging Face durante un test

Il problema nasce quando il segreto industriale coincide con il rischio

La protezione della proprietà intellettuale è un’esigenza legittima. Un evaluator embedded può vedere configurazioni non pubbliche, prompt di sistema, dati sulle capacità del modello, architetture di sicurezza e dettagli che un concorrente potrebbe utilizzare. Anthropic sta costruendo proprio questo modello attraverso la collaborazione con Faculty, società specializzata di Accenture, i cui valutatori potranno operare all’interno del laboratorio con livelli di accesso paragonabili a quelli di un dipendente. Il problema è che non esiste sempre una separazione pulita tra segreto industriale e informazione necessaria a valutare la sicurezza. Se un comportamento pericoloso dipende da una capacità non ancora annunciata, da una configurazione interna o da un particolare meccanismo del modello, oscurare quella parte può ridurre proprio il valore informativo dell’audit. L’indipendenza non si misura quindi soltanto da chi esegue il test, ma da chi decide quale parte del risultato il pubblico ha il diritto di conoscere.

OpenAI promette conclusioni autonome ma conserva il diritto di proteggere i segreti

La posizione pubblica di OpenAI rende evidente questa tensione. Nelle proprie linee guida sulle valutazioni di terze parti la società sostiene che gli assessor debbano poter mettere in discussione le ipotesi del laboratorio, individuare rischi non considerati e arrivare autonomamente alle proprie conclusioni. OpenAI ritiene contemporaneamente necessario concordare in anticipo accesso e perimetro dei test e proteggere informazioni sensibili. Sono principi compatibili finché è chiaro cosa costituisca informazione confidenziale. Diventano problematici quando la classificazione viene decisa esclusivamente dal soggetto sottoposto a valutazione. Il precedente dell’incidente Hugging Face è istruttivo: METR e Redwood Research modificarono struttura, enfasi, chiarezza e tono del rapporto dopo il feedback di OpenAI e lavorarono con transcript progressivamente più completi durante l’indagine. Gli evaluator dichiararono di mantenere le conclusioni, ma riconobbero anche di avere considerato il rischio che una disclosure troppo aggressiva potesse scoraggiare in futuro l’accesso esterno dopo incidenti gravi.

Chi concede l’accesso possiede già una forma di potere sull’auditor

È questa l’asimmetria più difficile da eliminare. Gli evaluator non possono acquistare un frontier model completo e ispezionarlo autonomamente come un normale prodotto software. Dipendono dal laboratorio per accesso, configurazioni, transcript, pesi o ambienti speciali necessari a condurre determinate prove. Se un’organizzazione pubblica qualcosa che il vendor considera eccessivo, potrebbe teoricamente vedere ridotto l’accesso futuro senza che sia necessario esercitare alcuna censura formale. La dipendenza può quindi diventare implicita. Il problema era già visibile quando la Florida ha chiesto forme di supervisione indipendente sui nuovi modelli OpenAI: non basta stabilire che esista un controllore esterno, bisogna definire quali poteri possieda realmente rispetto all’organizzazione controllata.

Duecento esperti chiedono pieno controllo editoriale agli evaluator

La risposta degli evaluator è arrivata attraverso una lettera pubblica sottoscritta da oltre 200 ricercatori ed esperti, compreso Geoffrey Hinton. Le Minimum Conditions for Embedding Evaluators chiedono che le organizzazioni incaricate delle verifiche mantengano pieno controllo editoriale, accesso sufficientemente ampio e protezioni contro ritorsioni o interferenze del laboratorio. Il principio è semplice: se un auditor dipende dal consenso dell’auditato per pubblicare una conclusione negativa, il lettore non può sapere quanto del risultato rappresenti effettivamente ciò che è stato osservato. Naturalmente piena autonomia editoriale non significa diritto indiscriminato di pubblicare chiavi, exploit immediatamente utilizzabili o segreti industriali non pertinenti. Significa che eventuali restrizioni devono essere definite attraverso criteri verificabili e non attraverso un generico diritto del vendor a decidere cosa sia troppo sensibile.

L’audit AI non ha ancora le regole mature della cybersecurity

La difficoltà deriva anche dall’assenza di uno standard condiviso. Un penetration test tradizionale può appoggiarsi a metodologie consolidate, perimetri contrattuali e processi di responsible disclosure relativamente maturi. L’evaluation dei frontier model deve invece misurare contemporaneamente capacità emergenti, autonomia, cyber capability, comportamento durante il training e incidenti prodotti nel mondo reale. In più il modello può cambiare tra una valutazione e la release successiva. L’esperienza degli agenti OpenAI capaci di produrre comportamenti inattesi anche dentro ambienti progettati per contenerli dimostra perché il semplice benchmark non sia più sufficiente: servono accesso operativo, transcript completi e possibilità di ricostruire ciò che è realmente accaduto.

Continua con:

Dario Amodei chiede di rallentare l’AI tra rischio globale e governance

Von der Leyen apre al “pace the frontier” per agenti AI e hacking autonomo

Un evaluator è indipendente soltanto se può contraddire chi gli apre la porta

La questione non si risolve scegliendo tra trasparenza totale e segreto industriale totale. I frontier lab hanno ragioni concrete per proteggere proprietà intellettuale e informazioni che potrebbero facilitare abusi, ma questa necessità non può diventare un diritto generale a determinare quali conclusioni negative siano pubblicabili. OpenAI e Anthropic stanno chiedendo che il mondo attribuisca sempre più peso alle evaluation indipendenti proprio mentre quelle evaluation diventano una componente della loro legittimità pubblica. Per questo la governance del rapporto tra laboratorio ed evaluator conta quasi quanto il test stesso. Accesso, conflitti d’interesse, redazioni, diritto di replica e limiti alla confidenzialità devono essere definiti prima dell’incidente e non negoziati quando il risultato è già scomodo. Altrimenti il rischio è costruire un sistema nel quale l’AI viene controllata da soggetti indipendenti, ma l’indipendenza termina esattamente nel momento in cui devono raccontare cosa hanno trovato.