Sommario
L’emergenza costituisce un concetto cardine nella scienza della complessità, descrivendo la comparsa di proprietà di alto livello in sistemi composti da numerose unità elementari. Queste proprietà emergenti consentono di sostituire descrizioni ad alta dimensionalità con variabili efficaci a dimensionalità inferiore, migliorando l’efficienza predittiva e il controllo del sistema. La domanda se i modelli linguistici di grandi dimensioni (LLM) possano manifestare forme di emergenza ha generato un intenso dibattito scientifico, che richiede una chiara distinzione tra capacità emergenti e intelligenza emergente.
Questa ricerca pubblicata approfondisce i fondamenti teorici dell’emergenza, valuta le principali rivendicazioni relative ai LLM e propone una cornice analitica derivata dalla scienza dei sistemi complessi.
Definizione rigorosa di emergenza e rilevanza nei LLM
In letteratura, l’emergenza viene spesso confusa con l’apparizione improvvisa di abilità, o con comportamenti inattesi a livello macroscopico. Tuttavia, il significato scientifico va oltre la semplice discontinuità: riguarda la possibilità di ottenere una nuova descrizione efficace che “schermi” dettagli microscopici irrilevanti per la predizione futura del sistema. Esempi classici includono il passaggio dalla meccanica quantistica alla fisica classica nella progettazione ingegneristica, o dall’interazione molecolare alle leggi della dinamica dei fluidi.
Applicando questi principi ai LLM, emergenza non dovrebbe significare solo il raggiungimento di prestazioni inaspettate, ma piuttosto la formazione interna di rappresentazioni a grana grossa che permettano efficienza, compressione algoritmica e capacità generalizzative. In particolare, occorre distinguere tra abilità emergenti (nuove funzioni che appaiono in modelli più grandi) e intelligenza emergente (capacità interna di ristrutturare la conoscenza e analogizzare per risolvere problemi in contesti eterogenei).
Capacità emergenti nei LLM: tra discontinuità e apprendimento progressivo
Un tema ricorrente nella letteratura sui LLM è la segnalazione di salti improvvisi nelle prestazioni su determinati benchmark con l’aumentare delle dimensioni del modello o del volume dei dati di addestramento. Questi salti, spesso assimilati a transizioni di fase, sono stati documentati ad esempio nella risoluzione di problemi matematici o nella comprensione semantica: un modello da 6 miliardi di parametri può restare quasi inefficace su un task, mentre uno da 175 miliardi supera improvvisamente l’80% di accuratezza.
Alcuni autori sostengono che questi fenomeni siano spiegabili tramite un apprendimento graduale ma non lineare (scaling laws), o attraverso tecniche di ottimizzazione come “instruction tuning” e “in-context learning”. In altri casi, la presunta emergenza viene attribuita alla comparsa di capacità non direttamente addestrate, quali ragionamento analogico, calcolo numerico, o sviluppo spontaneo di world models interni.
Limiti interpretativi: compressione, rappresentazioni e generalizzazione
La scienza della complessità suggerisce che la vera emergenza sia identificabile solo laddove si osserva una nuova organizzazione interna – come la formazione di basi novel o manifolds, o la compressione efficiente dei dati in rappresentazioni di più basso ordine. Nei LLM, casi emblematici sono rappresentati da modelli che, pur addestrati solo su sequenze di mosse legali (come OthelloGPT), sviluppano rappresentazioni interne del tabellone di gioco. Tuttavia, tali rappresentazioni possono essere ridondanti o poco parsimoniose, richiedendo analisi più approfondite per essere considerate effettivamente emergenti.
Inoltre, l’emergenza tramite compressione e basi novel assume rilevanza se porta a migliori capacità di generalizzazione. Nei sistemi adattivi, la vera generalizzazione consiste nel risolvere compiti qualitativamente diversi da quelli di addestramento, superando la semplice interpolazione statistica. Nel caso dei LLM, spesso non è chiaro se il comportamento emergente sia dovuto a memorizzazione o a vere strutture generalizzabili.
Emergenza “knowledge-in” e “knowledge-out”: una distinzione concettuale
I fenomeni emergenti possono avere carattere “knowledge-out” (KO), come in fisica e chimica, dove proprietà globali sorgono da semplici interazioni tra molte parti identiche; o “knowledge-in” (KI), tipico di sistemi adattivi come cervelli, economie o LLM, in cui la struttura emergente nasce da complessi meccanismi locali e ambienti ricchi di informazione. Nei sistemi KI, l’emergenza richiede sia una proprietà macroscopica ben definita che una corrispondenza con meccanismi microscopici, non sempre facile da dimostrare nei LLM, che sono prodotti ingegnerizzati e addestrati per comportamenti specifici.
Quadro analitico: scaling, criticità, compressione, basi novel e generalizzazione
La valutazione delle rivendicazioni di emergenza nei LLM richiede una cornice che tenga conto di cinque principi fondamentali:
- Scaling: verifica della comparsa di nuove organizzazioni interne con la crescita del sistema, simili alle transizioni di fase.
- Criticità: cambiamenti rapidi e qualitativi nella struttura del modello in corrispondenza di determinati parametri di controllo.
- Compressione: presenza di rappresentazioni compresse e parsimoniose che facilitano la predizione.
- Basi novel: identificazione di nuovi alfabeti interni e manifolds che consentono di descrivere dati complessi con poche componenti essenziali.
- Generalizzazione: capacità di risolvere compiti non direttamente addestrati grazie alle nuove rappresentazioni.
Emergenza e sistemi ingegnerizzati: un confronto necessario
Un punto cruciale nella discussione riguarda la distinzione tra sistemi naturali e sistemi ingegnerizzati. Mentre nei primi l’emergenza è spesso un prodotto spontaneo di regole semplici, nei LLM e in altre reti neurali profonde, la progettazione e l’addestramento mirato complicano la valutazione dell’emergenza. L’accumulo di capacità nei LLM avviene tramite ottimizzazione su benchmark, spesso senza la formazione di strutture interne veramente analogiche o generalizzanti. Ne consegue che molti fenomeni presentati come emergenti potrebbero essere meglio descritti come risultati di apprendimento, inferenza o sviluppo.
Differenza tra capacità emergenti e intelligenza emergente
Gli autori sottolineano la differenza fondamentale tra capacità emergenti e intelligenza emergente. I LLM dimostrano capacità che spesso eccedono quelle umane in compiti specifici, ma la loro intelligenza resta limitata dalla mancanza di processi analogici e dalla dipendenza da strutture e dati addestrati. Al contrario, l’intelligenza emergente, come quella umana, è caratterizzata dalla capacità di fare “più con meno”, cioè di spiegare fenomeni diversi con un set ridotto di idee base, e di modificare regole in modo flessibile per generare nuove capacità.
